这是本节的多页打印视图。 点击此处打印.

返回本页常规视图.

GPT-4

2023-03。多模态大模型。核心第一次撑得住稍长工具链。核心不是 Agent。

OpenAI,2023-03-14 产品发布;技术报告 3 月 15 日挂出。ChatGPT Plus 与 API 上的 GPT-4。

  1. 论文 — 按技术报告转述:能力、预测规模、限度。不写清参数量(报告本身未披露)。
  2. 讲解 — 为何长链工具使用开始像样,以及为何模型仍不是 Agent。

原文:arXiv:2303.08774。产品说明:GPT-4。

1 - GPT-4 Technical Report(论文)

按原文结构转述 OpenAI 2023:多模态、基准、可预测扩展与限度。

OpenAI。GPT-4 Technical Report。2023-03-15 首挂,后有修订。arXiv:2303.08774。架构、数据配比、参数量报告未披露。

中文译本:飞书(DeepL + 人工校)、CSDN 章节译本。


摘要

报告 GPT-4:大规模多模态模型,接受图像与文本输入,产出文本。在许多现实场景上仍不如人,但在一批专业与学术基准上达到人类水平表现,包括模拟律师资格考试约位于应试者前 10%。GPT-4 是基于 Transformer、预训练为预测文档中下一个 token 的模型。训练后对齐改善真实性,以及是否遵守期望行为。项目的核心之一是:基础设施与优化方法在很宽的规模范围内行为可预测,从而能用不超过 GPT-4 计算量 1/1000 的小模型,预先估出 GPT-4 在某些指标上的表现。

能力与评测(报告主张)

报告用大量考试与学术基准对照 GPT-3.5:多数任务上 GPT-4 明显更高。强调的是专业考试、多语言、以及一些需要更长推理的题。图像理解写在报告里;面向 ChatGPT 用户的视觉能力是后来分阶段放出,不是 3 月 14 日网页聊天的默认形态。

对齐:用与 InstructGPT 同类的后训练,改善事实性与按期望行为回答。系统卡另文讨论安全、幻觉、越狱。

限度(报告自己列的方向)

仍会幻觉。仍可能自信地错。对知识截止日期之后的事实不可靠。在不少现实任务上不如专家。报告刻意不写模型大小与训练数据细节,因此无法从本文核对「多少参数」。

对象是一个语言模型检查点及其基准,不是开放环境里的行动循环。

2 - GPT-4 讲解

决策核心变强,稍长工具链开始像样。它是决策核心,不是 Agent;循环在宿主。

报告解决了什么问题

GPT-3.5 / ChatGPT 已经能多轮对话。把一件稍长的事拆开、选工具、读回执再改主意,仍然容易漂。GPT-4 把同一套「预测下一个 token + 对齐」做到:在 schema、错误回执、部分结果之间还能保住目标。对应用方,这意味着可以开始认真做多步编排,而不只是聊天演示。

它没有发明循环,也没有发明函数接口。3 月的 GPT-4 聊天仍主要是对话;插件和 Function Calling 是随后几周到三个月的产品。核心换了,控制流仍在调用方。

对后续 LLM 的影响

此后一年的默认决策核心就是它(以及同级的 Claude、Gemini 竞品)。128k 窗口、视觉、更便宜的 Turbo,都长在这只模型家族上。报告里「用小模型预测大模型损失」把规模定律再写一遍,细节对外锁住。考试分数度量的是决策核心,不是系统。

对 AI Agent 的影响

按 AI Agent 定义,GPT-4 不是 Agent:一次调用生成文本(或稍后看图再生成文本)。副作用出不去,观察通道不存在。没有它,2023 年 AutoGPT 一类演示更早散架;有了它,也不等于循环可靠。可靠性要另看完成谓词与产品,不能从专业考试直接推出「已经能自主干活」。