OpenAI,2023-03-14 产品发布;技术报告 3 月 15 日挂出。ChatGPT Plus 与 API 上的 GPT-4。
原文:arXiv:2303.08774。产品说明:GPT-4。
OpenAI,2023-03-14 产品发布;技术报告 3 月 15 日挂出。ChatGPT Plus 与 API 上的 GPT-4。
原文:arXiv:2303.08774。产品说明:GPT-4。
OpenAI。GPT-4 Technical Report。2023-03-15 首挂,后有修订。arXiv:2303.08774。架构、数据配比、参数量报告未披露。
中文译本:飞书(DeepL + 人工校)、CSDN 章节译本。
报告 GPT-4:大规模多模态模型,接受图像与文本输入,产出文本。在许多现实场景上仍不如人,但在一批专业与学术基准上达到人类水平表现,包括模拟律师资格考试约位于应试者前 10%。GPT-4 是基于 Transformer、预训练为预测文档中下一个 token 的模型。训练后对齐改善真实性,以及是否遵守期望行为。项目的核心之一是:基础设施与优化方法在很宽的规模范围内行为可预测,从而能用不超过 GPT-4 计算量 1/1000 的小模型,预先估出 GPT-4 在某些指标上的表现。
报告用大量考试与学术基准对照 GPT-3.5:多数任务上 GPT-4 明显更高。强调的是专业考试、多语言、以及一些需要更长推理的题。图像理解写在报告里;面向 ChatGPT 用户的视觉能力是后来分阶段放出,不是 3 月 14 日网页聊天的默认形态。
对齐:用与 InstructGPT 同类的后训练,改善事实性与按期望行为回答。系统卡另文讨论安全、幻觉、越狱。
仍会幻觉。仍可能自信地错。对知识截止日期之后的事实不可靠。在不少现实任务上不如专家。报告刻意不写模型大小与训练数据细节,因此无法从本文核对「多少参数」。
对象是一个语言模型检查点及其基准,不是开放环境里的行动循环。
GPT-3.5 / ChatGPT 已经能多轮对话。把一件稍长的事拆开、选工具、读回执再改主意,仍然容易漂。GPT-4 把同一套「预测下一个 token + 对齐」做到:在 schema、错误回执、部分结果之间还能保住目标。对应用方,这意味着可以开始认真做多步编排,而不只是聊天演示。
它没有发明循环,也没有发明函数接口。3 月的 GPT-4 聊天仍主要是对话;插件和 Function Calling 是随后几周到三个月的产品。核心换了,控制流仍在调用方。
此后一年的默认决策核心就是它(以及同级的 Claude、Gemini 竞品)。128k 窗口、视觉、更便宜的 Turbo,都长在这只模型家族上。报告里「用小模型预测大模型损失」把规模定律再写一遍,细节对外锁住。考试分数度量的是决策核心,不是系统。
按 AI Agent 定义,GPT-4 不是 Agent:一次调用生成文本(或稍后看图再生成文本)。副作用出不去,观察通道不存在。没有它,2023 年 AutoGPT 一类演示更早散架;有了它,也不等于循环可靠。可靠性要另看完成谓词与产品,不能从专业考试直接推出「已经能自主干活」。