GPT-4 Technical Report（论文）

OpenAI。GPT-4 Technical Report。2023-03-15 首挂，后有修订。arXiv:2303.08774。架构、数据配比、参数量报告未披露。

中文译本：飞书（DeepL + 人工校）、CSDN 章节译本。

摘要

报告 GPT-4：大规模多模态模型，接受图像与文本输入，产出文本。在许多现实场景上仍不如人，但在一批专业与学术基准上达到人类水平表现，包括模拟律师资格考试约位于应试者前 10%。GPT-4 是基于 Transformer、预训练为预测文档中下一个 token 的模型。训练后对齐改善真实性，以及是否遵守期望行为。项目的核心之一是：基础设施与优化方法在很宽的规模范围内行为可预测，从而能用不超过 GPT-4 计算量 1/1000 的小模型，预先估出 GPT-4 在某些指标上的表现。

能力与评测（报告主张）

报告用大量考试与学术基准对照 GPT-3.5：多数任务上 GPT-4 明显更高。强调的是专业考试、多语言、以及一些需要更长推理的题。图像理解写在报告里；面向 ChatGPT 用户的视觉能力是后来分阶段放出，不是 3 月 14 日网页聊天的默认形态。

对齐：用与 InstructGPT 同类的后训练，改善事实性与按期望行为回答。系统卡另文讨论安全、幻觉、越狱。

限度（报告自己列的方向）

仍会幻觉。仍可能自信地错。对知识截止日期之后的事实不可靠。在不少现实任务上不如专家。报告刻意不写模型大小与训练数据细节，因此无法从本文核对「多少参数」。

对象是一个语言模型检查点及其基准，不是开放环境里的行动循环。