Timeline: GPT-4 Technical Report（论文）

Tue, 15 Sep 2026 00:00:00 +0000

OpenAI。GPT-4 Technical Report。2023-03-15 首挂，后有修订。arXiv:2303.08774。架构、数据配比、参数量报告未披露。

摘要

报告 GPT-4：大规模多模态模型，接受图像与文本输入，产出文本。在许多现实场景上仍不如人，但在一批专业与学术基准上达到人类水平表现，包括模拟律师资格考试约位于应试者前 10%。GPT-4 是基于 Transformer、预训练为预测文档中下一个 token 的模型。训练后对齐改善真实性，以及是否遵守期望行为。项目的核心之一是：基础设施与优化方法在很宽的规模范围内行为可预测，从而能用不超过 GPT-4 计算量 1/1000 的小模型，预先估出 GPT-4 在某些指标上的表现。

能力与评测（报告主张）

报告用大量考试与学术基准对照 GPT-3.5：多数任务上 GPT-4 明显更高。强调的是专业考试、多语言、以及一些需要更长推理的题。图像理解写在报告里；面向 ChatGPT 用户的视觉能力是后来分阶段放出，不是 3 月 14 日网页聊天的默认形态。

对齐：用与 InstructGPT 同类的后训练，改善事实性与按期望行为回答。系统卡另文讨论安全、幻觉、越狱。

限度（报告自己列的方向）

仍会幻觉。仍可能自信地错。对知识截止日期之后的事实不可靠。在不少现实任务上不如专家。报告刻意不写模型大小与训练数据细节，因此无法从本文核对「多少参数」。

对象是一个语言模型检查点及其基准，不是开放环境里的行动循环。

Timeline: GPT-4 讲解

Tue, 15 Sep 2026 00:00:00 +0000

报告解决了什么问题

GPT-3.5 / ChatGPT 已经能多轮对话。把一件稍长的事拆开、选工具、读回执再改主意，仍然容易漂。GPT-4 把同一套「预测下一个 token + 对齐」做到：在 schema、错误回执、部分结果之间还能保住目标。对应用方，这意味着可以开始认真做多步编排，而不只是聊天演示。

它没有发明循环，也没有发明函数接口。3 月的 GPT-4 聊天仍主要是对话；插件和 Function Calling 是随后几周到三个月的产品。核心换了，控制流仍在调用方。

对后续 LLM 的影响

此后一年的默认决策核心就是它（以及同级的 Claude、Gemini 竞品）。128k 窗口、视觉、更便宜的 Turbo，都长在这只模型家族上。报告里「用小模型预测大模型损失」把规模定律再写一遍，细节对外锁住。考试分数度量的是决策核心，不是系统。

对 AI Agent 的影响

按 AI Agent 定义，GPT-4 不是 Agent：一次调用生成文本（或稍后看图再生成文本）。副作用出不去，观察通道不存在。没有它，2023 年 AutoGPT 一类演示更早散架；有了它，也不等于循环可靠。可靠性要另看完成谓词与产品，不能从专业考试直接推出「已经能自主干活」。

AI Agent 学习笔记 – GPT-4