GPT-3 讲解
论文解决了什么问题
2020 年卡住的是适应方式：架构已经与任务无关，BERT 与 GPT-2 已经证明预训练有效，但每个新任务仍然需要大规模标注并更新权重。任务数量太多；窄分布微调会学到虚假相关；人也并不这样学习。GPT-2 已经把示范写进上下文，分数距离微调仍远。要检验的假设只有一句：上下文学习是否会随规模变强。
主干仍是 GPT-2 式解码器。实验设计做了两处改动：把 zero-shot、one-shot、few-shot 分开测量，权重一律不动，使「提示」成为可测量的设定；把规模做成自变量，从 1.25 亿到 1750 亿共 8 档。多数任务上，few-shot 随规模上升的斜率比 zero-shot 更陡。翻译、闭卷问答与算术是这条假设的测量手段，不是终点。被改写的是任务接口：从修改权重，改为修改这段作为条件的文本。
论文没有工具循环。第 5 节自己标出了缺口：有用的系统最终也许应当被理解为在采取有目标的行动。我认为这是理解这一节的关键——那是作者留下的空位，不是后人为它补上的功能。
对后续 LLM 的影响
任务接口从数据集变成上下文里的字符串。few-shot 把示范与待补全拼成一段条件，后来的系统提示、角色句、工具说明都是同一接口上的用法。一个基座、许多下游，不必为每个任务保存一份微调权重。InstructGPT 与 ChatGPT 改的是指令跟随，并不取消这条接口。
窗口就是工作集上限：文中 (K) 取 10–100，因为 (n_{\mathrm{ctx}}=2048)。后来做到 8k、32k、100k 以上，是在放宽同一条约束。规模是条件而非装饰：同样的提示，小模型用不上。评测污染在第 4 节已经被写成方法学问题。
它仍然是补全模型。听话的对话形态，要到 2022 年的 InstructGPT 与 ChatGPT 才送到大众面前。
对 AI Agent 的影响
决策核心必须在不重新训练的前提下，读懂这一轮传入的指令、工具回执与失败原因，并生成下一步。GPT-3 测到的正是「新信息写进上下文就能改变行为」。Transformer 提供计算图；GPT-3 提供推理时的适应方式。Agent 把 Observation 当作工作集，用的是同一机制。
| 论文里的机制 | 后来在 Agent 里对应的物理事实 |
|---|---|
| in-context learning，权重不动 | 观察、工具 JSON、摘录作为「这一步的条件」，不必为每个环境训练一个模型 |
| (n_{\mathrm{ctx}}=2048) | 一次循环能够看到的回执有上限；超出后只能截断、检索或外挂记忆 |
| zero-shot 只有自然语言说明 | 后来的系统提示；当时弱于 few-shot，指令跟随不稳定 |
| 外环预训练 / 内环上下文 | 慢学习在权重里，快适应在这一次前向中。Agent 循环用的是内环 |
| 第 5 节：助手应是有目标的行动 | 作者把缺口留给「行动」；工具循环、ReAct 与 Function Calling 是后来接上的，不是这篇已经实现的功能 |
时间线标成底层能力里的首证：工作集从此有了可寻址的载体。