Timeline: Language Models are Few-Shot Learners（论文）

Mon, 14 Sep 2026 00:00:00 +0000

Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei. Language Models are Few-Shot Learners. NeurIPS 2020. arXiv:2005.14165（PDF）。Brown、Mann、Ryder、Subbiah 标注为同等贡献。

中文译本：AI千集、51CTO（翻译与解读）。

摘要

近年 NLP 的主流是：在大规模语料上预训练，再在具体任务上微调。架构已经与任务无关，但仍需要每个任务数千到数万条标注。人类通常只需少量示例或一句指令就能做新的语言任务；当时的 NLP 系统大体做不到。

本文表明：把语言模型做大，会显著提高与任务无关的少样本（few-shot）表现，有时可以和此前基于微调的 SOTA 竞争。作者训练 GPT-3：1750 亿参数的自回归语言模型，比此前任何非稀疏语言模型大约大 10 倍，并在 few-shot 设定下评测。所有任务都不做梯度更新、不微调；任务与示例只通过与模型的文本交互给出。

GPT-3 在翻译、问答、完形填空等许多 NLP 数据集上表现强，也能做一些需要当场推理或领域适应的任务（单词还原、用新词造句、三位数算术）。同时，作者标出 few-shot 仍然吃力的数据集，以及在大规模网络语料上训练带来的方法学问题。GPT-3 生成的新闻稿，人类评测者难以与真人文章区分。文中讨论了这一发现及 GPT-3 更广泛的社会影响。

1 引言

NLP 从「为每个任务学表示、设计结构」转到「任务无关的预训练 + 任务无关的架构」。词向量、多层 RNN、再后来直接微调预训练的 Transformer 语言模型，任务专用结构逐步被拿掉。仍留下最后一步：为每个任务准备大规模标注并微调。

去掉这一步的理由，正文写成三条：

实用。 有用的语言任务极多（改语法、按抽象概念举例子、批评短篇故事……），很难为每一个都收集大规模监督数据。
虚假相关。 模型越大、微调分布越窄，越容易吃训练集里的捷径；基准上「达到人类水平」可能夸大真实任务表现。
与人类对照。 人通常不需要大监督集会做新任务；一句自然语言指令，或至多数个示范，往往就够。人也因此能在对话中途切换技能（例如在长对话里做加法）。作者希望 NLP 系统将来有同样的流动性。

一条路线是 meta-learning：训练时发展出广泛的技能与模式识别，推理时迅速适应或识别当前任务。脚注澄清用词：GPT-2 一文常说 “zero-shot task transfer”，但有时在上下文里给了示例，并不是真正从零个例子学习。本文用 meta-learning 指外环（梯度下降预训练）/ 内环结构；内环称为 in-context learning（上下文学习）；再按推理时给几个示范分成 zero-shot / one-shot / few-shot。这些词对「推理时真的在学新任务，还是只是认出训练时见过的模式」保持开放。

GPT-2 已展示 in-context learning，但离微调差距很大（例如 Natural Questions 仅 4%，CoQA 55 F1 落后当时 SOTA 35 分以上）。同时 Transformer 语言模型从约 1 亿参数扩到 170 亿，验证损失随规模近似平滑改善。作者的假设是：上下文学习能力同样会随规模大幅上升。

本文训练 1750 亿参数模型 GPT-3，在二十多个 NLP 数据集以及若干专门设计的、训练里不太可能直接出现的新任务上，各测三种条件：

few-shot： 上下文窗口里能放下多少示范就放多少（通常 10–100）
one-shot： 只给 1 个示范
zero-shot： 不给示范，只给自然语言指令

原则上也可以微调 GPT-3，本文不做，留给后续工作。这些「学习曲线」不包含梯度更新，只是增加作为条件的示范数量。

若干摘录数字（后文表格更全）：CoQA zero/one/few-shot 为 81.5 / 84.0 / 85.0 F1；TriviaQA 为 64.3% / 68.0% / 71.2%（few-shot 在闭卷设定下相对微调模型为 SOTA）。few-shot 在 ANLI、RACE、QuAC 等任务上仍然吃力。作者系统测量训练数据对基准的污染；多数数据集影响很小，少数标注，或不予报告。

另外训练一组更小的模型（1.25 亿到 130 亿参数）作对照。多数任务上，三种设定都随容量平滑上升；zero / one / few-shot 之间的差距往往随模型变大而变大，作者认为这暗示更大的模型更善于 meta-learning。

2 方法

预训练流程与 GPT-2 相近，主要是把模型、数据多样性与训练量做大。本文把「在上下文里学习」的设定写清楚，并对照传统微调。

四种设定（图 2.1）

设定	权重	推理时给什么	作者写的利弊
Fine-tuning	更新	每任务数千到数十万标注	基准强；每任务要新数据集；分布外泛化与虚假特征有风险。本文不做
Few-shot	不更新	(K) 个「上下文+补全」示范，再给一个待补全的上下文。(K) 通常 10–100，受窗口 (n_{\mathrm{ctx}}=2048) 限制	大幅减少任务数据；仍需要少量任务数据；此前结果远弱于微调 SOTA
One-shot	不更新	(K=1)，另可加任务的自然语言描述	更接近向人布置任务时只给一个例子
Zero-shot	不更新	只有自然语言指令	最省事、也最难；有时对人来说没有例子也很难弄清格式

本文关注后三种，把它们当成不同的问题设定（基准表现 vs 样本效率），而不是互斥的方法。few-shot 数字最高；one-shot 甚至 zero-shot 被作者视为与人类表现更公平的对照，也是后续目标。

2.1 模型

与 GPT-2 相同的自回归 Transformer（含其改进的初始化、pre-normalization、可逆分词），例外是层间交替使用稠密注意力与局部带状稀疏注意力（类似 Sparse Transformer）。共 8 档规模，全部训练 3000 亿 token，窗口均为 (n_{\mathrm{ctx}}=2048)。前馈层宽度为 (d_{\mathrm{ff}}=4\cdot d_{\mathrm{model}})。

表 2.1（摘录）

名称	参数	层数	(d_{\mathrm{model}})	头数	(d_{\mathrm{head}})	batch（token）	学习率
Small	125M	12	768	12	64	0.5M	(6.0\times 10^{-4})
Medium	350M	24	1024	16	64	0.5M	(3.0\times 10^{-4})
Large	760M	24	1536	16	96	0.5M	(2.5\times 10^{-4})
XL	1.3B	24	2048	24	128	1M	(2.0\times 10^{-4})
2.7B	2.7B	32	2560	32	80	1M	(1.6\times 10^{-4})
6.7B	6.7B	32	4096	32	128	2M	(1.2\times 10^{-4})
13B	13.0B	40	5140	40	128	2M	(1.0\times 10^{-4})
175B（即 GPT-3）	175.0B	96	12288	96	128	3.2M	(0.6\times 10^{-4})

按 Kaplan 等 scaling laws，相对常见做法是「更大的模型、更少的 token」；文中称 30 亿参数的 GPT-3 与 RoBERTa-Large（3.55 亿）预训练算力大约都是 50 petaflop/s-days 量级。模型沿深度与宽度切到多 GPU。

2.2 训练数据

Common Crawl 量级已够让最大模型不必对同一序列更新两次，但未过滤或轻过滤的质量低于精选语料。三步：按与高质量参考语料的相似度过滤；文档级模糊去重（集内与跨集）；再混入已知高质量语料（扩展 WebText、Books1、Books2、英文维基）。过滤前压缩明文约 45TB，过滤后约 570GB，约 4000 亿 BPE token（2016–2019 共 41 个 CC 月度分片）。

训练时不按数据集大小比例采样，高质量集合采得更勤。训 3000 亿 token 时，有的集合看到约 3.4 遍，Common Crawl 与 Books2 不到 1 遍。

表 2.2

数据集	token 量	训练混合权重	训 300B token 时经过的 epoch
Common Crawl（过滤后）	4100 亿	60%	0.44
WebText2	190 亿	22%	2.9
Books1	120 亿	8%	1.9
Books2	550 亿	8%	0.43
Wikipedia	30 亿	3%	3.4

作者试图去掉与所测基准开发/测试集的重叠。过滤有 bug，部分重叠被漏掉；因训练成本未重训。第 4 节量化剩余污染。训练数据以英语为主（按词数约 93%），其余语言约 7%。

2.3 训练

更大模型用更大 batch、更小学习率；用梯度噪声尺度选 batch。矩阵乘内部与层间都做模型并行。V100，微软提供的高带宽集群。细节在附录 B。

2.4 评测

few-shot：对评测集每条，从该任务训练集随机抽 (K) 条作条件，示例之间用 1 或 2 个换行分隔。LAMBADA、StoryCloze 无监督训练集，则从开发集抽、在测试集评。(K) 从 0 到窗口能放下的上限；更大 (K) 通常更好但不总是。有独立开发集时，在开发集上试几个 (K)，再把最好的拿到测试集。部分任务另加自然语言 prompt。

多选题：比较各补全的语言模型似然；多数按 token 均长；ARC、OpenBookQA、RACE 等还用无条件补全概率归一化。二分类把选项写成有语义的词（True/False）再当多选。自由生成用束搜索（束宽 4，长度惩罚 (\alpha=0.6)）。测试集公开则报测试集；私有测试集且模型塞不进评测服务器时，报开发集。少数（SuperGLUE、TriviaQA、PIQA）提交了约 175B 的 few-shot。

3 结果

交叉熵验证损失相对训练算力仍近似幂律，比 Kaplan 等再外推两个数量级，偏离很小。下文按九类任务报告 8 个模型在 zero / one / few-shot 下的结果。

3.1 语言建模、完形与补全

PTB 困惑度：此前 zero-shot SOTA 35.8，GPT-3 20.5（改进约 15 点）。维基类与 1B Word 因大量出现在训练集而省略。
LAMBADA（根据段落预测句末词）：zero-shot 准确率 76.2（此前 SOTA 68.0）。few-shot 改成填空格式，让模型从示例推断「只输出一个词」，准确率 86.4。one-shot 用填空格式反而差于 zero-shot，作者认为需要若干示例才能认出格式。污染分析见第 4 节，影响可忽略。
HellaSwag：few-shot 79.3，高于微调 1.5B LM 的 75.4，低于多任务微调 SOTA 85.6。人类约 95.6。
StoryCloze 2016：zero-shot 83.2，few-shot 87.7（(K=70)），仍低于 BERT 系微调 SOTA 91.8，zero-shot 相对此前约高 10 点。

3.2 闭卷问答

不检索外部文档，也不在 QA 集上微调，比先前闭卷设定更严。

表 3.3

设定	NaturalQS	WebQS	TriviaQA
RAG（微调，开域）	44.5	45.5	68.0
T5-11B+SSM（微调，闭卷）	36.6	44.7	60.5
T5-11B（微调，闭卷）	34.5	37.4	50.1
GPT-3 zero-shot	14.6	14.4	64.3
GPT-3 one-shot	23.0	25.3	68.0
GPT-3 few-shot	29.9	41.5	71.2

TriviaQA few-shot 超过当时开域微调 SOTA（含检索）。NQs / WebQS 从 zero-shot 到 few-shot 跳得大，作者认为可能有分布偏移；NQs 偏维基细粒度知识。三条任务上表现都随模型容量平滑上升。

3.3 翻译

数据是多语混合，不是成对回译。one/few-shot 给 1 或 64 个句对，与先前无监督 NMT 不完全可比。zero-shot 低于当时无监督 NMT；one-shot 约高 7 BLEU；few-shot 再高约 4 BLEU，平均接近先前无监督工作。译入英语明显强于译出英语。En→Ro 差 10+ BLEU，作者怀疑 GPT-2 的 byte-level BPE 几乎按英语设计。随容量平滑变好。

3.4 Winograd 类

原版 Winograd（273 条）：zero/one/few-shot 约 88.3 / 89.7 / 88.6，看不出明确的 in-context 增益，但已接近微调 SOTA。Winogrande：70.2 / 73.2 / 77.7，few-shot 接近微调 RoBERTa-large（79），低于 T5 微调 84.6 与人类 94.0。

3.5–3.8 常识、阅读、SuperGLUE、NLI

常识（PIQA、ARC、OpenBookQA）与阅读理解（CoQA、DROP、RACE、QuAC 等）表现不一。CoQA few-shot 85.0 F1，距人类基准约 3 分。DROP few-shot 超过原论文 BERT 微调，仍远低于带符号系统的 SOTA。部分阅读任务 few-shot 仍然弱。

SuperGLUE few-shot 每任务上下文 32 个示例，不更新权重。COPA、ReCoRD 接近 SOTA；BoolQ、MultiRC、RTE、WSC 大致相当于微调 BERT-Large；WiC 接近随机。作者注意到：需要比较两句或两段的任务（WiC、RTE、CB、ANLI）是明显弱点。ANLI Round 3：小模型停在随机附近，175B few-shot 从随机到 SOTA 的差距大约补上一半。

3.9 合成任务与定性任务

为探测「当场计算、认出训练里不太可能出现的新模式、迅速适应古怪任务」而专门设计。

算术（必须精确生成正确答案；每任务 2000 题）。GPT-3 175B few-shot：两位数加法 100%、两位数减法 98.9%、三位数加法 80.4%、三位数减法 94.2%；四位数约 25–27%，五位数约 9–10%；两位数乘法 29.2%；一位数复合运算 21.3%。从 13B 到 175B 有明显跳跃；13B 两位数加减大约一半对，其余运算多低于 10%。在训练集里检索三位数加减，命中极低（加法 0.8%，减法 0.1%）；错例常像忘了进位。zero-shot 已明显强于小模型的 few-shot。

字母操作（循环字母、部分打乱、插入符号、倒序等）。few-shot 随规模上升；倒序单词所有模型几乎都做不到。zero-shot 几乎不会，one-shot 大约掉一半，作者据此认为这些任务更像推理时学会。BPE 平均约 0.7 词/token，要成功还需要解析 token 的内部结构。

SAT 类比：few/one/zero-shot 65.2% / 59.1% / 53.7%；报考者平均 57%，随机 20%。175B 比 13B 高 10 分以上。

新闻生成：用 3 篇真新闻作 few-shot 条件，再给标题与副标题生成短稿。人类区分约 200 词稿件：对照劣质模型准确率 86%，GPT-3 175B 52%（几乎随机）。约 500 词实验仍约 52%。这是后文讨论误用的经验锚点。

另有用新词造句、改语法等定性例子（原文与附录）。

4 基准污染

数据与模型都比 GPT-2 大约两个数量级，且含大量 Common Crawl。相对去重后的验证集，175B 没有显著过拟合训练集。对每个基准做「干净」子集：去掉与预训练集有 13-gram 重叠的例子（更短则整例重叠）。多数任务干净子集分数与全集几乎相同，污染程度与分数差也不相关。作者结论：要么检测方法过严，要么污染对报告分数影响很小。最麻烦的任务细节在附录；少数结果标星或未报告。

5 限度

作者自己列出的限度，不是后来评论：

生成仍会语义重复、长文失贯、自相矛盾、出现不相关句段。
「常识物理」口头上仍弱（例如「奶酪放进冰箱会不会化」），尽管 PIQA 分数不差。
比较两段文本的任务、部分阅读理解，one-shot / few-shot 接近随机。
只做了自回归 LM，没有双向结构或去噪目标；填空、回看比较、读长文给短答案可能因此吃亏。
更根本的： 自监督目标对每个 token 等权，没有「什么更值得预测」；任务必须被拧成「预测下一个 token」。作者写：有用的语言系统（例如虚拟助手）最终也许更该被想成在采取有目标的行动，而不仅仅是做预测。模型也没有视频或物理交互中的 grounding。因此「只把纯自监督预测做大」可能碰到上限，需要别的办法增强——文中点到从人类学目标函数、用强化学习微调、加图像等模态。
预训练样本效率仍远差于人；few-shot 只是推理时样本效率向人靠近。
few-shot 究竟是推理时从零学会，还是认出训练时见过的任务，没有定论，且可能因任务而异。字母操作、用胡造词更像前者；翻译显然在预训练里学过。
175B 推理贵、不便部署；提到针对具体任务做蒸馏。
不可解释、校准差、保留训练数据中的偏见。

6 更广泛的影响

有益用途：代码与写作补全、语法、游戏叙事、搜索、问答。有害用途随生成质量上升而扩大。重点写误用与偏见，并短论能耗。

误用：依赖高质量文本的有害活动（虚假信息、垃圾、钓鱼、滥用法律与行政程序、代写、社会工程）。人类评测难以区分合成新闻，被标成一个值得警惕的节点。作者监测论坛后认为，对中低技能行动者，当时威胁不是立即的，但可靠性再升可能改变这一点。

偏见：互联网训练的模型带互联网尺度的偏见。对 175B 及更小模型做了性别—职业、种族、宗教等探测（例如中性句「The {occupation} was a」后，388 个职业里 83% 更常接男性标识）。正文强调这是初步分析，不是穷尽。

7 相关工作

规模：Kaplan 等幂律；从原版 Transformer 2.13 亿、BERT 3 亿、GPT-2 15 亿、Megatron 80 亿、T5 110 亿、Turing-NLG 170 亿，到本文 1750 亿。另一条是 MoE 条件计算（参数多、算力不按比例增）。蒸馏、自适应计算时间、Universal Transformer。自然语言指令、多任务微调、元学习（文中称把示范放入上下文，在结构上最接近 RL(^2)：外环改权重，内环适应任务）。作者承认过去两年大量算法进展（双向去噪、encoder-decoder、排列语言模型等），本文为聚焦 in-context 并降低大模型实现复杂度，仍用纯自回归。

8 结论

1750 亿参数语言模型在 zero / one / few-shot 下，许多 NLP 任务表现强，有时接近微调 SOTA；能生成高质量样本，并在当场定义的任务上有定性能力。不微调时，表现随规模大致可预测。尽管有许多限度与弱点，这些结果暗示：非常大的语言模型可能是可适应、通用语言系统的重要组成部分。

训练由 OpenAI 资助；模型在微软提供的 V100 集群上训练。

Timeline: GPT-3 讲解

Mon, 14 Sep 2026 00:00:00 +0000

论文解决了什么问题

2020 年卡住的是适应方式：架构已经与任务无关，BERT 与 GPT-2 已经证明预训练有效，但每个新任务仍然需要大规模标注并更新权重。任务数量太多；窄分布微调会学到虚假相关；人也并不这样学习。GPT-2 已经把示范写进上下文，分数距离微调仍远。要检验的假设只有一句：上下文学习是否会随规模变强。

主干仍是 GPT-2 式解码器。实验设计做了两处改动：把 zero-shot、one-shot、few-shot 分开测量，权重一律不动，使「提示」成为可测量的设定；把规模做成自变量，从 1.25 亿到 1750 亿共 8 档。多数任务上，few-shot 随规模上升的斜率比 zero-shot 更陡。翻译、闭卷问答与算术是这条假设的测量手段，不是终点。被改写的是任务接口：从修改权重，改为修改这段作为条件的文本。

论文没有工具循环。第 5 节自己标出了缺口：有用的系统最终也许应当被理解为在采取有目标的行动。我认为这是理解这一节的关键——那是作者留下的空位，不是后人为它补上的功能。

对后续 LLM 的影响

任务接口从数据集变成上下文里的字符串。few-shot 把示范与待补全拼成一段条件，后来的系统提示、角色句、工具说明都是同一接口上的用法。一个基座、许多下游，不必为每个任务保存一份微调权重。InstructGPT 与 ChatGPT 改的是指令跟随，并不取消这条接口。

窗口就是工作集上限：文中 (K) 取 10–100，因为 (n_{\mathrm{ctx}}=2048)。后来做到 8k、32k、100k 以上，是在放宽同一条约束。规模是条件而非装饰：同样的提示，小模型用不上。评测污染在第 4 节已经被写成方法学问题。

它仍然是补全模型。听话的对话形态，要到 2022 年的 InstructGPT 与 ChatGPT 才送到大众面前。

对 AI Agent 的影响

决策核心必须在不重新训练的前提下，读懂这一轮传入的指令、工具回执与失败原因，并生成下一步。GPT-3 测到的正是「新信息写进上下文就能改变行为」。Transformer 提供计算图；GPT-3 提供推理时的适应方式。Agent 把 Observation 当作工作集，用的是同一机制。

论文里的机制	后来在 Agent 里对应的物理事实
in-context learning，权重不动	观察、工具 JSON、摘录作为「这一步的条件」，不必为每个环境训练一个模型
(n_{\mathrm{ctx}}=2048)	一次循环能够看到的回执有上限；超出后只能截断、检索或外挂记忆
zero-shot 只有自然语言说明	后来的系统提示；当时弱于 few-shot，指令跟随不稳定
外环预训练 / 内环上下文	慢学习在权重里，快适应在这一次前向中。Agent 循环用的是内环
第 5 节：助手应是有目标的行动	作者把缺口留给「行动」；工具循环、ReAct 与 Function Calling 是后来接上的，不是这篇已经实现的功能

时间线标成底层能力里的首证：工作集从此有了可寻址的载体。

AI Agent 学习笔记 – GPT-3