PaLM（论文）

Aakanksha Chowdhery, Sharan Narang, Jacob Devlin 等（Google 长作者列表）。PaLM: Scaling Language Modeling with Pathways。2022-04-05 首挂，10 月修订。arXiv:2204.02311。

摘要

大语言模型已能在多种自然语言任务上靠少样本学习取得可观成绩，从而大幅减少为某一应用准备的任务专用训练样本。为进一步理解规模对少样本学习的影响，作者训练了一个 5400 亿参数、稠密激活的 Transformer 语言模型，称 Pathways Language Model（PaLM）。训练使用 6144 块 TPU v4，系统是 Pathways——可高效跨多个 TPU Pod 训练。

规模继续带来收益：在数百个语言理解与生成基准上达到当时少样本 SOTA。若干任务上出现突破性表现：在一套多步推理任务上超过微调 SOTA；在当时新发布的 BIG-bench 上超过平均人类表现。相当数量的 BIG-bench 任务随规模出现不连续改善——扩到最大模型时成绩陡升。多语言与源码生成同样强。文中另有偏见与毒性分析，以及训练数据记忆相对规模的研究，并讨论大模型伦理与缓解策略。

规模与训练（文中主张）

对象是解码器稠密 Transformer，不是稀疏专家混合。Pathways 的工程意义：把此前难以跨 Pod 的规模做成一次训练。少样本评测贯穿全文：强调的是「同一检查点、不按任务微调」的能力，而不是为每项任务再训一个模型。

多步推理段落与同期 Chain-of-Thought 论文互相引用：PaLM 540B 是那篇论文里把 GSM8K 推到当时最好的那只模型。本文把同一现象写成规模事实——同样协议，小模型几乎没用，最大模型才涌现。

限度（作者自述）

偏见、毒性、记忆训练数据随规模变化，需要单独分析，不能只报平均分。伦理讨论占文末篇幅。对象仍是语言模型检查点与基准，不是开放环境里的行动循环。