Timeline: PaLM（论文）

Tue, 15 Sep 2026 00:00:00 +0000

Aakanksha Chowdhery, Sharan Narang, Jacob Devlin 等（Google 长作者列表）。PaLM: Scaling Language Modeling with Pathways。2022-04-05 首挂，10 月修订。arXiv:2204.02311。

摘要

大语言模型已能在多种自然语言任务上靠少样本学习取得可观成绩，从而大幅减少为某一应用准备的任务专用训练样本。为进一步理解规模对少样本学习的影响，作者训练了一个 5400 亿参数、稠密激活的 Transformer 语言模型，称 Pathways Language Model（PaLM）。训练使用 6144 块 TPU v4，系统是 Pathways——可高效跨多个 TPU Pod 训练。

规模继续带来收益：在数百个语言理解与生成基准上达到当时少样本 SOTA。若干任务上出现突破性表现：在一套多步推理任务上超过微调 SOTA；在当时新发布的 BIG-bench 上超过平均人类表现。相当数量的 BIG-bench 任务随规模出现不连续改善——扩到最大模型时成绩陡升。多语言与源码生成同样强。文中另有偏见与毒性分析，以及训练数据记忆相对规模的研究，并讨论大模型伦理与缓解策略。

规模与训练（文中主张）

对象是解码器稠密 Transformer，不是稀疏专家混合。Pathways 的工程意义：把此前难以跨 Pod 的规模做成一次训练。少样本评测贯穿全文：强调的是「同一检查点、不按任务微调」的能力，而不是为每项任务再训一个模型。

多步推理段落与同期 Chain-of-Thought 论文互相引用：PaLM 540B 是那篇论文里把 GSM8K 推到当时最好的那只模型。本文把同一现象写成规模事实——同样协议，小模型几乎没用，最大模型才涌现。

限度（作者自述）

偏见、毒性、记忆训练数据随规模变化，需要单独分析，不能只报平均分。伦理讨论占文末篇幅。对象仍是语言模型检查点与基准，不是开放环境里的行动循环。

Timeline: PaLM 讲解

Tue, 15 Sep 2026 00:00:00 +0000

论文解决了什么问题

GPT-3 已证明规模带来少样本。下一步要问：再放大一个数量级，少样本、多步推理、对抗性基准会不会继续涨。PaLM 用 540B 稠密模型和跨 Pod 训练给出答案：少样本继续刷新；BIG-bench 上出现不连续跳；多步推理可以超过微调 SOTA。

对 2022 年的读者，它是思维链提示的物理底座：没有够大的检查点，写中间步骤只是流畅的错误链条。

对后续 LLM 的影响

「涌现」从此有一张可引用的图：若干任务在扩到最大模型时才陡升。后来谈 100B 阈值、谈推理随规模跳，都会回到这一页。多语言与代码生成同检查点，也预示决策核心不必再拆成「语言一只、代码一只」。

对 AI Agent 的影响

循环里的 Thought 要靠核心自己生成可执行的中间语言。2022 年这还不是提示词能单独解决的：小模型写得出句子，写不出可靠步骤。规模是当年核心能力的物理上限之一。它本身不是 Agent：没有工具 schema，没有环境。

AI Agent 学习笔记 – PaLM 540B