Chowdhery 等，2022-04，PaLM: Scaling Language Modeling with Pathways（Google）。6144 块 TPU v4，Pathways 跨 Pod 训练。
原文：arXiv:2204.02311。
PaLM 540B
把「CoT 要够大才生效」做成可引用事实。规模是 2022 年核心能力的物理上限之一。
1 - PaLM（论文）
按原文结构转述 Chowdhery 等 2022：540B 稠密 Transformer、少样本与 BIG-bench。
Aakanksha Chowdhery, Sharan Narang, Jacob Devlin 等（Google 长作者列表）。PaLM: Scaling Language Modeling with Pathways。2022-04-05 首挂，10 月修订。arXiv:2204.02311。
摘要
大语言模型已能在多种自然语言任务上靠少样本学习取得可观成绩，从而大幅减少为某一应用准备的任务专用训练样本。为进一步理解规模对少样本学习的影响，作者训练了一个 5400 亿参数、稠密激活的 Transformer 语言模型，称 Pathways Language Model（PaLM）。训练使用 6144 块 TPU v4，系统是 Pathways——可高效跨多个 TPU Pod 训练。
规模继续带来收益：在数百个语言理解与生成基准上达到当时少样本 SOTA。若干任务上出现突破性表现：在一套多步推理任务上超过微调 SOTA；在当时新发布的 BIG-bench 上超过平均人类表现。相当数量的 BIG-bench 任务随规模出现不连续改善——扩到最大模型时成绩陡升。多语言与源码生成同样强。文中另有偏见与毒性分析，以及训练数据记忆相对规模的研究，并讨论大模型伦理与缓解策略。
规模与训练（文中主张）
对象是解码器稠密 Transformer，不是稀疏专家混合。Pathways 的工程意义：把此前难以跨 Pod 的规模做成一次训练。少样本评测贯穿全文：强调的是「同一检查点、不按任务微调」的能力，而不是为每项任务再训一个模型。
多步推理段落与同期 Chain-of-Thought 论文互相引用：PaLM 540B 是那篇论文里把 GSM8K 推到当时最好的那只模型。本文把同一现象写成规模事实——同样协议，小模型几乎没用，最大模型才涌现。
限度（作者自述）
偏见、毒性、记忆训练数据随规模变化，需要单独分析，不能只报平均分。伦理讨论占文末篇幅。对象仍是语言模型检查点与基准，不是开放环境里的行动循环。
2 - PaLM 讲解
同一套 CoT，小模型接近无效。2022 年「会分解」首先是容量问题。
论文解决了什么问题
GPT-3 已证明规模带来少样本。下一步要问：再放大一个数量级，少样本、多步推理、对抗性基准会不会继续涨。PaLM 用 540B 稠密模型和跨 Pod 训练给出答案：少样本继续刷新；BIG-bench 上出现不连续跳；多步推理可以超过微调 SOTA。
对 2022 年的读者，它是思维链提示的物理底座：没有够大的检查点，写中间步骤只是流畅的错误链条。
对后续 LLM 的影响
「涌现」从此有一张可引用的图：若干任务在扩到最大模型时才陡升。后来谈 100B 阈值、谈推理随规模跳，都会回到这一页。多语言与代码生成同检查点，也预示决策核心不必再拆成「语言一只、代码一只」。
对 AI Agent 的影响
循环里的 Thought 要靠核心自己生成可执行的中间语言。2022 年这还不是提示词能单独解决的：小模型写得出句子，写不出可靠步骤。规模是当年核心能力的物理上限之一。它本身不是 Agent：没有工具 schema，没有环境。