PaLM 540B

把「CoT 要够大才生效」做成可引用事实。规模是 2022 年核心能力的物理上限之一。

Chowdhery 等，2022-04，PaLM: Scaling Language Modeling with Pathways（Google）。6144 块 TPU v4，Pathways 跨 Pod 训练。

  1. 论文 — 规模、少样本、BIG-bench 不连续跳、推理与限度。
  2. 讲解 — 规模如何成为 2022 年核心能力的物理前提。

原文：arXiv:2204.02311。

PaLM（论文）

按原文结构转述 Chowdhery 等 2022：540B 稠密 Transformer、少样本与 BIG-bench。

PaLM 讲解

同一套 CoT，小模型接近无效。2022 年「会分解」首先是容量问题。