这是本节的多页打印视图。点击此处打印.

Self-Consistency

多样本推理再投票。循环里的重试 / 反思有一条采样聚合的根；论文没有环境。

1: Self-Consistency（论文）
2: Self-Consistency 讲解

Wang 等，2022-03，Self-Consistency Improves Chain of Thought Reasoning in Language Models。

论文 — sample-and-marginalize、GSM8K 等增益。
讲解 — 采样聚合如何传到后来的重试，以及它为何仍无 Observation。

1 - Self-Consistency（论文）

按原文结构转述 Wang 等 2022：多样推理路径与多数表决。

Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed H. Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou. Self-Consistency Improves Chain of Thought Reasoning in Language Models。Google Research。2022-03。arXiv:2203.11171。

摘要

CoT 提示配合预训练大模型在复杂推理上已有结果。本文提出解码策略 self-consistency，替换 CoT 里的贪心解码：先采样多样推理路径，再对路径边际化，选最一致的最终答案。直觉：复杂题通常有多条思路通向同一个正确答案。相对贪心 CoT，GSM8K +17.9%、SVAMP +11.0%、AQuA +12.2%、StrategyQA +6.4%、ARC-challenge +3.9%（文中报告的绝对增益）。

方法

人解题往往有多条路。用温度 / top-k / nucleus 从解码器采样多条 ((\mathbf{r}_i, \mathbf{a}_i))（路径 + 答案），再对 (\mathbf{a}) 做多数表决：(\arg\max_a \sum_i \mathbb{1}(\mathbf{a}_i=a))。也可按路径概率加权；实验表明未归一化多数票与长度归一化加权和接近，未归一化的 token 概率加权更差。无需额外标注、无需训 verifier 或重排器，是单个模型上的「self-ensemble」。

与训练多个模型再集成不同。与 sample-and-rank、束搜索等对照，文中称 self-consistency 更好。对采样策略和不完美提示较稳健。在「加 CoT 可能伤标准 prompting」的部分 NLP 任务上也能抬分。

实验

UL2-20B、GPT-3-175B、LaMDA-137B、PaLM-540B。所有模型、所有所列推理任务上均明显高于贪心 CoT。与 PaLM-540B 或 GPT-3 结合时，若干算术任务达到当时新 SOTA。

限度

消耗推理算力（多样本）。依赖能解析出的最终答案格式。模型校准差：各条路径的归一化概率往往接近，所以多数票比「信概率最高的那条」更有用。对象仍是语言推理，不是环境循环。

2 - Self-Consistency 讲解

对同一题采样多条思维链，按答案多数表决。计算换一致性；没有环境反馈。

论文解决了什么问题

CoT 默认贪心一条路。一步算错，整条链废掉。多条独立思路落到同一答案，把握更大。

Self-consistency 把这做成解码：不训新模型，只多花采样。边际化的是路径，留下的是答案——错链更难碰巧投到同一错误数字。

对后续 LLM 与 Agent 的影响

后来的 best-of-n、对工具调用再采样、编码 Agent「再生成一个补丁」，机制同类：用计算换一致性。它不是根据环境观察改计划。投票发生在模型自己的语言样本之间，没有 Observation。循环里的重试 / 反思有一条采样聚合的根在这里；根不是环境闭环。