这是本节的多页打印视图。 点击此处打印.

返回本页常规视图.

Zero-shot CoT

一句 Let’s think step by step。触发成本降到最低;环境仍未接入。

Kojima 等,2022-05,Large Language Models are Zero-Shot Reasoners。

  1. 论文 — 两段式提示、跨任务同一句触发器、与 Few-shot CoT 对照。
  2. 讲解 — 推理协议如何从「每任务写示例」收成一句触发器。

原文:arXiv:2205.11916。

1 - Zero-shot-CoT(论文)

按原文结构转述 Kojima 等 2022:零样本思维链与两段式抽取。

Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa. Large Language Models are Zero-Shot Reasoners。2022-05。arXiv:2205.11916。Kojima 通讯;部分工作完成于东京大学,Gu / Reid 属 Google Research。

中文译本:技术栈(正文节译)。


摘要

大模型通常被当作带任务示例的优秀少样本学习者。Wei 等的 CoT 用逐步答题示例引出复杂推理。这些成功常被归因于少样本学习。本文表明:只要在每个答案前加上 “Let’s think step by step”,LLM 已是像样的零样本推理者。同一句模板覆盖算术(MultiArith、GSM8K、AQUA-RAT、SVAMP)、符号(Last Letter、Coin Flip)及其他逻辑任务(日期理解、物体追踪等),无需手工少样本。InstructGPT(text-davinci-002)上 MultiArith 17.7%→78.7%,GSM8K 10.4%→40.7%;PaLM 540B 有同量级提升。作者希望这成为困难推理基准上最强的最小零样本基线,并强调在做微调数据或少样本示范之前,应先挖掘模型里已有的零样本能力。

方法

与 Few-shot-CoT 不同:不需要逐步示例;与多数零样本模板不同:任务无关,单模板跨多种推理。

两段提示。 (1) 推理抽取:Q: [问题]. A: Let's think step by step. 贪心解码得到思维链 (z)。(2) 答案抽取:把第一段提示、(z) 与任务相关的结束句拼起来(如「Therefore, the answer (arabic numerals) is」),再生成并解析。Few-shot-CoT 靠示例自带格式避免第二段;Zero-shot-CoT 工程更少,但要调两次模型。

文中比较了其他触发句(Table 4);「Let’s think step by step」是主结果用句。

结果要点

相对标准零样本,增益极大;仍低于精心设计的任务专用 Few-shot-CoT。Few-shot-CoT 在示例题型与测试题型不匹配时会恶化;Zero-shot-CoT 用固定一句,跨任务更稳。随规模,零样本曲线变得可与少样本 CoT 比较。

限度

仍显著弱于最好的 Few-shot-CoT。需要两次前向。答案抽取句仍按题型略作区分。对象仍是语言推理,不是工具。

2 - Zero-shot CoT 讲解

推理协议从「每任务写示例」收成一句触发器。可复制;仍无 Action / Observation。

论文解决了什么问题

CoT 有效,但每类题要写逐步示范,题型一换还可能伤成绩。成功容易被记在「少样本」账上。本文把示范拿掉,只留一句英语祈使,证明多步推理也可以是零样本模板引出的能力。

对后续 LLM 与 Agent 的影响

「先想再答」的触发成本降到可复制的一句。后来系统提示里的 think step by step、思维链开关、Agent 里默认先输出 Thought,都不再依赖为 GSM8K 手写的那 8 条。它没有把计算接到环境:没有搜索,没有解释器。协议可复制,循环仍未接通。