Constitutional AI

• 1: Constitutional AI（论文）
• 2: Constitutional AI 讲解

1 - Constitutional AI（论文）

Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell 等。Constitutional AI: Harmlessness from AI Feedback。Anthropic。2022-12。arXiv:2212.08073。通讯 yuntao / jared @ anthropic.com。

摘要

系统越强，越希望让 AI 帮助监督其他 AI。本文实验：在没有任何「这是有害输出」的人类标签的情况下，训练一个无害的 AI 助手。人类监督只通过一份规则或原则清单，故称 Constitutional AI。过程含监督与强化学习两阶段。监督阶段：从初始模型抽样，生成自我批评与修订，再把修订后的回复拿去微调原模型。强化学习阶段：从微调后的模型抽样，用模型评判两条样本哪条更好，由此训偏好模型，再以该偏好模型为奖励做 RL——即 RL from AI Feedback（RLAIF）。结果是无害但不回避的助手：遇到有害询问会解释反对理由。监督与 RL 都可以借助思维链式推理，提高人评判的表现与决策透明度。这些方法能更精确地控制行为，并大幅减少人类标签。

动机（第 1 节）

目标仍是 helpful / honest / harmless，且部分能力将达到或超过人类水平，因而不能靠人监督行为的每一方面。作者称该方法为 CAI。相对此前用人类反馈训无害助手：RL-CAI 在众包比较中优于先前采集的伤害人类标签所训的模型。

选「constitutional」一词：既因为可仅靠一份短原则训练更少伤害的系统，也强调部署通用 AI 时不可能不选择某些原则，哪怕它们隐藏着。

具体动机：(1) 研究用 AI 帮助监督 AI、从而扩展监督；(2) 改进先前无害助手——去掉回避、减轻有帮助与无害之间的张力、鼓励解释为何拒绝；(3) 让原则及其实现更透明；(4) 改目标时不必再采新的人类伤害标签，缩短迭代。

先前 RLHF 的奖励已经来自 AI 偏好模型，但通常仍要数万条人类偏好标签。本文把人类输入减到极端：无害性微调大约只需十来条自然语言原则。原则为研究目的较随意迭代写成；作者认为将来应由更多利益方重写，并随用途与部署地点调整。

两阶段（作者图 1）

监督（SL-CAI）。 让模型「上分布」，并控制 RL 起始行为，缓解探索问题：抽样 → 按宪法某条原则自我批评 / 修改 → 用修订回复微调。

强化学习（RL-CAI）。 显著提高表现与可靠性：AI 反馈构造偏好 → 偏好模型 → RL。两条路径都可以用 CoT 让评判更可读。

相对只用人类反馈的 Helpful / HH 模型：后者在有帮助与无害之间权衡明显；RL-CAI 在给定有帮助水平下更少伤害。评测众包被要求：两条同样无害时，偏好更不回避的回复——这也是人类反馈 HH 模型在无害分数上差得不那么大的原因之一。

限度（文中可见）

原则清单短、由实验室选择，不是社会共识。本文几乎取消对无害性的直接人类监督，长期目标却是让人类监督更有效，而不是永远去掉人。对象是对话助手的伤害与回避，不是工具循环或开放任务执行。

2 - Constitutional AI 讲解

论文解决了什么问题

InstructGPT / ChatGPT 的无害性依赖大量人类比较。伤害标注贵、难一致，而且「拒绝」容易训成回避。Sparrow 把规则交给人类逐条打。Constitutional AI 再走一步：伤害标签几乎不用人写，人只写十来条原则；批评、修改、偏好都由模型按原则完成。附带目标是：拒绝时说明理由，而不是把对话卡死。

对后续 LLM 的影响

RLAIF、原则清单、自我批评，成为后来 Claude 系公开叙事里的训练前提。改安全目标不必重新采一轮伤害标签——迭代从数据收集变成改宪法文本。思维链进入评判过程，也让「模型为什么拒绝」比黑盒奖励更可读。

对 AI Agent 的影响

对执行循环几乎没有直接贡献：没有 Observation，没有工具。记在 2022 年，是因为后面能上线的对话产品 / 工具运行时，决策核心必须先能被原则管住；Claude 系用户 2023 年起碰到的拒答与解释，配方根在这里。它是对齐与可控的旁支，不是 ReAct 那种控制协议。