Sparrow（论文）

按原文结构转述 Glaese 等 2022：规则标注、证据检索与多目标 RLHF。

Amelia Glaese, Nat McAleese, Maja Trebacz, John Aslanides 等。Improving alignment of dialogue agents via targeted human judgements。DeepMind。2022-09。arXiv:2209.14375。产品名 Sparrow。

摘要

Sparrow 是信息寻求对话 agent，训练目标是比提示语言模型基线更有帮助、更正确、更无害。RLHF 上加两处，好让人更容易评判行为。第一：把「好对话」拆成 agent 应遵守的自然语言规则，标注者对每条规则分开打。拆开之后可以得到更有针对性的判断，并训出按规则条件化的奖励模型。第二：收集偏好时，agent 为事实主张提供来源证据。事实问题上，证据支持所抽样回答的比例为 78%。Sparrow 比基线更常被偏好，同时更能扛住人类对抗探测——被探测时违规约 8%。尽管模型学会跟规则，仍会表现分布层面的偏见。

任务定义

信息寻求对话：用户提问与追问，agent 给答案。比闲聊目标更清楚（信息给到了没有），也更容易定义伤害。基座是 Dialogue-Prompted Chinchilla 70B（DPC）。对话里引入 Search Query / Search Result 角色，检索走 Google Search，证据展示给标注者（扩展 GopherCite 到多轮）。模型可选择搜或不搜。

方法要点

约 23 条规则（刻板印象、威胁、假装人类身份、不当金融建议等），用于对抗探测和规则条件分类。作者写明规则集是为了测方法，不求完备，上线前需大改。

数据：轮次偏好（多条候选里选更好的）+ 针对某条规则的对抗探测。训偏好 RM 与规则 RM。用 A2C，从 DPC 初始化，联合优化「少违规」和「更受偏好」。循环：更好的策略再去采数据。测试时也可用 RM 重排。

与 LaMDA、Anthropic assistant、SeeKeR 对照：LaMDA 也按规则标注，但不按规则条件化来缓解与评测，且用监督与排序而非 RL；Bai 等用单一奖励模型、不拆规则、不接入外部证据。

结果要点

RLHF 模型相对纯提示、重排或只要 SFT 的基线更受偏好，对抗违规更低。带证据的回答可被标注者核验。分布分析：跟规则改善的是实例伤害；方法可能放大分布公平问题。

限度（作者自述）

规则不完备。缓解针对实例，不自动解决社会/语言/环境正义一类目标。会放大分布偏见。任务是问答对话，不是开放世界执行。文末称对话也可作为将来把多种证据与指令合在一起、帮人评判 agent 的介质（如辩论）。