Glaese 等，2022-09，Improving alignment of dialogue agents via targeted human judgements。基座 Dialogue-Prompted Chinchilla。
原文：arXiv:2209.14375。
1 - Sparrow（论文）
按原文结构转述 Glaese 等 2022：规则标注、证据检索与多目标 RLHF。
Amelia Glaese, Nat McAleese, Maja Trebacz, John Aslanides 等。Improving alignment of dialogue agents via targeted human judgements。DeepMind。2022-09。arXiv:2209.14375。产品名 Sparrow。
摘要
Sparrow 是信息寻求对话 agent，训练目标是比提示语言模型基线更有帮助、更正确、更无害。RLHF 上加两处，好让人更容易评判行为。第一：把「好对话」拆成 agent 应遵守的自然语言规则，标注者对每条规则分开打。拆开之后可以得到更有针对性的判断，并训出按规则条件化的奖励模型。第二：收集偏好时，agent 为事实主张提供来源证据。事实问题上，证据支持所抽样回答的比例为 78%。Sparrow 比基线更常被偏好，同时更能扛住人类对抗探测——被探测时违规约 8%。尽管模型学会跟规则，仍会表现分布层面的偏见。
任务定义
信息寻求对话：用户提问与追问，agent 给答案。比闲聊目标更清楚（信息给到了没有），也更容易定义伤害。基座是 Dialogue-Prompted Chinchilla 70B（DPC）。对话里引入 Search Query / Search Result 角色，检索走 Google Search，证据展示给标注者（扩展 GopherCite 到多轮）。模型可选择搜或不搜。
方法要点
约 23 条规则（刻板印象、威胁、假装人类身份、不当金融建议等），用于对抗探测和规则条件分类。作者写明规则集是为了测方法，不求完备，上线前需大改。
数据：轮次偏好（多条候选里选更好的）+ 针对某条规则的对抗探测。训偏好 RM 与规则 RM。用 A2C，从 DPC 初始化，联合优化「少违规」和「更受偏好」。循环：更好的策略再去采数据。测试时也可用 RM 重排。
与 LaMDA、Anthropic assistant、SeeKeR 对照：LaMDA 也按规则标注，但不按规则条件化来缓解与评测，且用监督与排序而非 RL；Bai 等用单一奖励模型、不拆规则、不接入外部证据。
结果要点
RLHF 模型相对纯提示、重排或只要 SFT 的基线更受偏好，对抗违规更低。带证据的回答可被标注者核验。分布分析：跟规则改善的是实例伤害；方法可能放大分布公平问题。
限度（作者自述）
规则不完备。缓解针对实例，不自动解决社会/语言/环境正义一类目标。会放大分布偏见。任务是问答对话，不是开放世界执行。文末称对话也可作为将来把多种证据与指令合在一起、帮人评判 agent 的介质（如辩论）。
2 - Sparrow 讲解
能搜、能引用、能被规则管住。谓词是带出处的答案，不是把一件开放任务做完。
论文解决了什么问题
WebGPT 已经证明：受控浏览 + 人的偏好，可以把回答接到网页证据上。Sparrow 把场景改成多轮信息寻求，并把「无害」拆成可逐条探测的自然语言规则，而不是一个笼统的安全分。证据给标注者看，降低「听起来像真的」蒙混过关。
它仍是对话：Search 是为了回答下一句，不是为了改环境状态。作者自己把模型叫 dialogue agent，任务边界写得很窄。
对后续 LLM 与 Agent 的影响
「带出处的对话」和「规则可单独打分」后来分别出现在产品引用卡和对齐配方里。对 Agent 史它是问答研究原型：有检索动作，观察通道是页面，谓词是带引用的答案。循环为的是答对，不是执行开放目标。不要把它写成已经交付的自主执行产品。