WebGPT（论文）
Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen Krueger, Kevin Button, Matthew Knight, Benjamin Chess, John Schulman. WebGPT: Browser-assisted question-answering with human feedback. 2021-12。arXiv:2112.09332。Nakano、Hilton、Balaji 同等贡献。
摘要
微调 GPT-3，使其利用基于文本的网页浏览环境回答长问答：模型可以搜索并在网上导航。任务被设计成人类也能做，因而可用模仿学习训练，再用人类反馈优化答案质量。为降低事实核对难度，模型浏览时必须收集引用，作答须有依据。主数据集是 ELI5（Reddit「像对五岁孩子解释那样」的问题）。最佳模型：在演示上做行为克隆，再对预测人类偏好的奖励模型做拒绝采样。该模型的答案相对人类演示员胜 56%，相对 Reddit 最高票答案胜 69%。
1 引言
长问答（LFQA）仍落后于人。已有工作分别改进检索与综合。本文把检索外包给 Bing Web Search API，综合交给微调后的 GPT-3；重点是更忠实的训练目标。沿用 Stiennon et al. 2020，用人类反馈直接优化答案质量。
两项关键贡献：
- 文本浏览环境，微调后的语言模型可与之交互；检索与综合可用模仿学习、强化学习等通用方法端到端改进。
- 答案带引用（浏览时从页面摘的段落），标注者不必另做困难且主观的独立调研就能判事实。
额外收集两类数据：人类用该环境答题的演示；同一问题下两个模型答案（各带引用）的比较。评判事实准确性、连贯性、总体有用性。四种用法：行为克隆、奖励模型、针对奖励模型的强化学习、拒绝采样。最佳组合是行为克隆 + 拒绝采样；推理算力更紧时强化学习仍有一点好处。
评测三件事：相对演示员 56%；相对 ELI5 最高票（去掉引用后）69%；TruthfulQA 上真实 75%、真实且有信息量 54%，超过基座 GPT-3，仍低于人。
相对 REALM / RAG：那些工作改进给定查询的文档检索。本文用现成搜索引擎，优点是已经很强、索引新、可把「会用搜索引擎答题」当成人类擅长、模型可模仿的高层任务。
2 环境
模型每次看到当前状态的文字摘要：问题、当前页在光标处的文本、其他元数据（图 1）。必须发出表 1 中的一条命令。每步上下文是新的；先前步骤只活在摘要里记下的内容。
表 1（动作）
| 命令 | 效果 |
|---|---|
Search <query> |
发给 Bing API，展示结果页 |
Clicked on link <id> |
跟随该 ID 的链接 |
Find in page: <text> |
找下一处出现并滚过去 |
Quote: <text> |
若当前页含该文本，记为引用 |
Scrolled down/up <1,2,3> |
滚动 |
Top |
到页顶 |
Back |
上一页 |
End: Answer |
结束浏览，进入作答 |
End: Nonsense / Controversial |
结束浏览且不作答 |
其它文本视为非法动作：计入步数上限，否则忽略。浏览直到模型结束、达到最大动作数、或引用总长达到上限。至少有一条引用后，把问题与引用提示给模型，写最终答案。细节在附录 A。
3 数据与训练
预训练模型不会环境命令格式，必须先有人类演示。仅模仿不太可能明显超过人类（Stiennon et al.）。故再收集成对比较。
约 6000 条演示（92% 来自 ELI5），约 21500 条比较（98% 来自 ELI5），另混少量 TriviaQA 等。演示用图形界面，信息与文本界面实质相同。强调：相关、连贯、有可信引用支持。比较数据集后来公开（附录 K）。
从 GPT-3 家族微调，重点 760M、13B、175B。
- 行为克隆（BC）。 监督微调，标签是演示员发出的命令。
- 奖励模型（RM）。 从去掉最后解嵌层的 BC 出发，输入问题与带引用的答案，输出标量 Elo；差值是「标注者更偏好前者」的 logit。交叉熵；平局作 50% 软标签。最终 RM 约用 16000 条比较，5500 条仅评测。
- 强化学习（RL）。 PPO 微调 BC；回合结束时的 RM 分作环境奖励，并对每 token 加相对 BC 的 KL 惩罚。ELI5 90% + TriviaQA 10%。每回合末插入 15 个「只用刚收集的引用作答」的附加回合，样本效率约 ×2。最大浏览步数在 20–100 均匀随机。
- 拒绝采样（best-of-(n)）。 从 BC 或 RL 采 4 / 16 / 64 个答案，取 RM 最高者。不必再训练，消耗推理算力。
BC / RM / RL 用互斥问题集。
4 评测
主评三档算力帕累托模型：760M best-of-4、13B best-of-16、175B best-of-64，皆 BC + 同尺寸 RM 拒绝采样。温度 0.8，最多 100 步浏览。主文为简化不含 RL（与拒绝采样合用时增益不大）。
ELI5。 相对演示员：同一套比较规程，175B best-of-64 胜 56%（平局计 50%）。作者认为这说明人类反馈必要，因为只模仿演示不应稳定超过 50%。相对 Reddit 最高票：去掉引用、换不熟悉细则的标注者、用更简指令，胜 69%。对照 Krishna et al. 2021 的 23%（且算力更小）。作者更看重对演示员的比较：有引用有据可核对、标准更清楚、文风更可比、ELI5 原帖意图与低质量回答干扰更少。
TruthfulQA。 对抗性短问题。WebGPT 答案截到 50 token。所有 WebGPT 档在「真实」「真实且有信息」上均超过带两种 prompt 的 GPT-3；且 WebGPT 的「真实且有信息」随模型变大而升，GPT-3 则否。摘要中的 75% / 54% 对应最佳模型。
5 方法比较与规模
拒绝采样收益大：175B best-of-64 相对纯 BC 胜 68%。RL 相对 BC 胜 58%，收益更小。可能原因：多次作答本身利用推理算力；环境不可预测，拒绝采样可事后评估去过的许多网站；RM 数据多来自 BC 与拒绝采样，对 RL 过优化更脆；RL 要调参。RL + 拒绝采样并不明显好于单用拒绝采样。BC 基线必须仔细调 epoch 与温度，否则会夸大 RL 的优势。
演示数量加倍，策略的 RM 分约 +0.13；比较数量加倍，RM 准确率约 +1.8%。参数加倍，策略 RM 分约 +0.09，RM 准确率约 +0.4%。给定推理预算，用一些拒绝采样是划算的，但不是越多越好。
6 讨论（论文自己写的限度）
区分两类假话：训练目标激励的模仿性谬误；未达到目标造成的非模仿性谬误（多数幻觉）。WebGPT 在 TruthfulQA 上模仿性谬误少于 GPT-3，作者归因于 Bing 过滤与「要用可靠来源」的说明；仍会引用很不可靠的源（分布从 ELI5 移到 TruthfulQA）。ELI5 上非模仿性谬误也少于 GPT-3，但仍会在转述、综合时出错，而不是漫无目的幻觉。
引用让答案看起来更权威，叠加自动化偏见，可能导致过度依赖；分布外问题比人更容易错。会强化已有偏见与问题里的隐含预设。引用有助于评判，也激励模型挑选能说服标注者的来源而非全面证据；更强模型与更主观问题会加重这一点。文中提到辩论、递归奖励建模等作为缓解方向。
在线访问风险。 训练与推理时经环境访问活的网络。若能提交表单，理论上可改维基再当可靠引用。作者认为当前环境只允许 Bing 查询与跟随已有链接，直接改维基不可用；WebGPT 能力远低于提权所需。能力上升时，给网络访问的安全举证责任应上升。
7–8 相关工作与结论
相关：IBM Watson / DeepQA；DPR、REALM、RAG（可微内积检索，难接搜索引擎，可解释性较弱）；把浏览写成 RL；用 BC/RL 控制浏览器做其它任务。
结论：把语言模型微调到文本浏览环境里做长问答，可用模仿与强化学习直接优化答案质量；引用降低评测难度。最佳模型在 ELI5 上超过演示员，分布外问题仍然吃力。