WebGPT 讲解

论文解决了什么问题

2021 年底，GPT-3 能在上下文里做新任务，RAG 能先检索再生成，但两条路都还不是「会用搜索引擎的人」那种过程：修改查询、点进一页、滚动、摘录一句、不满意再搜。长问答的事实核对对人极为困难，没有出处就只能凭感觉。

WebGPT 把问题收缩成一个人类也能完成的浏览任务，因此可以：录演示做行为克隆（预训练 GPT-3 本身不会这套命令格式）；比较两个带引用的答案，训练奖励模型，再用拒绝采样或 PPO 优化；强制引用，把「这句话是否属实」部分转化为「是否被这些来源支持」。

检索外包给 Bing，不训练可微 DPR。环境是文本的：每一步把页面状态写成提示，模型输出一条命令。记忆不通过隐状态跨步传递，只存在于摘要与已摘引用之中。作者自己把与 RAG 的差别写在第 2 节：RAG 改进给定查询的检索，本文改进的是「如何使用已经很强的搜索引擎」。结论也写明：分布外（TruthfulQA）仍明显弱于人。

对后续 LLM 的影响

Search、Quote、End: Answer 是后来 function calling 的实验室前身：模型必须输出可执行动作，非法输出被丢弃但仍消耗步数。人类反馈从摘要偏好接到带工具的轨迹（BC、RM、优化，方法直接引用 Stiennon 那条人类反馈工作）。引用成为评测接口，不是产品合规的附录。在这个不可预测的环境里，多试几次再挑往往比当场做 PPO 更稳；后来许多系统在工具循环之外再套一层 best-of-n，与这条观察同类。

它没有大众对话界面，也没有把浏览做成可插拔协议。浏览器是论文里的环境。

对 AI Agent 的影响

时间线把它标成底层能力里的首证：模型、环境与工具三者结合的实验室形态。决策核心是 GPT-3；行动是搜索、点击、滚动、引用；反馈是页面文本。外形上已经有循环、动作与观察。

目标函数始终是答好当前这道 ELI5，回合结束于 End: Answer。这是封闭问答循环，不是「给出一个开放目标，自行迭代到完成」。谓词是带引用的答案，不是仓库、桌面或任意工作流上的外部完成条件。