InstructGPT 讲解

论文解决了什么问题

GPT-3 已证明规模带来上下文学习。预训练目标仍是网页续写。用户写祈使句，模型可能接着写成网页后文。目标函数与「按意图办事」不一致，不是把 few-shot 写得更巧就能消掉。

InstructGPT 把适应从「拼示范」改成改权重：SFT 给出格式，比较数据训出偏好，PPO 把策略推过去。1.3B 对齐后的模型在作者的提示分布上胜过未对齐的 175B：意图对齐不是参数量的免费附赠。

对象是 API 上的指令跟随，不是多轮产品，也不是工具循环。ChatGPT 把同一套 RLHF 接到对话数据上，是十个月后的入口。

对后续 LLM 的影响

指令契约成为默认接口。系统消息、开发者提示、后来的工具 schema，都假定模型把文本当任务而不是当续写。FLAN / T0 走公开 NLP 任务混合；InstructGPT 证明真实用户提示分布上，人类偏好数据更对口。对齐税（公开基准掉分）从此是训练配方里的常规项。

对 AI Agent 的影响

Agent 的输入是祈使句、约束和后来的 schema。没有这一步，系统提示会被当成又一段网页。它仍是单次生成：一次前向一段回复，没有作用在环境上的循环。2022-01 的工程化含义只有一句：后面所有「对核心下指令」的产品，都踩在这条契约上。Function Calling 还不存在。