ChatGPT（材料）

按 2022-11-30 公告转述：对话预览、RLHF、与 InstructGPT 的差别和限度。

ChatGPT 发布没有对应一篇新的训练论文。本页转述 当天博客公开说了什么，不以 2023-03 GPT-4、插件、浏览、Code Interpreter 回填。

主要出处：OpenAI，2022-11-30，Introducing ChatGPT。本页不复制公告全文。

产品主张

推出 ChatGPT：在对话中交互的模型，能跟进追问、认错、质疑不正确的前提、拒绝不当请求。免费研究预览，入口 chat.openai.com。

与 InstructGPT 对照：公告用并排例子说明对话微调后的行为变化——例如拒绝「如何霸凌某人」；对「哥伦布 2015 年来美国」这类带错误前提的问题，会指出哥伦布已于 1506 年去世再进入假想，而不是顺着假前提编一段旅游见闻。

训练（Methods 一节）

用与 InstructGPT 相同的 RLHF 方法，数据收集设置略有不同。

  1. 监督微调： 人类训练员提供对话，他们同时扮演用户和 AI 助手。训练员可看到模型写的建议，以帮助组织回复。这份新对话数据与 InstructGPT 数据混合；后者被改成对话格式。
  2. 奖励模型： 比较数据是两条或更多模型回复按质量排序。做法：取训练员与聊天机器人的对话，随机抽一条模型消息，再采样若干替代补全，由训练员排序。
  3. PPO 用这些奖励模型微调。该过程做了若干轮。

ChatGPT 从 GPT-3.5 系列的一只模型微调而来；该系列在 2022 年初训练完成。训练基础设施为 Azure AI 超算。

限度（公告自己列的）

  • 有时写出听起来合理但不正确或无意义的答案。难修，因为：(1) RL 训练里目前没有真理来源；(2) 训练得更谨慎会导致它拒绝本来能答对的问题；(3) 监督训练会误导模型——理想答案取决于模型知道什么，而不是演示者知道什么。
  • 对措辞微调或同一提示多试几次敏感：一种问法称不知道，稍改就能答。
  • 往往过于冗长，并过度使用某些套话（例如反复声明自己是 OpenAI 训练的语言模型）。来自训练数据偏见（训练员偏好看起来更全面的长答案）以及已知的过优化问题。
  • 理想情况下，用户问题含糊时应追问澄清；当时模型通常猜测用户意图。
  • 尽管努力拒绝不当请求，仍会响应有害指令或表现偏见。用 Moderation API 警告或拦截部分不安全内容，预期仍有漏报和误报。

公告把这次研究发布写成迭代部署的一步；较早的 GPT-3、Codex 部署经验进入了安全缓解。鼓励用户在界面里对问题输出和过滤器误报/漏报给反馈。

当时明确不是什么

这是网页上的多轮聊天。公告没有把「替用户执行开放世界动作」写成能力；后续产品（插件、浏览、替用户发信）不在 2022-11-30 的表面。