OpenAI，2022-11-30，Introducing ChatGPT。免费研究预览。对话形态的 InstructGPT 兄弟；基座属 GPT-3.5 系列。
当时公告：Introducing ChatGPT。
1 - ChatGPT（材料）
按 2022-11-30 公告转述：对话预览、RLHF、与 InstructGPT 的差别和限度。
ChatGPT 发布没有对应一篇新的训练论文。本页转述 当天博客公开说了什么，不以 2023-03 GPT-4、插件、浏览、Code Interpreter 回填。
主要出处：OpenAI，2022-11-30，Introducing ChatGPT。本页不复制公告全文。
产品主张
推出 ChatGPT：在对话中交互的模型，能跟进追问、认错、质疑不正确的前提、拒绝不当请求。免费研究预览，入口 chat.openai.com。
与 InstructGPT 对照：公告用并排例子说明对话微调后的行为变化——例如拒绝「如何霸凌某人」；对「哥伦布 2015 年来美国」这类带错误前提的问题，会指出哥伦布已于 1506 年去世再进入假想，而不是顺着假前提编一段旅游见闻。
训练（Methods 一节）
用与 InstructGPT 相同的 RLHF 方法，数据收集设置略有不同。
- 监督微调： 人类训练员提供对话，他们同时扮演用户和 AI 助手。训练员可看到模型写的建议，以帮助组织回复。这份新对话数据与 InstructGPT 数据混合；后者被改成对话格式。
- 奖励模型： 比较数据是两条或更多模型回复按质量排序。做法：取训练员与聊天机器人的对话，随机抽一条模型消息，再采样若干替代补全，由训练员排序。
- PPO 用这些奖励模型微调。该过程做了若干轮。
ChatGPT 从 GPT-3.5 系列的一只模型微调而来；该系列在 2022 年初训练完成。训练基础设施为 Azure AI 超算。
限度（公告自己列的）
- 有时写出听起来合理但不正确或无意义的答案。难修，因为：(1) RL 训练里目前没有真理来源；(2) 训练得更谨慎会导致它拒绝本来能答对的问题；(3) 监督训练会误导模型——理想答案取决于模型知道什么，而不是演示者知道什么。
- 对措辞微调或同一提示多试几次敏感：一种问法称不知道，稍改就能答。
- 往往过于冗长，并过度使用某些套话（例如反复声明自己是 OpenAI 训练的语言模型）。来自训练数据偏见（训练员偏好看起来更全面的长答案）以及已知的过优化问题。
- 理想情况下，用户问题含糊时应追问澄清；当时模型通常猜测用户意图。
- 尽管努力拒绝不当请求，仍会响应有害指令或表现偏见。用 Moderation API 警告或拦截部分不安全内容，预期仍有漏报和误报。
公告把这次研究发布写成迭代部署的一步；较早的 GPT-3、Codex 部署经验进入了安全缓解。鼓励用户在界面里对问题输出和过滤器误报/漏报给反馈。
当时明确不是什么
这是网页上的多轮聊天。公告没有把「替用户执行开放世界动作」写成能力；后续产品（插件、浏览、替用户发信）不在 2022-11-30 的表面。
2 - ChatGPT 讲解
对齐过的对话核心做成默认人机界面。观察等于用户下一句；没有对环境产生副作用的循环。
当时解决了什么问题
InstructGPT 已经让 API 默认跟指令。普通用户没有 Playground，也没有「系统消息 + few-shot」的工程师习惯。ChatGPT 把同一套对齐做成对话框：多轮、可纠正、可拒绝，网址即可用。数据侧的关键差别是双向对话演示，以及把指令数据改成对话格式——对象从「一次性完成指令」变成「接着聊」。
它解决的是入口和交互习惯，不是工具、不是沙箱、不是任务闭环。幻觉、冗长、对措辞敏感，公告自己写在限度里。它不调任意工具，不跑沙箱循环。
对后续 LLM 的影响
「对着一个会多轮改主意的 LLM 说话」变成默认人机界面。2023 年所有系统提示、Chat Completions、后来的 Agent 对话框，都假定操作者已经会用这种界面。GPT-3.5 这个名字也从这里进入大众词汇。规模与对齐过的对话模型，从此不再只是论文数字。
对 AI Agent 的影响
按 AI Agent 定义，ChatGPT 不是 Agent：观察等于用户下一句，行动等于再生成，没有对环境产生副作用的循环。它改变的是谁会来用决策核心，不是执行语义。2022 年舆论中心是 ChatGPT，不是 ReAct——时间线必须分开记。不能用后世重要性把 11 月的产品写成已经在执行任务。Function Calling 要到八个月后。