这是本节的多页打印视图。 点击此处打印.

返回本页常规视图.

OpenAI o1

2024-09-12。o1-preview:测试时计算换正确率。规划的一部分被训练进核心。宿主仍管工具与停机。

OpenAI,2024-09-12。o1-preview 与 o1-mini。用强化学习训练隐式长思考。ChatGPT Plus/Team 与部分 API。

  1. 材料 — 按当时研究博文与产品说明转述:AIME、Codeforces、GPQA。
  2. 讲解 — 内部 CoT 不是 ReAct;工具、沙箱、停机仍在宿主。

当时公告:Introducing OpenAI o1-preview。研究说明:Learning to reason with LLMs。

1 - OpenAI o1(材料)

按 2024-09-12 公告转述:推理模型、考试数字、预览限额。

本页转述 2024-09-12 发布当时公开说了什么,不把 12 月的正式 o1、2025 的 o3 回填进当天数字。

主要出处:OpenAI,2024-09-12,Introducing OpenAI o1-preview;Learning to reason with LLMs。本页不复制公告全文。


产品主张

新系列模型被设计成先多想再答。科学、编码、数学上比先前模型更能处理难题。当天放出系列的第一只预览:o1-preview,以及更小的 o1-mini。ChatGPT Plus 与 Team 可在模型选择器里手动选用;预览周限额最初约 30 条(o1-preview)与 50 条(o1-mini),数日后上调。可信 API 用户同期可调用。用户看不到完整内部思维链,产品展示的是摘要后的「思考」。

评测(文中报告)

研究博文用完整 o1(当时尚未全部产品化)对照 GPT-4o,并给出 o1-preview 的中间数字。强调的方向:

  • AIME 2024: GPT-4o 约 13%,推理模型(完整 o1、高测试时计算)约 83%(cons@64)。
  • Codeforces: 完整 o1 约第 89 百分位;o1-preview 低于完整 o1、仍明显高于 4o。
  • GPQA Diamond: 完整 o1 超过人类博士准确率的叙事写在博文里(物理/化学/生物题)。

安全:在其最难的越狱测试上,o1-preview 分数远高于 GPT-4o(博文给出 84 vs 22,0–100 分)。思维链用于训练与对齐,不作为完整原文交给用户。

当时不是什么

这是新的模型系列与 ChatGPT 里的一个选项。内部思考不是 ReAct 那样写给宿主解析的 Thought 字段。没有新的工具协议,也没有宣称已经是自主 Agent。高延迟、高单价、限额,是发布时就写明的约束。

2 - o1 讲解

推理从明文 Thought 内化到测试时计算。循环可以更短;工具与停机仍在宿主。模型不是 Agent。

当时解决了什么问题

2022 年以来,复杂题靠 CoT、Self-Consistency、ReAct 把「想」写在明文里。宿主能看见 Thought,也能被 Thought 带沟里。o1 用强化学习在测试时花更多计算,把长思考藏进模型内部。数学与竞赛编程的跳变说明:同样的决策核心,想得久可以换正确率,而不只靠换提示词模板。延迟和费用是这笔账;限额是发布时就写明的约束。

对 Agent 搭建者,这意味着规划、自我检查不必每一步都在轨迹里写一篇小作文。代价是:每一步更贵、更慢、更难调试——用户看不到完整思路。内部思维链用于训练与对齐,不是写给宿主解析的 Thought 字段。

对后续 LLM 与 Agent 的影响

2025 年的 o3、Claude 3.7「混合推理」、各家思考模型,都沿着「测试时计算」走。编码 Agent 开始把「难步」路由到推理核心,简单步走快模型。SWE-bench Verified 上 o1-preview 后来被报到约 41%,12 月 o1 约 49%——仍是模型分,脚手架另计。

按 AI Agent 定义,o1 本身不是 Agent。它没有规定对环境行动。它是循环里一颗会花时间想的决策核心。把内部 CoT 当成已经实现 ReAct,会漏掉执行层:停机、工具、沙箱仍在宿主。换决策核心,不换品类。