决策核心:下一步由谁计算

策略是上下文中的大语言模型,不是规则、符号规划器或纯强化学习。本条解决「选什么」,不解决「转几步、改哪里、如何停」。

系统里真正在选下一步的那一段程序,才是决策核心。符号规划器、BDI 解释器、强化学习策略都能构成教材意义上的 Agent,决策对象却不是开放文本。那些系统放在前传。主线要的是:给定目标、工具 schema、上一步回执,不更新权重也能改写行为的语言模型。

一次前向只是条件语言建模。能补全、能对话,都还没有把「选择」接到环境。本条沿这条能力往下看:表示 → 上下文适应 → 指令契约 → 显式多步计算 → 工作集(窗口)与感知(视觉)→ 测试时计算。它解释 Agent 为什么在 2022 年之后才可能出现,不解释循环如何实现。

2017–2021:可条件化的生成器,还不是规划器

Transformer(2017)用自注意力去掉序列模型对逐步隐状态的依赖,训练可并行、模型可做大。没有可扩展的条件生成器,后面没有可讨论的 LLM 核心。它不包含工具、不包含终止条件。

GPT-3(2020)测到 in-context learning:任务说明和示例写进提示,行为即可偏移。Agent 把 Observation 当作工作记忆,用的就是同一机制——环境状态必须能被序列化进上下文。当时窗口约 2k–4k,指令服从差,工具调用只能赌模型吐出可解析字符串。

Codex(2021)把同一类模型接到可执行代码上。HumanEval 用测试衡量函数级正确性。编码 Agent 的前提是决策核心能产出「可运行、可判定」的文本;Codex 给模型,HumanEval 给尺子。GitHub Copilot 把能力做成 IDE 补全:有副作用,无目标循环,不是 Agent,但是 Copilot → Agent 这条产品线的起点。

2022:服从指令、引出中间计算、成为人机接口

预训练目标是网页续写。Agent 的输入却是祈使句、约束和 schema。InstructGPT(RLHF,API 默认换到 2022-01)把核心拧成「按意图答」。没有这一步,系统提示和工具说明都会被当成又一段网页。它仍是单次生成。

Chain-of-Thought 把中间步骤写进 token 序列,等于在解码过程里展开一层可被梯度(或提示)塑造的串行计算。这不是环境循环:没有 Action,没有 Observation。PaLM 540B 表明同一套提示在小模型上接近无效——当时「会分解」首先是容量问题,其次才是模板问题。Zero-shot CoT 把触发成本降到一句话,协议可复制,环境仍未接入。

ChatGPT(2022-11-30)把 RLHF 后的对话模型做成默认界面。观察 = 用户下一句,行动 = 再生成。按定义排除。后续所有运行时都假定操作者会用这种接口;它改变的是分发,不是执行语义。

2023–2024:工具链稳定性、工作集、感知、测试时计算

长链工具使用对决策核心的要求是:在多轮 schema、错误回执、部分文件之间保持目标,而不是每一轮重新聊天。GPT-4(2023-03)把这条门槛第一次推到可产品化。核心仍是一次(或多次独立的)补全,循环在宿主。

上下文长度是轨迹的工作集上限。约 4k → gpt-3.5-turbo-16k → GPT-4 Turbo 128k → Gemini 1.5 百万 token 量级。窗口不够,只能检索、截断、外挂记忆,每一步都丢状态;窗口够,仍不产生副作用。

Claude 3 / 3.5 Sonnet 提高编码与工具使用的默认水平,许多编码运行时换核心。GPT-4o 把视觉放进同一模型:Computer Use 的输入是像素,不是 DOM API。能看 ≠ 已点击。

o1-preview 把搜索式推理训练成测试时计算:延迟和费用换正确率,「想」不必写在明文 Thought 里。停机、工具、沙箱仍在宿主。把内部 CoT 当成已经实现 ReAct,会漏掉执行层。

2025–2026:核心足够之后,稀缺资源换位

o3 在思维链中选择工具,决策与「该不该调用」开始并进,副作用仍发生在运行时一侧。GPT-5 做路由:快路径 / 思考路径。编码专用权重与 Claude Code、云端 Codex 绑定——产品要的是能在沙箱里收工的决策核心,不是通用聊天模型。

2026 的主约束已不在「会不会选」:循环可跨小时、可开 PR。卡住的是凭证是否进沙箱、出站白名单、session 空闲后工作区是否还在。这些是身份与执行路径,不是再加一层思维链能消掉的。基准再涨几个点,不改变这条外移。

本条的边界

ChatGPT、GPT-4、o1、GPT-5 都是决策核心,不是 Agent。缺本条,其余三条无论多完整,对象仍是前传。只有本条,得到的是对话、补全或单次函数调用。核心就绪的意义只有一句:控制循环、工具层和观察通道终于有了可挂载的策略网络。

多步循环 写控制流何时从代码交到这个核心上。