反馈后再决策:观察通道与完成判据

回执必须写回上下文再参与选择。另需独立于演示的任务基准,否则无法区分循环在转和目标已达成。

开环生成:解码结束即停。单次工具调用:把返回值转述给用户即停。本条要求闭环:Action 的结果成为下一步的条件,直到目标谓词为真、失败,或人打断。

两层不要并成一层。

层 在系统内的位置 回答的问题
观察通道 宿主把 stdout、HTTP body、截屏、测试日志写入下一轮提示 模型是否根据真实世界改主意
完成判据 基准、CI、环境断言,独立于模型自述 整段轨迹是否交付

ReAct 的 Observation 是第一层。SWE-bench 一类是第二层。没有第一层,循环在自言自语;没有第二层,星标和 demo 会代替完成率。

通道先于仓库级尺子

CoT 无环境通道。ReAct 把检索片段、仿真器状态、页面文本标成 Observation,下一步 Thought 以它为条件。解析仍脆弱,环境是论文集,但闭环语义已经写全。PAL 的通道是解释器返回值。WebGPT / Sparrow 的通道是页面,谓词是「给出带引用的答案」。

HumanEval(2021)把执行引入评价:pass@k 看测试,不看流畅度。对象是函数,不是 issue。它给第四条提供「用副作用结果打分」的早期形态,覆盖面不够支撑编码 Agent 叙事。

2023:通道进入产品;仓库谓词打到接近零

Code Interpreter 消费真实执行:图、表、异常栈进入下一轮。任务偏分析,环境是单沙箱,不是任意 monorepo。

SWE-bench(2023-10)的谓词是:在真实 issue 对应的测试上通过。公开系统接近零分。AutoGPT 类在第一层上转,在第二层上失败。从此「会转」和「能交」分列。忽略第二层,传播指标会系统性高估。

2024–2025:尺子收紧,通道按模态分叉

原版 SWE-bench 含不可解与含混题。Verified(500 道经确认可解)成为默认集。与 2023 分数不可横比:分母变了。刷 Verified 也不等于生产交付——分布、污染、脚手架都不同。

OSWorld 的谓词在桌面状态。Computer Use 的观察是像素,错误是点错按钮。测试失败可局部重跑;GUI 副作用回滚成本高。两条通道的信噪比不可互换。厂家自报 OSWorld 截图分处于低区间,与编码线后来的 Verified 分数不在同一数量级。

Terminal-Bench 断言最终容器状态,针对 CLI 运行时。SWE-bench Pro 加长、抗污染。GPT-5 在 Verified 上厂商自报 74.9%,在 Pro 统一脚手架上约 23%。同一决策核心,谓词变硬,完成率塌缩。用单一榜读「已可无人值守」不成立。

编码运行时(Claude Code、云端 Codex)把第一层做成默认:跑测试、读失败、再 patch。计算机使用线的第一层(屏)已通,第二层分数仍低。Deep Research 的通道是检索文档,谓词是带引用的成稿,不是仓库绿。

2026:观察的可见性与轨迹成本

循环跨小时之后,观察还有消费者:同事、审计、调度器。Claude Tag 以线程为 session,旁观是产品能力,不是日志边车。Aries 把轨迹(推理、工具、沙箱、KV)当成计费与容量单位:回执膨胀工作集,存储和隔离成为约束。组织侧缺少等价于 SWE-bench 的「频道任务」谓词——系统闭环了,治理闭环还没有。

四条同时接通的节点

按要素拆,是为了避免把发布会写成诞生。可核对的重合如下。

2022-10 协议层重合。 ReAct 在文本协议里同时写出核心、循环、动作、观察。执行靠解析,环境是基准,无产品级沙箱,无仓库谓词。同年 ChatGPT 只接通核心与对话,按定义排除。

2023 形态重合,谓词失败。 AutoGPT 接通四条;SWE-bench 显示完成率不可用。Function Calling 稳定动作解析,Code Interpreter 把执行观察引进消费级沙箱。路径存在,交付不存在。

2024 出现可引用谓词,以及两类环境。 长窗口 / 视觉加强核心;ACI 与 Computer Use 给出专用动作集;Verified / OSWorld 给出尺子。Devin、SWE-agent 四条成立;全量复现与子集营销必须分开记。MCP 当年只接通工具总线,不接通循环。

2025 编码运行时把最小循环做成日用原语。 读树、改文件、跑测试、再决策,弱自主(人可打断)仍满足定义。检索型、浏览器型产品同年接通四条,第二层弱于编码。框架(自建循环)和运行时(内置循环)在这一年必须分列,否则会把 LangChain 和 Claude Code 写成同类。

2026 个体任务上四条是默认配置;延伸发生在主体与供给。 Cowork / Tag / OpenClaw 换环境,不换最小循环。身份、bundle、沙箱调度是第三、四条在组织尺度的约束:以谁的名义产生副作用,谁消费观察。不是第五要素。

核心(2022 对话接口之后可分发)、循环(协议 2022-10,运行时 2025)、动作(schema 2023,总线与 GUI 2024–2025)、观察(协议内 2022-10,仓库谓词 2023-10)不同步。AI Agent 是四条在同一软件系统中同时为真的配置,不是其中一条的发布日期。年份表与原文见时间线。