2024年

2024:评测与协议。编码 Agent 成为可验证主战场;MCP 发布时并不热闹,后来才被追认为拐点。

2024年的概述

2024:仓库级完成谓词与工具总线。编码循环第一次有可引用分数;MCP 当年是规范,不是默认插槽。

Gemini 1.5

2024-02-15。百万 token 级窗口。轨迹的工作集上限,本身不是 Agent。

Claude 3

2024-03-04。Haiku / Sonnet / Opus。编码与工具使用明显强于 2023 默认核心。核心不是 Agent。

Devin

2024-03-12。Cognition 把「AI 软件工程师」做成品类口号。热度远高于当时可复现的完成率。

SWE-agent

2024-05。Princeton:为循环设计 Agent-Computer Interface,而不是把人用的 IDE 原样交给模型。

OSWorld

2024-04。给 GUI 副作用出完成谓词。Computer Use 报的 14.9% 对着这类基准,与编码线不可横比。

GPT-4o

2024-05-13。实时多模态对话。Computer Use 路线的视觉前提:能看 ≠ 已点击。本身不是 Agent。

Cursor

2024 上半年走红。IDE 里人在环路:补全、对话、改文件。弱自主先于全自主叙事进入日常。

Claude 3.5 Sonnet

2024-06-21。编码与 Artifact 工作流。许多团队把默认核心切到这里。核心换了,循环仍在宿主。

SWE-bench Verified

2024-08-13。500 道经人确认可解的子集。与 2023 全量 SWE-bench 分母不同,不能横比。

OpenAI o1

2024-09-12。o1-preview:测试时计算换正确率。规划的一部分被训练进核心。宿主仍管工具与停机。

Claude Computer Use

2024-10-22。像素进、鼠标出。OSWorld 仍低分;厂商自写笨拙易错。按定义是 Agent。

Model Context Protocol

2024-11-25。模型 ↔ 工具/数据的开放总线,不是编排器。当年热度低;本身不是 Agent。

Building effective agents

2024-12-19。Anthropic:工作流的边在代码里,Agent 的边在模型输出里。少上复杂多 Agent。