AI Agent 学习笔记 – 2024年

Timeline: 2024年的概述

Wed, 09 Sep 2026 00:00:00 +0000

一句话主线： 2024 年，编码循环第一次接到独立于演示的完成谓词。SWE-bench Verified 成为默认基准；Devin 把「AI 软件工程师」做成品类口号；Computer Use 把观察换成像素、动作换成键鼠；MCP 在 11 月给出模型↔工具/数据的开放接线。热度集中在产品与基准；MCP 当年几乎无人采用，2025 年才被追认为工具层拐点。

上一页：2023。总弧线见概述。协议深挖见 MCP。

和 LLM 的关系

2023 给出控制循环和 Function Calling schema。2024 年模型侧改写 Agent 前提的，是四块：

长上下文成为长轨迹的工作集上限。 Gemini 1.5（2024-02）把窗口推到约 100 万 token；Claude 3 系、GPT-4 Turbo 把「一次会话装下小仓库 / 长文档」做成可买能力。Agent 不必每步靠检索外挂才能看见代码。窗口够，仍不产生副作用。
多模态让像素观察成立。 GPT-4o（2024-05）把视听做进同一对话模型；Anthropic 在 10 月用升级后的 Claude 3.5 Sonnet 推出 Computer Use：截屏 → 鼠标键盘。能看 ≠ 已点击。没有视觉核心，通用电脑操作只能是网页 API 调用。
推理从明文 Thought 内化到测试时计算。 o1-preview（2024-09）用强化学习训练隐式长思考。规划、试错、自检不再完全依赖 ReAct 把 Thought 写进上下文。循环可以更短，代价是延迟、账单和不透明。停机、工具、沙箱仍在宿主。把内部 CoT 当成已经实现 Agent，会漏掉执行层。
编码核心被仓库级谓词逼着涨。 Claude 3（3 月）、3.5 Sonnet（6 月）以及 10 月的 Sonnet 升级，把 SWE-bench Verified 从约三分之一拉到约一半（厂商自报 49%）。分数会刷、会挑子集。事实是：决策核心第一次在「修真实 GitHub issue」上拿出可引用成绩。模型仍不是 Agent。

工具接线仍是各家私有 schema。MCP 出现在 2024 年底，当年没有统一生态。

里程碑

每条一个分类，标签可多个（六类历史角色）。

时间	事件	分类	标签	为什么记
2024-02	Gemini 1.5 长上下文	模型	—	百万 token 级窗口把「仓库进一次会话」做成产品选项。工作集上限，不是循环
2024-03	Claude 3 家族	模型	—	编码与工具使用明显强于 2023 默认核心。后续 Claude 系运行时站在这条线上。核心不是 Agent
2024-03-12	Cognition Devin	产品	引爆	「AI 软件工程师」成为品类口号。SWE-bench 子集成绩带起舆论；当时独立复现和全量基准仍稀缺。热度 ≠ 完成率
2024-04	OSWorld 等电脑操作基准	评测	首证	给 GUI 副作用出完成谓词。10 月 Computer Use 报的 14.9% 截图分，对着这类基准，与编码线 Verified 不可横比
2024-05	SWE-agent（Princeton）	产品	首证	为循环设计 Agent-Computer Interface（编辑、导航、测试），而不是把人用的 IDE 原样交给模型。开源对照 Devin。动作空间是设计物
2024-05	GPT-4o	模型	—	实时多模态对话。Computer Use / Operator 路线的视觉前提。能看 ≠ 已点击
2024 上半年	Cursor 等 IDE Agent 走红	产品	引爆	人在环路的编码 Agent 比全自主 Devin 更早进入日常。弱自主仍满足定义；留存往往高于全自主叙事
2024-06	Claude 3.5 Sonnet	模型	—	编码与 Artifact 工作流。许多团队把默认核心切到这里。核心换了，循环仍在宿主
2024-08	SWE-bench Verified	评测	标准、警示	500 道经工程师确认可解的子集，成为默认谓词。原版含不可解/含混题——2023「几乎做不出」与 2024「刷到 50%」分母不同，不可横比
2024-09	OpenAI o1-preview	模型	范式更替	推理模型：测试时计算换正确率。循环的一部分被训练进核心，而不只写在提示词里。宿主仍管停机与工具
2024-10-22	Claude Computer Use	产品	首证、工程化	公有 API 上第一次让前沿模型「看屏幕、点鼠标」。观察是像素，副作用在 GUI。OSWorld 分数仍低；Anthropic 自己写了笨拙和易错
2024-11	Model Context Protocol (MCP)	协议	标准	模型 ↔ 工具/数据的开放接线，不是循环。2024 年是规范 + Claude Desktop 本地 server + 少量合作方。当时热度不高，2025 年才被多家追认
2024-12	Anthropic Building effective agents	文献	—	把 workflow（边在代码里）和 agent（边在模型输出里）分开。多 Agent 是拓扑，不是更强的循环原语

刻意不升格的：GPT Store 里的 GPTs（自定义助手，无目标循环）；Rabbit R1 等硬件叙事；大多数「多 Agent 框架」发布会——CrewAI / AutoGen / LangGraph 作为工程化存在，但 2024 的主线是编码谓词和协议萌芽，不是又一次 AutoGPT 式框架膨胀。

能力栈切片

模型层

默认核心从 GPT-4 换成更强的 Sonnet / 4o / Gemini。o1 把「想」部分藏进内部计算。长窗口和视觉第一次同时到位。Function Calling 已是各家标配，不再是新闻；它是接线，不是循环。

框架 / 协议层

框架继续分叉：LangGraph 强调有状态图；各家 Agent SDK 开始出现。改写后续接线的是 MCP：把「接工具」从每家私有 JSON 往开放标准推。2024 年生态很小，11 月发布 ≠ 已经统一。电脑操作仍是厂商私有 API（Computer Use），不是协议。

应用层

主线是编码 Agent：Devin 代表全自主云端工程师叙事；Cursor / Copilot 代表 IDE 里人在环路；SWE-agent / OpenHands（由 OpenDevin 而来）代表可复现的开源循环。Computer Use 打开第二条应用线——通用电脑操作——但 2024 年仍是研究预览。Deep Research 作为品类要到 2025。

基础设施层

评测成为完成谓词：SWE-bench / Verified、OSWorld、TAU-bench。刷基准与真实交付之间的缝，2024 年开始被公开讨论。沙箱成为编码 Agent 标配（云端 VM、隔离执行），但调度、冷启动、身份还不是论文主题——那是 2026 的 Aries / SpecBox。

还做不到什么

全自主软件工程师。 Devin 能演示，SWE-bench Verified 在 2024 年底最好公开分大约一半；跨多文件、含糊需求、长周期项目仍不稳。
可靠的通用电脑操作。 Computer Use 公测，OSWorld 仍是低分区间，与编码线 Verified 不在同一数量级。
跨厂商的工具插槽。 MCP 有了规范，没有成为默认接线。
推理成本可忽略。 o1 让规划更强，也让每一步更贵；经济性第一次成为 Agent 设计约束。
组织级身份与治理。 Agent 仍然借用用户 OAuth 或一把 key。主体不是独立 principal。团队共享工作区不是 2024 年的产品主线。

当时的反方意见：Devin 考题子集、Computer Use 被用来乱点网页、MCP「又一个协议」。后两句到 2025–2026 会部分被证伪（MCP 活下来了）；第一句仍然成立——引爆型事件要等第三方谓词。