SWE-agent 讲解
给人的 IDE 对模型过宽又过窄。ACI 把编辑、导航、测试裁成循环能吃的动作集。
论文解决了什么问题
Devin 把「自主修 issue」做成舆论。学界缺一个可复现的对照:同样用 GPT-4 级模型,循环怎么接计算机,分数才上得去。SWE-agent 的答案不是再写一套更炫的多 Agent,而是 改界面。人用的 Linux shell / IDE 对模型并不友好:动作太细、反馈太长或太噪;同时又缺少「运行测试并返回失败切片」这种原语。ACI 提供较小的、面向 LM 的命令集:搜索与导航、面向模型的文件查看与编辑、护栏、简短回执。这是 2022 年 ReAct「行动是自由文本」之后,编码线上把 Action 重新设计成「给模型用的 API」。动作空间是设计物,不只是换更强的核心。
按 AI Agent 定义,SWE-agent 是 Agent:决策、在仓库环境里行动、用测试回执再决策。
对后续 LLM 与 Agent 的影响
后来的编码运行时(OpenHands、Claude Code、Codex CLI)都在做同一件事的产品版:不是把 VS Code 像素原样交给模型,而是给一套模型吃得消的工具。ACI 这个词没有全部流行起来,这个设计问题留下来了。
12.5%(GPT-4 Turbo,SWE-bench 全量口径下的论文数字)和 Devin 的 13.86% 外观接近,口径不同:子集、是否 assisted、脚手架都不可直接横比。真正要记的是:2024 年开源循环第一次在 SWE-bench 上拿出可引用的双位数,而且论文把「接口」写成自变量。刷分后来靠更强模型和 Verified 子集;界面这一课没有作废。