SWE-bench 讲解

论文解决了什么问题

HumanEval 一类基准是自包含短函数。真实工程是：在几千个文件里找到该改的几十行，改完还不能把原有测试弄挂。没有执行，分数就是人眼或模型自评。SWE-bench 把考卷接到真实 issue、真实 PR、真实 fail-to-pass 测试上，并且可以随新 PR 持续更新。完成判据独立于演示：测试必须绿。

对后续 LLM 与 Agent 的影响

首证：编码 Agent 从此有了一张会随时间变难的卷。警示：2023 年舆论里的 AutoGPT / 「自主程序员」在这张卷上几乎交白卷——最好也只在 2% 量级（Claude 2 约 1.96%；GPT-4 在子集上约 1.74%）。循环能转与目标已达成，从此必须分列。

按 AI Agent 定义，这张考卷考的是「对环境（代码库 + 测试）行动并按反馈验证」，比聊天写函数更接近 Agent；但 2023 年论文主结果仍是检索 + 一次生成补丁，不是已经跑通的多步运行时。无界循环在第一层（观察写回）上转，在第二层（测试谓词）上失败。

不要用后来排行榜上的高分回填这一页。2023 年要记住的是：完成谓词出现了，当时的系统还不会做。 热度 ≠ 完成率。