SWE-bench Verified 讲解

当时解决了什么问题

原版 SWE-bench 有不可解题、描述含混、测试与 issue 不对齐。刷榜的人会撞上「模型其实改对了、测试仍红」或「题本身坏了」。清洗之后，分数上升一部分来自考卷变好，不一定全是模型变强。OpenAI 把 Verified（500 道经确认可解）做成此后引用的默认分母，减少「20% 和 43% 各说各的子集」。GPT-4o + 开源脚手架当天最好报 33.2%，同一脚手架在原版约 16%——公告把这读成原数据集低估了能力，不是「软件工程师已经能做三分之一真实工作」。

对后续 LLM 与 Agent 的影响

2024 年底到 2025 年的编码 Agent 几乎都报 Verified。3.5 Sonnet 升级自报 49%，o1 也在这张表上走。没有 Verified，舆论会继续把 2023 全量个位数和 2024 子集双位数当成同一把尺子。分母变了，减法不成立。

它仍是「单 issue、有测试、Python 开源仓」的考卷，不是跨天、跨人、需求含糊的项目。刷 Verified 也不等于生产交付——分布、污染、脚手架都不同。按 AI Agent 定义，Verified 是完成谓词，不是 Agent。