Timeline: SWE-bench Verified（材料）

Tue, 15 Sep 2026 00:00:00 +0000

本页转述 2024-08-13 公告当时公开说了什么，不把后来的 50%+ 刷榜写进当天。

主要出处：OpenAI，2024-08-13，Introducing SWE-bench Verified。与 SWE-bench 原作者合作。本页不复制公告全文。原论文见 2023 SWE-bench。

主张

SWE-bench 用真实 GitHub issue 考「给仓库和问题描述，能否改到测试通过」。到 2024-08-05，公开榜上最好 agent 在原版约 20%、SWE-bench Lite 约 43%。OpenAI 认为原测试集含有问题的题（含混、不可解、测试不足等），会低估模型能力。

SWE-bench Verified： 从原测试集抽出 500 条，经人类标注员确认「非 problematic」。公告写它取代原版 SWE-bench 与 SWE-bench Lite 作为推荐测试集。同时公开全部原测试样本的人工标注，可按难度切片：约 196 道「不到 15 分钟」的 easy，约 45 道「超过 1 小时」的 hard。

当时报的分数

用若干在原榜上表现好的开源脚手架测 GPT-4o（gpt-4o-2024-05-13）：最好脚手架在 Verified 上 33.2%，而其在原版 SWE-bench 上约 16%。公告把这读成：原数据集低估了 agent 能力。从 Lite 到 Verified 的跳变没有那么大，因为 Lite 已经滤过一轮。

当时不是什么

这不是新任务分布，是原分布上的清洗子集。33.2% 是 GPT-4o + 开源脚手架，不是「软件工程师已经能做三分之一真实工作」。公告也没有说可以和 2023 年论文里的个位数直接做减法。

Timeline: SWE-bench Verified 讲解

Tue, 15 Sep 2026 00:00:00 +0000

当时解决了什么问题

原版 SWE-bench 有不可解题、描述含混、测试与 issue 不对齐。刷榜的人会撞上「模型其实改对了、测试仍红」或「题本身坏了」。清洗之后，分数上升一部分来自考卷变好，不一定全是模型变强。OpenAI 把 Verified（500 道经确认可解）做成此后引用的默认分母，减少「20% 和 43% 各说各的子集」。GPT-4o + 开源脚手架当天最好报 33.2%，同一脚手架在原版约 16%——公告把这读成原数据集低估了能力，不是「软件工程师已经能做三分之一真实工作」。

对后续 LLM 与 Agent 的影响

2024 年底到 2025 年的编码 Agent 几乎都报 Verified。3.5 Sonnet 升级自报 49%，o1 也在这张表上走。没有 Verified，舆论会继续把 2023 全量个位数和 2024 子集双位数当成同一把尺子。分母变了，减法不成立。

它仍是「单 issue、有测试、Python 开源仓」的考卷，不是跨天、跨人、需求含糊的项目。刷 Verified 也不等于生产交付——分布、污染、脚手架都不同。按 AI Agent 定义，Verified 是完成谓词，不是 Agent。