OpenAI 与 SWE-bench 原作者，2024-08-13。原测试集的人工校验子集，成为此后默认完成谓词。
当时公告：Introducing SWE-bench Verified。2023 年原版见 SWE-bench。
SWE-bench Verified
2024-08-13。500 道经人确认可解的子集。与 2023 全量 SWE-bench 分母不同，不能横比。
1 - SWE-bench Verified（材料）
按 2024-08-13 公告转述：人工校验子集、难度切片、GPT-4o 分数。
本页转述 2024-08-13 公告当时公开说了什么，不把后来的 50%+ 刷榜写进当天。
主要出处：OpenAI，2024-08-13，Introducing SWE-bench Verified。与 SWE-bench 原作者合作。本页不复制公告全文。原论文见 2023 SWE-bench。
主张
SWE-bench 用真实 GitHub issue 考「给仓库和问题描述，能否改到测试通过」。到 2024-08-05，公开榜上最好 agent 在原版约 20%、SWE-bench Lite 约 43%。OpenAI 认为原测试集含有问题的题（含混、不可解、测试不足等），会低估模型能力。
SWE-bench Verified： 从原测试集抽出 500 条，经人类标注员确认「非 problematic」。公告写它取代原版 SWE-bench 与 SWE-bench Lite 作为推荐测试集。同时公开全部原测试样本的人工标注，可按难度切片：约 196 道「不到 15 分钟」的 easy，约 45 道「超过 1 小时」的 hard。
当时报的分数
用若干在原榜上表现好的开源脚手架测 GPT-4o（gpt-4o-2024-05-13）：最好脚手架在 Verified 上 33.2%，而其在原版 SWE-bench 上约 16%。公告把这读成：原数据集低估了 agent 能力。从 Lite 到 Verified 的跳变没有那么大，因为 Lite 已经滤过一轮。
当时不是什么
这不是新任务分布，是原分布上的清洗子集。33.2% 是 GPT-4o + 开源脚手架，不是「软件工程师已经能做三分之一真实工作」。公告也没有说可以和 2023 年论文里的个位数直接做减法。
2 - SWE-bench Verified 讲解
分母变了。2023 的「几乎做不出」和 2024 的「三分之一」不能直接横比。
当时解决了什么问题
原版 SWE-bench 有不可解题、描述含混、测试与 issue 不对齐。刷榜的人会撞上「模型其实改对了、测试仍红」或「题本身坏了」。清洗之后，分数上升一部分来自考卷变好，不一定全是模型变强。OpenAI 把 Verified（500 道经确认可解）做成此后引用的默认分母，减少「20% 和 43% 各说各的子集」。GPT-4o + 开源脚手架当天最好报 33.2%，同一脚手架在原版约 16%——公告把这读成原数据集低估了能力，不是「软件工程师已经能做三分之一真实工作」。
对后续 LLM 与 Agent 的影响
2024 年底到 2025 年的编码 Agent 几乎都报 Verified。3.5 Sonnet 升级自报 49%，o1 也在这张表上走。没有 Verified，舆论会继续把 2023 全量个位数和 2024 子集双位数当成同一把尺子。分母变了，减法不成立。
它仍是「单 issue、有测试、Python 开源仓」的考卷，不是跨天、跨人、需求含糊的项目。刷 Verified 也不等于生产交付——分布、污染、脚手架都不同。按 AI Agent 定义，Verified 是完成谓词，不是 Agent。