SWE-bench Verified

2024-08-13。500 道经人确认可解的子集。与 2023 全量 SWE-bench 分母不同，不能横比。

OpenAI 与 SWE-bench 原作者，2024-08-13。原测试集的人工校验子集，成为此后默认完成谓词。

  1. 材料 — 按当时公告转述：为什么原版有问题、500 题、GPT-4o 33.2%。
  2. 讲解 — 分母变了：「几乎做不出」到「三分之一」不能当同一把尺子读。

当时公告：Introducing SWE-bench Verified。2023 年原版见 SWE-bench。

SWE-bench Verified（材料）

按 2024-08-13 公告转述：人工校验子集、难度切片、GPT-4o 分数。

SWE-bench Verified 讲解

分母变了。2023 的「几乎做不出」和 2024 的「三分之一」不能直接横比。