SWE-bench Pro

2025-09-19。更长、抗污染的仓库题。GPT-5 统一脚手架约 23%。与 Verified 不可横比。

Scale AI 等,2025-09-19。1,865 题、41 个仓库;公开集 731。统一脚手架下前沿模型 Pass@1 低于 25%。

  1. 论文 — 按原文转述:题量、分区、23.3%。
  2. 讲解 — 谓词变硬,完成率塌缩;Verified 七成不能当 Pro 两成的对照。

原文:arXiv:2509.16941。博文:SWE-Bench Pro。


SWE-bench Pro(论文)

按原文转述:长周期仓库任务、抗污染设计、前沿模型低于 25%。

SWE-bench Pro 讲解

Verified 上的七成,换硬考卷掉到两成。谓词不同,完成率不可横比。2025 编码主线的警示尺。