Scale AI 等，2025-09-19。1,865 题、41 个仓库；公开集 731。统一脚手架下前沿模型 Pass@1 低于 25%。
原文：arXiv:2509.16941。博文：SWE-Bench Pro。
SWE-bench Pro
2025-09-19。更长、抗污染的仓库题。GPT-5 统一脚手架约 23%。与 Verified 不可横比。
1 - SWE-bench Pro（论文）
按原文转述：长周期仓库任务、抗污染设计、前沿模型低于 25%。
Scale Research 等。SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?。2025-09 挂出。arXiv:2509.16941。配套说明：Scale 博文（2025-09-19）。
摘要
SWE-bench / Verified 上的高分，覆盖不了专业软件工程的长度与多样性。Pro 给出 1,865 题，来自 41 个仍在维护的仓库，覆盖业务应用、B2B、开发者工具等。分区：
- 公开集 731（11 个公开仓，偏 copyleft，用来降低训练污染）
- 留出集 858（12 仓，不公开当考题）
- 商业集 276（18 个创业公司私有仓，有正式合作）
任务被写成职业工程师可能要数小时到数天：跨多文件、改动大。全部经人确认可解，并补足上下文。在统一脚手架、最多 200 轮下，广泛使用的编码模型 Pass@1 低于 25%；文中当时最高为 GPT-5 的 23.3%。博文并列 Claude Opus 4.1 约 23.1%。论文还对失败轨迹做了聚类。
评测设定（文中）
评测日期写到 2025-09-18 的模型版本。开源模型用 vLLM；尽可能开 tool-use。同一套基础提示与工具描述。强调：这是抗污染、更接近工业仓库的测试床，不是 Verified 的加长版闲聊。
当时不是什么
不是宣布编码 Agent 失败。是宣布 Verified 已经不够当唯一尺子。23% 是统一脚手架下的模型分，不是某一家产品运行时的私有榜。
2 - SWE-bench Pro 讲解
Verified 上的七成，换硬考卷掉到两成。谓词不同，完成率不可横比。2025 编码主线的警示尺。
论文解决了什么问题
2024 年 Verified 清洗了坏题，分数应声上涨。到 2025-08，GPT-5 在 Verified 上自报约 75%。若只看这一张表，叙事会变成「软件工程师已经大半能交给模型」。Pro 换更长、更多文件、更不像训练语料的仓库，同一只 GPT-5 掉到约 23%。这与 2023 年原版 SWE-bench 的「个位数」不是同一句话，功能类似：把宣传从考卷上拉开。
按定义 Pro 是评测，不是 Agent。它量的是统一脚手架下的仓库完成谓词。与 Verified 不可横比：分母、题长、污染控制都换了。与 Terminal-Bench 也不可横比：一个看补丁与测试，一个看环境状态。
对后续 LLM 与 Agent 的影响
2026 年 Aries 用 SWE-Bench Pro 当受控负载之一，不是偶然：基础设施论文需要任务够难、轨迹够长。产品侧 Claude Code / Codex 继续报 Verified；读 2025 年编码 Agent，两张表要一起看。人在环路没有过时——论文自己也写，多数非平凡任务仍过不去。