Timeline: SWE-bench Pro（论文）

Tue, 15 Sep 2026 00:00:00 +0000

Scale Research 等。SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?。2025-09 挂出。arXiv:2509.16941。配套说明：Scale 博文（2025-09-19）。

摘要

SWE-bench / Verified 上的高分，覆盖不了专业软件工程的长度与多样性。Pro 给出 1,865 题，来自 41 个仍在维护的仓库，覆盖业务应用、B2B、开发者工具等。分区：

公开集 731（11 个公开仓，偏 copyleft，用来降低训练污染）
留出集 858（12 仓，不公开当考题）
商业集 276（18 个创业公司私有仓，有正式合作）

任务被写成职业工程师可能要数小时到数天：跨多文件、改动大。全部经人确认可解，并补足上下文。在统一脚手架、最多 200 轮下，广泛使用的编码模型 Pass@1 低于 25%；文中当时最高为 GPT-5 的 23.3%。博文并列 Claude Opus 4.1 约 23.1%。论文还对失败轨迹做了聚类。

评测设定（文中）

评测日期写到 2025-09-18 的模型版本。开源模型用 vLLM；尽可能开 tool-use。同一套基础提示与工具描述。强调：这是抗污染、更接近工业仓库的测试床，不是 Verified 的加长版闲聊。

当时不是什么

不是宣布编码 Agent 失败。是宣布 Verified 已经不够当唯一尺子。23% 是统一脚手架下的模型分，不是某一家产品运行时的私有榜。

Timeline: SWE-bench Pro 讲解

Tue, 15 Sep 2026 00:00:00 +0000

论文解决了什么问题

2024 年 Verified 清洗了坏题，分数应声上涨。到 2025-08，GPT-5 在 Verified 上自报约 75%。若只看这一张表，叙事会变成「软件工程师已经大半能交给模型」。Pro 换更长、更多文件、更不像训练语料的仓库，同一只 GPT-5 掉到约 23%。这与 2023 年原版 SWE-bench 的「个位数」不是同一句话，功能类似：把宣传从考卷上拉开。

按定义 Pro 是评测，不是 Agent。它量的是统一脚手架下的仓库完成谓词。与 Verified 不可横比：分母、题长、污染控制都换了。与 Terminal-Bench 也不可横比：一个看补丁与测试，一个看环境状态。

对后续 LLM 与 Agent 的影响

2026 年 Aries 用 SWE-Bench Pro 当受控负载之一，不是偶然：基础设施论文需要任务够难、轨迹够长。产品侧 Claude Code / Codex 继续报 Verified；读 2025 年编码 Agent，两张表要一起看。人在环路没有过时——论文自己也写，多数非平凡任务仍过不去。