SWE-bench Pro（论文）

按原文转述：长周期仓库任务、抗污染设计、前沿模型低于 25%。

Scale Research 等。SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?。2025-09 挂出。arXiv:2509.16941。配套说明：Scale 博文（2025-09-19）。

摘要

SWE-bench / Verified 上的高分，覆盖不了专业软件工程的长度与多样性。Pro 给出 1,865 题，来自 41 个仍在维护的仓库，覆盖业务应用、B2B、开发者工具等。分区：

  • 公开集 731（11 个公开仓，偏 copyleft，用来降低训练污染）
  • 留出集 858（12 仓，不公开当考题）
  • 商业集 276（18 个创业公司私有仓，有正式合作）

任务被写成职业工程师可能要数小时到数天：跨多文件、改动大。全部经人确认可解，并补足上下文。在统一脚手架、最多 200 轮下，广泛使用的编码模型 Pass@1 低于 25%；文中当时最高为 GPT-5 的 23.3%。博文并列 Claude Opus 4.1 约 23.1%。论文还对失败轨迹做了聚类。

评测设定（文中）

评测日期写到 2025-09-18 的模型版本。开源模型用 vLLM；尽可能开 tool-use。同一套基础提示与工具描述。强调：这是抗污染、更接近工业仓库的测试床，不是 Verified 的加长版闲聊。

当时不是什么

不是宣布编码 Agent 失败。是宣布 Verified 已经不够当唯一尺子。23% 是统一脚手架下的模型分，不是某一家产品运行时的私有榜。