Scale AI 等,2025-09-19。1,865 题、41 个仓库;公开集 731。统一脚手架下前沿模型 Pass@1 低于 25%。
原文:arXiv:2509.16941。博文:SWE-Bench Pro。
按原文转述:长周期仓库任务、抗污染设计、前沿模型低于 25%。
Verified 上的七成,换硬考卷掉到两成。谓词不同,完成率不可横比。2025 编码主线的警示尺。