SWE-bench

2023-10。真实 GitHub issue 上的仓库级完成谓词。当时分数接近零：考卷也是冷水。

Jimenez、Yang、Yao 等，Princeton 等。arXiv 2023-10。2,294 道来自 12 个流行 Python 仓的 issue。

  1. 论文 — 任务怎么构造、怎么用测试评分、当时模型分数。
  2. 讲解 — 为何这既是编码 Agent 赛道的出生证明，也是对 2023 自主编码宣传的完成谓词。

原文：arXiv:2310.06770。

SWE-bench（论文）

按原文结构转述 Jimenez 等 2023：真实 GitHub issue 上的软件工程评测。

SWE-bench 讲解

第一次给「修真实 issue」一个外部完成谓词。考卷出生；当时分数接近零。