Stanford 与 Laude Institute，2025-05-19。真实 Docker 沙箱里的命令行任务；看最终环境状态，不看 transcript 漂不漂亮。
项目与说明见 laude-institute/terminal-bench。发布报道：2025-05-19。论文更晚（2026 年挂出），本页以 2025-05 基准上线为准。
Terminal-Bench
2025-05-19。真实 Docker 里的命令行任务。完成谓词是最终环境状态，不是 transcript。
1 - Terminal-Bench（材料）
按 2025-05-19 上线时的公开说明转述：Docker 里的 CLI 任务与状态判定。
本页转述 2025-05-19 基准公开上线时说了什么。2.0 / 更难后继版本与 2026 年论文，不写成当天已有。
主要出处：Stanford / Laude Institute 的 Terminal-Bench 发布（约 80–100 道 beta 任务）；参考 harness Terminus。后继论文：arXiv:2601.11868（2026 年才挂，仅作对照，不回填 5 月数字）。本页不复制全文。
主张
多数编码基准给模型一段上下文、要一段答案。Terminal-Bench 把 agent 放进一次性 Docker 命令行环境：自然语言指令、真实 shell、读命令输出、改到时间上限。成功与否由脚本检查容器最终状态，不评模型说话漂不漂亮。任务方向包括：编译仓库、训小模型、配服务器、修坏掉的系统。
同时放出 Terminus：尽量薄的参考脚手架，用来比较不同底层模型，而不是绑死某一家商业编码 Agent。后来的评测说明里，Claude Code、Codex CLI、Gemini CLI、OpenHands 等都可以接到同一套 Harbor 任务格式上——那是后续生态，不是 5 月 19 日已经刷完的榜。
当时不是什么
不是 SWE-bench 的替代（issue + 补丁 + 单测仍是另一张考卷）。也不是宣称「终端 Agent 已经过半」。早期外部评测的方向是：强商业运行时好于裸 Terminus，但即便最强也远未做完。
2 - Terminal-Bench 讲解
完成谓词是最终环境状态。终端运行时不能只靠「补丁过单测」这把尺子。
当时解决了什么问题
Claude Code 和 Codex CLI 的工作方式是：在 shell 里跑命令、看输出、再决定。SWE-bench 测的是「对着 GitHub issue 改到测试绿」。真实失败常发生在：依赖没装、路径错、服务没起来、指令含糊。Terminal-Bench 把考场换成有状态的 CLI，判定看最终机器，不看模型有没有写出像样的 bash。
按定义跑在这张考卷上的系统 可以是 Agent。基准本身不是 Agent。谓词类型不同：仓库绿 vs 环境状态。生成像那么回事的命令 ≠ 环境真的好了。
对后续 LLM 与 Agent 的影响
编码线从此至少两把尺子：Verified / Pro 管「修仓库」，Terminal-Bench 管「会不会在壳里把事做完」。9 月 SWE-bench Pro 再把仓库题加硬。两套分数不可互换，更不可与 Verified 七成并排吹。没有这张表，终端运行时只能借用 issue→patch 的叙事。