https://skyao.net/learning-ai-agent/timeline/2025/terminal-bench/ Recent content in Terminal-Bench on AI Agent 学习笔记 Hugo -- gohugo.io zh-cn Tue, 15 Sep 2026 00:00:00 +0000 https://skyao.net/learning-ai-agent/timeline/2025/terminal-bench/source/ Tue, 15 Sep 2026 00:00:00 +0000 https://skyao.net/learning-ai-agent/timeline/2025/terminal-bench/source/ <p>本页转述 <strong>2025-05-19 基准公开上线时说了什么</strong>。2.0 / 更难后继版本与 2026 年论文，不写成当天已有。</p> <p>主要出处：Stanford / Laude Institute 的 Terminal-Bench 发布（约 80–100 道 beta 任务）；参考 harness <strong>Terminus</strong>。后继论文：<a href="https://arxiv.org/abs/2601.11868">arXiv:2601.11868</a>（2026 年才挂，仅作对照，不回填 5 月数字）。本页不复制全文。</p> <hr> <h2 id="主张">主张</h2> <p>多数编码基准给模型一段上下文、要一段答案。Terminal-Bench 把 agent 放进<strong>一次性 Docker 命令行环境</strong>：自然语言指令、真实 shell、读命令输出、改到时间上限。成功与否由脚本检查<strong>容器最终状态</strong>，不评模型说话漂不漂亮。任务方向包括：编译仓库、训小模型、配服务器、修坏掉的系统。</p> <p>同时放出 <strong>Terminus</strong>：尽量薄的参考脚手架，用来比较不同底层模型，而不是绑死某一家商业编码 Agent。后来的评测说明里，Claude Code、Codex CLI、Gemini CLI、OpenHands 等都可以接到同一套 Harbor 任务格式上——那是后续生态，不是 5 月 19 日已经刷完的榜。</p> <h2 id="当时不是什么">当时不是什么</h2> <p>不是 SWE-bench 的替代（issue + 补丁 + 单测仍是另一张考卷）。也不是宣称「终端 Agent 已经过半」。早期外部评测的方向是：强商业运行时好于裸 Terminus，但即便最强也远未做完。</p> https://skyao.net/learning-ai-agent/timeline/2025/terminal-bench/explanation/ Tue, 15 Sep 2026 00:00:00 +0000 https://skyao.net/learning-ai-agent/timeline/2025/terminal-bench/explanation/ <h2 id="当时解决了什么问题">当时解决了什么问题</h2> <p><a href="../../claude-code/">Claude Code</a> 和 Codex CLI 的工作方式是：在 shell 里跑命令、看输出、再决定。SWE-bench 测的是「对着 GitHub issue 改到测试绿」。真实失败常发生在：依赖没装、路径错、服务没起来、指令含糊。Terminal-Bench 把考场换成有状态的 CLI，判定看最终机器，不看模型有没有写出像样的 bash。</p> <p>按定义跑在这张考卷上的系统 <strong>可以是</strong> Agent。基准本身不是 Agent。谓词类型不同：仓库绿 vs 环境状态。生成像那么回事的命令 ≠ 环境真的好了。</p> <h2 id="对后续-llm-与-agent-的影响">对后续 LLM 与 Agent 的影响</h2> <p>编码线从此至少两把尺子：Verified / Pro 管「修仓库」，Terminal-Bench 管「会不会在壳里把事做完」。9 月 <a href="../../swe-bench-pro/">SWE-bench Pro</a> 再把仓库题加硬。两套分数不可互换，更不可与 Verified 七成并排吹。没有这张表，终端运行时只能借用 issue→patch 的叙事。</p>