Timeline: OSWorld（论文）

Tue, 15 Sep 2026 00:00:00 +0000

Tianbao Xie 等。OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments。2024-04 首挂。arXiv:2404.07972。后收入 NeurIPS 2024 Datasets and Benchmarks。

摘要

能少用人干预完成复杂电脑任务的自主 agent，被写成可改变人机交互。既有基准要么缺交互环境，要么锁在特定应用/领域，反映不了真实电脑使用的多样与复杂。论文给出 OSWorld：可扩展的真实电脑环境，支持在 Ubuntu、Windows、macOS 上做任务布置、交互学习、基于执行的评测。其上构建 369 道任务：真实网页与桌面应用、操作系统文件 I/O、跨应用工作流。每题来自真实用例，带初始状态配置与自定义评测脚本。当时最强 LLM/VLM agent 在 OSWorld 上暴露明显不足：人能完成超过 72.36%，最好模型约 12.24%，主要卡在 GUI grounding 与操作知识。

环境与任务

OSWorld 不是模拟器里的假桌面，而是真实 OS 上的可复现任务。动作包括截屏、无障碍树、键盘与鼠标。任务跨开放域应用，常要多应用、GUI 与 CLI 并用。

评测（文中报告）

基线成功率从约 0.99% 到约 12.24%。人约 72.4%。失败分析指向：点不准控件、不懂常见软件操作流程，而不只是「语言模型不够聪明」。

对象是电脑操作 agent 的环境与考卷，不是某一个厂商产品。

Timeline: OSWorld 讲解

Tue, 15 Sep 2026 00:00:00 +0000

论文解决了什么问题

WebGPT、浏览器插件、DOM 工具只能覆盖「网页里有 API 或 DOM 的那一层」。真实工作大量发生在桌面软件、文件管理器、跨应用复制。OSWorld 把考场从 MiniWoB 一类玩具环境换成真 OS，并且用执行脚本打分，而不是看演示是否好看。谓词在桌面状态，不在模型自述。

按 AI Agent 定义，跑在 OSWorld 上的系统可以是 Agent：看屏幕或无障碍树、点鼠标、根据状态再决定。2024 年的分数说明：定义满足，能力不够。人约 72%，当时最好模型约 12%。失败分析指向 GUI grounding 与操作知识，而不只是「语言模型不够聪明」。

对后续 LLM 与 Agent 的影响

10 月 Anthropic Computer Use 报 OSWorld 截图档 14.9%（更多步数时 22.0%），就是对着这类基准说话。没有 OSWorld，Computer Use 只剩演示视频。编码线上 SWE-bench Verified 在 2024 年把分数从个位数拉到可引用；电脑操作线直到 2024 年底仍在低分区间。两条通道的信噪比不可互换：测试失败可局部重跑，GUI 点错按钮回滚成本高。不要用同一个「Agent 已经能干活」概括两条线。评测是尺子，不是 Agent。