OSWorld
2024-04。给 GUI 副作用出完成谓词。Computer Use 报的 14.9% 对着这类基准,与编码线不可横比。
Xie 等。arXiv:2404.07972。真实操作系统里的开放电脑任务:369 题;人约 72%,当时最好模型约 12%。
- 论文 — 按原文转述:环境、任务、分数与失败模式。
- 讲解 — 为何电脑操作与编码 Agent 不是同一条可靠度曲线。
原文:arXiv:2404.07972。项目页:os-world.github.io。
按原文转述:真实电脑环境、369 题、人与模型的成功率差距。
「会用电脑」第一次有可复现的低分。像素通道成立;完成率远低于编码线。