Computer Use(材料)

按 2024-10-22 公告转述:看屏幕 API、OSWorld 分数、实验性警告。

本页转述 2024-10-22 公告当时公开说了什么,不把 2025 年 Operator / ChatGPT agent 回填。

主要出处:Anthropic,2024-10-22,Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku。本页不复制公告全文。


产品主张

Computer Use 以公测形式出现在 API:开发者可让 Claude 像人一样用电脑——看屏幕、移动光标、点按钮、键入。公告称 3.5 Sonnet 是第一只提供电脑使用公测的前沿模型。当时仍是实验性:有时笨拙、易错;提前放出来是为了收开发者反馈。API 在 Anthropic、Bedrock、Vertex AI。同期放出升级版 3.5 Sonnet;3.5 Haiku 将在当月稍后。

开发者把指令(例如「用电脑上和网上的数据填这张表」)交给模型,由模型译成电脑命令(开浏览器、导航、填表等)。

评测(厂商自报)

  • OSWorld,仅截图档:Claude 3.5 Sonnet 14.9%;当时下一档系统约 7.8%。给更多步数时 22.0%。
  • 升级后的 3.5 Sonnet 在 SWE-bench Verified 上自报从 33.4% 到 49.0%;TAU-bench 零售/航空域也有提升。这些是同一天模型升级的数字,不是 Computer Use 专用分。

公告与报道还提到滚动、拖拽、缩放等仍弱。

当时不是什么

这是给开发者的 API 与参考实现,不是消费级「替你操作整台电脑」的默认开关。14.9% 远低于 OSWorld 上的人类约 72%。厂商自己写了笨拙和易错。