Timeline: Computer Use（材料）

Tue, 15 Sep 2026 00:00:00 +0000

本页转述 2024-10-22 公告当时公开说了什么，不把 2025 年 Operator / ChatGPT agent 回填。

主要出处：Anthropic，2024-10-22，Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku。本页不复制公告全文。

产品主张

Computer Use 以公测形式出现在 API：开发者可让 Claude 像人一样用电脑——看屏幕、移动光标、点按钮、键入。公告称 3.5 Sonnet 是第一只提供电脑使用公测的前沿模型。当时仍是实验性：有时笨拙、易错；提前放出来是为了收开发者反馈。API 在 Anthropic、Bedrock、Vertex AI。同期放出升级版 3.5 Sonnet；3.5 Haiku 将在当月稍后。

开发者把指令（例如「用电脑上和网上的数据填这张表」）交给模型，由模型译成电脑命令（开浏览器、导航、填表等）。

评测（厂商自报）

OSWorld，仅截图档：Claude 3.5 Sonnet 14.9%；当时下一档系统约 7.8%。给更多步数时 22.0%。
升级后的 3.5 Sonnet 在 SWE-bench Verified 上自报从 33.4% 到 49.0%；TAU-bench 零售/航空域也有提升。这些是同一天模型升级的数字，不是 Computer Use 专用分。

公告与报道还提到滚动、拖拽、缩放等仍弱。

当时不是什么

这是给开发者的 API 与参考实现，不是消费级「替你操作整台电脑」的默认开关。14.9% 远低于 OSWorld 上的人类约 72%。厂商自己写了笨拙和易错。

Timeline: Computer Use 讲解

Tue, 15 Sep 2026 00:00:00 +0000

当时解决了什么问题

工具调用一直假设「有 API」。大量软件没有 API，只有 GUI。Computer Use 把观测改成截屏，把动作改成鼠标键盘，让没有官方接口的应用进入循环。这是「像素进、鼠标出」：副作用发生在 GUI 进程，错误不可逆、难回滚。OSWorld 已经证明这件事很难；Anthropic 把第一只公测 API 放到升级后的 3.5 Sonnet 上，并主动写低分和笨拙。

按 AI Agent 定义，这是 Agent：LLM 决策、对环境（桌面）行动、看新截屏再决策。人仍要提供机器、权限和任务。视觉核心（GPT-4o / Claude 视觉）是输入前提，点击策略是这一层——两层不要并成「能看就会点」。

对后续 LLM 与 Agent 的影响

厂商自报 OSWorld 截图档 14.9%，更多步数时 22.0%，人对着同一张卷约 72%。编码线 2024 年 Verified 已到约一半（厂商自报）；电脑操作仍在低分区间。两条可靠度曲线不要并成一句「Agent 已经会用电脑」。

2025 年 1 月的 Operator 是这条线的产品化：Agent 自带浏览器。没有 10 月这次公测，看屏幕仍停留在论文和演示。安全问题（乱点、泄露、越权）公告已经当实验风险写了，不是后来才出现的。2024 年记下的是通道打通、谓词仍低。