Anthropic，2024-10-22。升级版 Claude 3.5 Sonnet 的 Computer Use 公测。截屏 → 光标、点击、键入。
当时公告：Introducing computer use。
Claude Computer Use
2024-10-22。像素进、鼠标出。OSWorld 仍低分；厂商自写笨拙易错。按定义是 Agent。
1 - Computer Use（材料）
按 2024-10-22 公告转述：看屏幕 API、OSWorld 分数、实验性警告。
本页转述 2024-10-22 公告当时公开说了什么，不把 2025 年 Operator / ChatGPT agent 回填。
主要出处：Anthropic，2024-10-22，Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku。本页不复制公告全文。
产品主张
Computer Use 以公测形式出现在 API：开发者可让 Claude 像人一样用电脑——看屏幕、移动光标、点按钮、键入。公告称 3.5 Sonnet 是第一只提供电脑使用公测的前沿模型。当时仍是实验性：有时笨拙、易错；提前放出来是为了收开发者反馈。API 在 Anthropic、Bedrock、Vertex AI。同期放出升级版 3.5 Sonnet；3.5 Haiku 将在当月稍后。
开发者把指令（例如「用电脑上和网上的数据填这张表」）交给模型，由模型译成电脑命令（开浏览器、导航、填表等）。
评测（厂商自报）
- OSWorld，仅截图档：Claude 3.5 Sonnet 14.9%；当时下一档系统约 7.8%。给更多步数时 22.0%。
- 升级后的 3.5 Sonnet 在 SWE-bench Verified 上自报从 33.4% 到 49.0%；TAU-bench 零售/航空域也有提升。这些是同一天模型升级的数字，不是 Computer Use 专用分。
公告与报道还提到滚动、拖拽、缩放等仍弱。
当时不是什么
这是给开发者的 API 与参考实现，不是消费级「替你操作整台电脑」的默认开关。14.9% 远低于 OSWorld 上的人类约 72%。厂商自己写了笨拙和易错。
2 - Computer Use 讲解
像素进、鼠标出。按定义是 Agent。OSWorld 低分；2024 年仍是实验预览。
当时解决了什么问题
工具调用一直假设「有 API」。大量软件没有 API，只有 GUI。Computer Use 把观测改成截屏，把动作改成鼠标键盘，让没有官方接口的应用进入循环。这是「像素进、鼠标出」：副作用发生在 GUI 进程，错误不可逆、难回滚。OSWorld 已经证明这件事很难；Anthropic 把第一只公测 API 放到升级后的 3.5 Sonnet 上，并主动写低分和笨拙。
按 AI Agent 定义，这 是 Agent：LLM 决策、对环境（桌面）行动、看新截屏再决策。人仍要提供机器、权限和任务。视觉核心（GPT-4o / Claude 视觉）是输入前提，点击策略是这一层——两层不要并成「能看就会点」。
对后续 LLM 与 Agent 的影响
厂商自报 OSWorld 截图档 14.9%，更多步数时 22.0%，人对着同一张卷约 72%。编码线 2024 年 Verified 已到约一半（厂商自报）；电脑操作仍在低分区间。两条可靠度曲线不要并成一句「Agent 已经会用电脑」。
2025 年 1 月的 Operator 是这条线的产品化：Agent 自带浏览器。没有 10 月这次公测，看屏幕仍停留在论文和演示。安全问题（乱点、泄露、越权）公告已经当实验风险写了，不是后来才出现的。2024 年记下的是通道打通、谓词仍低。