Computer Use 讲解

当时解决了什么问题

工具调用一直假设「有 API」。大量软件没有 API，只有 GUI。Computer Use 把观测改成截屏，把动作改成鼠标键盘，让没有官方接口的应用进入循环。这是「像素进、鼠标出」：副作用发生在 GUI 进程，错误不可逆、难回滚。OSWorld 已经证明这件事很难；Anthropic 把第一只公测 API 放到升级后的 3.5 Sonnet 上，并主动写低分和笨拙。

按 AI Agent 定义，这 是 Agent：LLM 决策、对环境（桌面）行动、看新截屏再决策。人仍要提供机器、权限和任务。视觉核心（GPT-4o / Claude 视觉）是输入前提，点击策略是这一层——两层不要并成「能看就会点」。

对后续 LLM 与 Agent 的影响

厂商自报 OSWorld 截图档 14.9%，更多步数时 22.0%，人对着同一张卷约 72%。编码线 2024 年 Verified 已到约一半（厂商自报）；电脑操作仍在低分区间。两条可靠度曲线不要并成一句「Agent 已经会用电脑」。

2025 年 1 月的 Operator 是这条线的产品化：Agent 自带浏览器。没有 10 月这次公测，看屏幕仍停留在论文和演示。安全问题（乱点、泄露、越权）公告已经当实验风险写了，不是后来才出现的。2024 年记下的是通道打通、谓词仍低。