这是本节的多页打印视图。 点击此处打印.

返回本页常规视图.

GPT-4o

2024-05-13。实时多模态对话。Computer Use 路线的视觉前提:能看 ≠ 已点击。本身不是 Agent。

OpenAI,2024-05-13 Spring Update。GPT-4o:同一模型处理文本、音频、图像;对免费用户开放更强对话。

  1. 材料 — 按当时公告转述:omni、延迟、可用性。
  2. 讲解 — 视觉是 GUI 的输入通道,不是点击策略;4o 仍不是循环。

当时公告:Hello GPT-4o。

1 - GPT-4o(材料)

按 2024-05-13 公告转述:omni 模型、实时视听、免费档。

本页转述 2024-05-13 公告当时公开说了什么,不以后来的 4o mini、o1 或 Operator 回填。

主要出处:OpenAI,2024-05-13,Hello GPT-4o。本页不复制公告全文。


产品主张

GPT-4o 的 o 写成 omni:一个模型跨文本、视觉、音频推理,语音到语音的响应可到约 232–320 毫秒 量级,接近人的对话节奏。能力上公告称文本与代码匹配当时的 GPT-4 Turbo,多语言、视听更好。ChatGPT 免费用户得到 GPT-4 级对话;Plus 用户限额更高。API 先放文本与视觉,音频稍后。

演示强调实时语音、看屏幕/图像、打断与语气。定价相对 GPT-4 Turbo 下调。公告同时提到安全评估与分阶段放出音频。

当时不是什么

这是对话模型与产品入口。实时看图、听声,不等于已经在操作系统里点鼠标。电脑操作、浏览器 Agent 是后续产品。4o 可以把截图当输入,循环与动作空间仍要宿主自己接。

2 - GPT-4o 讲解

视听进同一只对话模型。像素可以当一等观测;点击策略仍在宿主。模型不是 Agent。

当时解决了什么问题

GPT-4 的视觉是后加、偏慢的管道。电脑操作如果每一步都「截屏 → 另一个视觉模型 → 文本描述 → 再决策」,延迟和信息损失都大。4o 把看和说收进同一只低延迟核心,让「对着屏幕说话」变成消费级体验。对 Agent,这意味着截屏可以当一等观测,而不只是辅助插件。

它没有规定鼠标 API,也没有 OSWorld 分数。感官到位,执行器还没有。能看 ≠ 已点击:视觉是 GUI 的输入前提,不是点击策略。

对后续 LLM 与 Agent 的影响

没有「能看」,Computer Use / Operator 只能调网页 API。有了 4o(以及同时期 Claude 的视觉),看屏幕才成为产品路线。实时语音是另一条消费叙事,对任务型 Agent 的影响小于视觉。循环、浏览器、点击,是 2024 年 10 月和 2025 年 1 月才做成公测产品的。

按 AI Agent 定义,GPT-4o 本身不是 Agent。它是更强、更全能的决策核心。像素进上下文,不等于已经在 OS 进程里产生副作用。