AI Agent 学习笔记 – 2022年

Timeline: 2022年的概述

Wed, 09 Sep 2026 00:00:00 +0000

一句话主线： 2022 年，决策核心补上两条后来所有 Agent 运行时都依赖的前提：指令跟随之后的可对话接口，以及把中间计算写进 token 序列的思维链。10 月 ReAct 把 Thought / Action / Observation 交错写成可抄的文本协议，LangChain 把常见拼法收成库；同年公众入口是 11 月的 ChatGPT，不是自主执行。稳定接通「循环 + 副作用接口 + 观察写回」的产品要到 2023 才出现。

总弧线见概述，前传见 2022 年之前。ChatGPT 按 AI Agent 定义不是 Agent：观察等于用户下一句，行动等于再生成，没有对环境产生副作用的循环。它改变分发入口，不改变执行语义。

和 LLM 的关系

前一年结束时，零件已在：GPT-3 能少样本偏移行为，Codex 能写短函数，WebGPT 能在受控浏览器里检索。2022 年模型侧做的，是把这些零件拧成可分发、且能在解码过程里展开串行计算的决策核心——仍然不是完整 Agent。本条只解释核心；控制流归属、副作用接口、完成判据另计。

指令契约成为默认。 InstructGPT 的工作贯穿 2021，OpenAI 在 2022-01 把人类反馈训练的模型设为 API 默认，论文 3 月挂出。预训练目标是网页续写；Agent 的输入是祈使句、约束和后来的 schema。没有这一步，系统提示会被当成又一段网页。它仍是单次生成。
多步计算被证明可以写进 token 序列。 Chain-of-Thought（Wei et al.，2022-01）用少量中间步骤示例，让够大的模型在算术、常识、符号任务上明显变强。5 月 Zero-shot CoT 把触发器收成一句 “Let’s think step by step”。这是推理协议，不是作用在环境上的循环：没有 Action，没有 Observation。ReAct 的 Thought 从这里接出。
规模是协议生效的物理前提。 PaLM 540B 等结果表明：同一套 CoT，小模型接近无效。当时「会分解」首先是容量问题，其次才是模板问题。
对话接口在年底成为默认人机界面。 ChatGPT（2022-11-30）把 RLHF 后的对话模型做成网页产品。它不调任意工具、不跑沙箱循环。2023 年所有插件、Agent 演示，都假定操作者已经会用这种界面。改变的是入口，不是执行。

工具调用在 2022 年仍是 prompt 约束：MRKL、PAL、ReAct 都让模型把计算、检索、动作交给外部模块，实现是字符串约定加宿主解析。没有 Function Calling schema。可解析的函数选择是 2023-06 Function Calling 的事。Function Calling 是协议，不是系统。

里程碑

只记改写了后续可能的事件。每条一个分类，标签可多个（六类历史角色）。

时间	事件	分类	标签	为什么记
2022-01	InstructGPT	论文	工程化	把决策核心从网页续写拧到指令契约。ChatGPT 与后来的系统提示、工具说明，都建立在「模型按意图解码」上
2022-01	Chain-of-Thought	论文	首证	中间计算写入 token 序列。ReAct 的 Thought 是这条协议接到 Action / Observation 上
2022-03	Self-Consistency	论文	首证	多样本推理再投票。后来循环里的重试 / 反思，有一条采样聚合的根在这里
2022-04	PaLM 540B	论文	—	把「CoT 要够大才生效」做成可引用事实。规模是 2022 年核心能力的物理上限之一
2022-05	Zero-shot CoT	论文	首证	一句 “Let’s think step by step” 即可。触发成本降到最低，推理协议可复制，环境仍未接入
2022-05	MRKL	论文	首证	主张 LLM 必须外挂知识与离散推理模块。架构图接近后来的「核心 + 工具」，实现仍是厂商私有系统
2022-06	GitHub Copilot 正式商用	产品	—	编码助手从预览变成付费产品。副作用在编辑器缓冲区，无目标循环，不是 Agent；「Copilot → Agent」的产品线从此有付费用户
2022-09	DeepMind Sparrow	产品	首证	对话模型可搜索网页并带证据作答，并用规则约束。观察通道是页面，谓词是带引用的答案；目标不是开放任务执行
2022-10	ReAct	论文	首证	Thought → Action → Observation 交错。HotpotQA / ALFWorld / WebShop 上证明观察必须进入下一步，不能只靠内部 CoT。实现是文本约定；ChatGPT 尚未发布，Function Calling 还有八个月。引用爬升发生在 2023
2022-10	LangChain 以开源库出现	框架	工程化	把 RAG、工具包装、Agent 提示收进 Python 包。循环可复制，状态在进程内存和提示里。公司 2023-02 才成立；今年是胶水雏形，生态膨胀在明年
2022-11	PAL	论文	首证	推理步骤编译成程序，副作用关在 Python 解释器。通道是返回值，任务是解题。后来沙箱跑代码，这条根比把算术留在解码过程里更硬
2022-11-30	ChatGPT	产品	引爆	把对话 LLM 做成默认界面。不是 Agent，却是后续所有运行时的人机接口前提。2022 年舆论中心是它，不是 ReAct
2022-12	Constitutional AI	论文	—	用原则和 AI 反馈对齐。对 Agent 史是旁支（安全与可控），对后来 Claude 系运行时是训练前提

刻意不升格的：SayCan / Inner Monologue 等「语言模型给机器人下指令」（具身，见边界）；各种 CoT 变体论文（Least-to-most、Self-Ask 等，机制上收进 CoT 家族即可）；以及任何把 ChatGPT 直接称作 Agent 的通稿。

能力栈切片

模型层

2022 年的主线是推理协议和对齐后的对话核心。CoT 让多步思考在明文 token 里展开；InstructGPT / ChatGPT 让该核心能对着用户进行。上下文窗口仍大约 4k，一次任务的观察塞不下多少。没有原生 function calling：模型要调工具，只能在文本里嵌 JSON 或伪 DSL，宿主正则抽取。多模态几乎未进入软件 Agent 主线。核心就绪的意义只有一句：控制循环和工具层终于有了可挂载的策略网络。

框架 / 协议层

关键词是提示词模式 + 最早的胶水，还不是跨厂商协议。

ReAct 规定了一种可抄的文本协议（思考 / 动作 / 观察的交错格式）。控制流在模型输出里选边，解析失败即掉步：没有 schema、没有事务、没有外部完成判据。LangChain 在 2022 年底开始把这种格式和检索、工具包装进库，生态要到 2023 才膨胀。MRKL 画出模块图，没有成为标准。FIPA 式 Agent 通信标准 2022 年无人重提。

应用层

公众应用是 ChatGPT 聊天和 Copilot 补全：人在环路、一步一确认。实验室里有浏览问答（Sparrow）、模块化工具（Jurassic-X / MRKL）、程序辅助推理（PAL）、以及 ReAct 在文字游戏和网店环境里的演示。四要素在 ReAct 论文的协议层重合：执行靠解析，环境是基准，无产品级沙箱，无仓库谓词。没有 AutoGPT 那种「给一个目标，自己转完」的产品——GitHub trending 上还看不到它。

基础设施层

沙箱不是产品关键词。PAL 把解释器当计算器，和后来「Agent 在云端虚拟机里改仓库」不是同一量级。评测仍是 GSM8K、HotpotQA、HumanEval、文字游戏；没有 SWE-bench，因而没有独立于演示的任务完成判据。记忆等于多轮对话窗口。身份、花费限额、组织治理都不存在。

还做不到什么

2022 年 12 月 31 日，按 AI Agent 定义，下面这些仍不成立：

可交付的 LLM Agent 产品。 循环写在论文和早期库里；没有系统能在开放任务上迭代至外部谓词为真。
结构化工具接口。 解析失败、幻觉调用、prompt injection 没有产品级挡板。副作用仍从自然语言里抽。
从对话到行动的默认路径。 用户会和 ChatGPT 聊天，不会（也还不能）让它去开 PR、查数仓、操作电脑。ChatGPT 接通的是核心与对话，不是核心与环境。
可验证的任务型分数。 编码 Agent 作为品类尚未被仓库级尺子考试。HumanEval 停在函数级。
长上下文与跨会话记忆。 工作集上限约 4k；观察一多，窗口即满。

当时的反方意见主要冲着 ChatGPT：幻觉、自信的错误、数据截止。这些批评成立，但还没有对准「无界循环会空转、会在未隔离地址空间里执行」——那种失败模式要等 2023 的 AutoGPT 才会大规模出现。热度度量的是入口，不是完成率。

Timeline: InstructGPT