AI Agent 学习笔记 – 2022年之前

Timeline: 2022年之前的概述

Wed, 09 Sep 2026 00:00:00 +0000

主线判断： Agent 作为研究纲领，比大语言模型早几十年；规划、工具、多 Agent 通信这些概念都不是 2023 年发明的。真正缺少的，是一个能在开放语言空间里做出决策的核心。2017 至 2021 年，Transformer、GPT-3 与 Codex 把底层能力铺好，但循环、对话接口与可靠的调用解析都还没有齐备——符合 AI Agent 定义的系统，此时并不存在。

我在这一页有意写得比一部 AI 通史短。专家系统、具身机器人、自动驾驶不进入主线；强化学习游戏 Agent 只用于指出词汇上的重叠。需要核对的是两段：经典 Agent 留下了哪些概念，以及 LLM 在跨过 2022 年之前已经具备哪些前提、仍然缺少哪些。

与 LLM 的关系

2022 年之前，这段关系要拆成两截，不能混在一起讲。

1990 年代到 2010 年代：决策核心不是语言模型。 经典 Agent 用符号规划器、产生式规则、BDI（信念—愿望—意图）或强化学习策略来选择下一步动作。环境是结构化的（棋盘、传感器、API 表、对话槽位），不是自由文本。它们完全符合「感知—决策—行动」的教科书定义，也因此占用了 Agent 这个词；但按 AI Agent 的定义，它们不是 LLM Agent，因为缺少第一条：以 LLM 作为决策核心。

2017 至 2021 年：底层能力开始出现，产品形态仍不是 Agent。 Transformer（2017）与 GPT-3（2020）证明，足够大的语言模型可以在上下文里完成从未见过的任务。Codex（2021）把这种能力接到代码上，GitHub Copilot 把它做成行级补全。WebGPT（2021）让模型在文本浏览器里检索、点击、引用之后再作答。这些都是后来 Agent 循环的零件——生成、工具、检索、代码，但当时仍是单次或短链调用，不是「给出一个目标，自行迭代到完成」。指令跟随（InstructGPT）的工作贯穿 2021 年，其论文与默认 API 跨入 2022 年初；真正把「听话的对话模型」送到大众面前的，是 2022 年 11 月的 ChatGPT。

因此前传要回答的不是「Agent 诞生于哪一年」，而是：概念库存早已齐备，缺少的是一个能读自然语言、选择工具、并依据回执改变主意的决策核心；这个决策核心在 2021 年底仍只能完成短任务。 决策核心尚未就绪，控制流、schema 与沙箱都无从挂载。

里程碑

分两段记录。第一段是概念库存，第二段是 LLM 底层能力。两段都给出分类与标签（六类历史角色），标签可多，也可无。经典文献多数属于首证，或为后来提供了词汇，不应写成 LLM Agent 的祖先产品。

概念库存：词汇的来源

各条分别写在早期概念中，本表只保留判断。

时间	事件	分类	标签	为什么记录
1971	STRIPS（Fikes & Nilsson）	论文	首证	把世界写成谓词，用算子搜出计划。它给每个动作附效果清单，规划器因此能在动手之前推演
1980	Contract Net Protocol（Smith）	协议	首证	任务招标、投标、授予：多 Agent 分工的早期协议。它与 A2A 处理同一类问题：独立的 Agent 之间如何连接
1986	Brooks 包容架构	论文	首证、范式更替	按对外行为分层的机器人控制：高层抑制下层。它改写了「智能系统按功能还是按行为分解」这条前提
1991	BDI（Rao & Georgeff）	论文	首证	用信念、愿望、意图描述理性 Agent。今日的 goal、plan、memory 是这套词汇的通俗版，实现已换
1995	Wooldridge & Jennings, Intelligent Agents: Theory and Practice	论文	—	把 Agent 研究分为理论、架构、语言三块，给出弱四条口径。本站的栏目分工与之对应
1995	Russell & Norvig《人工智能：一种现代方法》第一版	文献	—	教材用理性 Agent 统摄 AI：感知、行动、环境、性能度量。「人人会说 Agent」，多来自这里
1996 起	FIPA 与 ACL	协议	警示	为异构 Agent 规定平台、通信语言与交互协议，是 Agent 互操作最早的系统尝试。规范完成，但未成为业界默认
2011–2014	Siri / Alexa / 任务型对话	产品	工程化	封闭任务上填槽、调用后端。「助手调服务」这条流水线，后来接上了 LLM 的工具选择

刻意不展开的有：ELIZA（1966，对话幻觉的前史）、办公助手、语义网 Agent，以及绝大多数专家系统。它们可以说明「会说话不等于 Agent」，但带不走本站的主线。

相邻领域，仅作消歧

时间	事件	为什么只点名
2013–2019	DQN、AlphaGo、OpenAI Five、AlphaStar	媒体也称它们为 Agent。决策核心是 RL 策略，环境是游戏或棋局。体系与软件 LLM Agent 不同，不进入主叙事
机器人 / 自动驾驶	感知—控制闭环	调研方法已划为相邻领域

判定标准只有一条：决策核心是否为语言模型。不是，则不进入主叙事。

LLM 底层能力：零件出现，循环未成

时间	事件	分类	标签	为什么记录
2017-06	Transformer（论文、讲解）	论文	范式更替	用自注意力替代循环与卷积，成为后续 LLM 的骨架。没有可扩展的条件生成器，后面就没有可讨论的决策核心
2020-05	GPT-3（论文、讲解）	模型	首证	上下文学习：不更新权重也能做新任务。Agent 后来把 Observation 当作工作集，其前提从这里开始
2020-05	RAG（论文、讲解）	论文	工程化	生成之前先检索。后来几乎所有「带外部知识的 Agent」都要先经过这一步，外部知识从此可以更换而不用重训
2021-06	GitHub Copilot（材料、讲解）	产品	工程化	把 Codex 的能力做成 IDE 补全。「Copilot → Agent」这条演化的起点；副作用在编辑器缓冲区，接受与拒绝都发生在那里
2021-07	Codex（论文、讲解）	模型	首证	语言模型写出可运行的代码。没有代码生成，就不会有后来的编码 Agent；生产版本驱动 GitHub Copilot
2021-07	HumanEval（论文、讲解）	评测	首证、标准	用单元测试衡量函数级合成。完成谓词第一次可以不靠人判：看执行结果，不看流畅度；这条路一直走到 2023 年的 SWE-bench
2021-12	WebGPT（论文、讲解）	产品	首证	GPT-3 在文本浏览器里检索、导航、带引用作答，并用人类反馈优化。这是「模型加环境加工具」第一次接成一个循环；后来的工具调用与引用评测都从这条实验室形态上取经

这一段的共同限度：上下文窗口大约 2k–4k，指令跟随尚不稳定，没有结构化的 function calling schema，也没有工具描述的可移植格式——WebGPT 的动作表写在论文里，不是可传递的产物；更没有大众可用的多轮对话产品。零件齐备，控制循环、可解析接线与可对话接口都未齐备。

能力栈切片

用本站的四层结构去看「当时有什么、没有什么」，避免把 2023 年的分层倒灌回去。

模型层

经典 Agent 没有「模型层」这一说，决策是规则或学到的策略。LLM 出现之后，2021 年底的能力边界大致是：能补全，能少样本模仿，能写短函数，能在受控浏览器里查资料。不能稳定地拆解开放目标，不能在失败之后修改计划，不能把工具调用解析成可靠的 JSON。思维链要到 2022 年才被当作可复现的推理协议。核心是条件生成器，还不是规划器。

框架 / 协议层

经典一侧有规划语言（STRIPS 及后来的 PDDL）、Agent 通信语言（FIPA ACL）、BDI 解释器。它们假设世界模型与言语行为可以被形式化。LLM 一侧在 2021 年还没有编排框架：没有 LangChain，没有 MCP，没有 Assistants API。WebGPT 的浏览器是论文里的环境，不是可插拔协议。

一个对后面有用的对照：FIPA 证明「先写协议、再等生态」可以失败；2024 至 2025 年的 MCP 与 A2A 走的是「先有模型产品，再收敛为事实标准」。Framework、Runtime 与 Protocol 三者此时在 LLM 一侧都还不存在。

应用层

能够规模化的是助手，不是自主执行。任务型对话（订机票、查天气）与 Copilot 补全都是人在环路、一步一确认。WebGPT 与 Codex 停留在研究或开发者工具。没有「给出一个目标，让它在工具与环境里自行运转到完成」的产品，而那正是 2023 年 AutoGPT 所宣称要占据的位置。

基础设施层

沙箱、长任务调度、组织级身份都不存在，因为还没有会乱执行命令的 LLM 循环需要被约束。评测停留在语言任务、HumanEval 与检索问答。记忆等于对话状态机或数据库槽位，不是窗口加向量库那一套。站点中后来的记忆、沙箱栏目，都是 2023 年之后才成为 Agent 基础设施的。主体（principal）无从谈起。

当时还做不到什么

到 2021 年 12 月 31 日，按 AI Agent 的定义，下面这些都不成立：

以 LLM 作为循环里的决策核心。 模型能生成下一步文本，但不能稳定地「想—做—看—再想」。控制流不在模型的输出里。
开放目标上的自主执行。 助手能填槽，Copilot 能补一行；没有系统在无人看管时把一件事做到可交付。缺少目标终止条件。
可对话的通用接口。 GPT-3 是 playground 与 API，不是后来那种人人会用的 Chat。
结构化的工具调用。 要让模型使用工具，就得在 prompt 里依赖它吐出可解析的格式。没有 schema，就没有稳定的接线。
支撑长任务的上下文。 窗口太短，「当前观察」装不进多少环境回执。工作集不足。
任务型评测。 没有 SWE-bench、GAIA、OSWorld；HumanEval 只覆盖函数级合成。完成谓词尚未接到仓库或桌面。

当时若有人宣称「自主 Agent」，多半是在说 BDI、机器人或强化学习，而不是在说 LLM。

Timeline: 早期概念

Mon, 14 Sep 2026 00:00:00 +0000

大语言模型出现之前，Agent 已有完整的研究传统。这一栏交代概念库存：世界怎么写、任务怎么分、控制怎么切、心智状态怎么形式化、异构节点怎么通信、消费级助手实际跑的是哪条流水线。

这些系统可以具备循环、对环境的动作，以及观察写回。缺少的是工作定义的第一条：下一步由 LLM 选择。与 AI Agent 的对照放在各页后部，不代替对机制本身的说明。它们不是 2022 至 2025 年产品的祖先。

学习内容

按时间顺序，八个节点覆盖四类问题：

时间	概念	要搞清楚的问题
1971	STRIPS	经典规划里，世界、动作、计划分别是什么
1980	Contract Net	多个求解节点如何用协商分配任务
1986	Brooks 包容架构	不建立完整世界模型的控制结构如何工作
1991	BDI	信念、愿望、意图在形式化里各指什么
1995	Wooldridge & Jennings	1990 年代如何给 Agent 下定义、如何分类架构
1995	Russell & Norvig	教材里的理性 Agent 覆盖到多宽
1996 起	FIPA 与 ACL	Agent 通信标准规定了哪些消息与平台组件
2011–2014	Siri / Alexa / 任务型对话	大规模语音助手的流水线实际是什么

组织方式

每页固定三块：

这个概念是什么：不预设 LLM 背景，先给定义。
论文或材料的主要内容：问题、机制、例子，以及作者自己给出的限度。
关键术语：后面年份还会遇到的词，先在原文语境里明确。

与 AI Agent 的对照放在各页后部。循环可以早已存在；决策核心是换核心，不是同一条产品线的延续。

Timeline: Transformer

Mon, 14 Sep 2026 00:00:00 +0000

Vaswani 等，2017，Attention Is All You Need（NIPS 2017）。完全基于注意力的序列转换模型，去掉了循环与卷积。

论文：按原文结构转述问题、架构、公式、实验与结论，不加入后来的 LLM 与 Agent 解释。
讲解：它改的是表示与可并行训练；说明为什么它是 LLM 核心的物理前提，而不是策略循环。

原文：arXiv:1706.03762（HTML、PDF）。代码：https://github.com/tensorflow/tensor2tensor。

Timeline: GPT-3

Mon, 14 Sep 2026 00:00:00 +0000

Brown 等，2020，Language Models are Few-Shot Learners（NeurIPS 2020）。1750 亿参数自回归语言模型，系统测量 in-context learning：推理时把任务说明和少量示例写进上下文，不做梯度更新。

目录曾起草为 context。这一节记的是这篇论文，不是后来的「上下文工程」或记忆基础设施，所以栏目名与路径都用 GPT-3。要记住它的原因仍是上下文学习：不改权重也能做新任务。

论文：按原文结构转述四种设定、模型与数据、实验结果、限度与社会影响，不加入后来的 LLM 与 Agent 解释。
讲解：上下文学习如何成为把当前观察放入窗口、当作工作集的前提。

原文：arXiv:2005.14165（PDF）。代码与数据说明：https://github.com/openai/gpt-3。

Timeline: RAG

Mon, 14 Sep 2026 00:00:00 +0000

Lewis 等，2020，Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（NeurIPS 2020）。预训练 seq2seq 接可检索的维基百科稠密索引，端到端微调。

论文：按原文结构转述两种边际化、DPR 与 BART、开域问答与生成实验，不加入后来的 LLM 与 Agent 解释。
讲解：单次检索—生成为什么成为带外部知识的系统几乎都会先经过的一步；说明为什么它不是迭代循环。

原文：arXiv:2005.11401（HTML、PDF）。代码后来收入 Hugging Face Transformers。

Timeline: GitHub Copilot

Mon, 14 Sep 2026 00:00:00 +0000

GitHub 与 OpenAI，2021-06-29。技术预览：在编辑器里根据当前文件上下文建议代码。驱动模型是 OpenAI Codex。它是「Copilot → Agent」这条产品演化的起点。

材料：按当时公开材料转述产品主张、交互与能力边界，不加入 2023 年以后的 Copilot Chat 与编码 Agent。
讲解：副作用在编辑器缓冲区，终止由人决定，以及「Copilot → Agent」这条线从哪里开始。

当时公告：Introducing GitHub Copilot。

Timeline: Codex

Mon, 14 Sep 2026 00:00:00 +0000

Chen 等，2021，Evaluating Large Language Models Trained on Code。在公开 GitHub 代码上微调 GPT，得到 Codex。独立的生产版本驱动 GitHub Copilot 与 API。同篇论文交出的考卷见 HumanEval。

论文：按原文转述代码微调、pass@k 数字、限度与风险。考卷细节以 HumanEval 页为准。
讲解：可执行代码如何成为编码 Agent 的模型侧前提，以及为什么核心不是运行时。

原文：arXiv:2107.03374（HTML、PDF）。

Timeline: HumanEval

Tue, 15 Sep 2026 00:00:00 +0000

Chen 等，2021，随 Evaluating Large Language Models Trained on Code 发布。衡量「根据文档字符串合成 Python 函数」能否通过单元测试，而不是与参考解是否相似。

论文：按原文转述功能正确、pass@k、164 道题，以及必须手写的原因。
讲解：完成谓词停在函数级，以及它如何成为仓库级基准的起点。

数据与评测框架：openai/human-eval。同篇论文里的模型见 Codex。原文：arXiv:2107.03374。

Timeline: WebGPT

Mon, 14 Sep 2026 00:00:00 +0000

Nakano 等，2021，WebGPT: Browser-assisted question-answering with human feedback。微调 GPT-3，使其在文本网页浏览环境中搜索与导航，并用人类反馈优化长问答；答案必须带浏览过程中摘下的引用。

论文：按原文结构转述环境动作、行为克隆与人类反馈、ELI5 与 TruthfulQA，不加入后来的 ReAct 与 Agent 解释。
讲解：封闭问答循环如何接通模型、环境与工具；说明回合为什么止于作答，仍不是开放任务上的自主 Agent。

原文：arXiv:2112.09332（HTML、PDF）。