2022年之前

前传:Agent 一词早于 LLM。本节只交代渊源与底层能力。

2022年之前的概述

前传:规划、工具与多 Agent 通信并非 2023 年才出现。缺少的是能在开放语言空间里做决策的核心;零件齐备,循环未成。

早期概念

规划、协商、反应式控制、BDI、教材定义、通信标准、任务型对话。可有循环与动作;决策核心不是 LLM。

Transformer

2017。自注意力序列转换器。后来 LLM 的骨架,也是核心能读长上下文、能逐 token 生成的前提。

GPT-3

2020。上下文学习:不更新权重也能做新任务。Agent 后来把 Observation 当作工作集,前提就在这里。

RAG

2020。生成之前先检索。后来几乎所有带外部知识的 Agent 都要先经过这一步。

GitHub Copilot

2021-06 技术预览。IDE 行级补全,「Copilot → Agent」这条产品演化的起点。

Codex

2021-07。公开代码上微调的 GPT。可运行函数级合成,编码 Agent 的模型侧前提。

HumanEval

2021-07。164 道手写函数题,单测当完成谓词。完成谓词第一次可以不靠人判。

WebGPT

2021-12。文本浏览器里的封闭问答循环。模型、环境与工具在这里第一次接成一个循环。