AI Agent 学习笔记 – Transformer

Timeline: Attention Is All You Need（论文）

Mon, 14 Sep 2026 00:00:00 +0000

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin. Attention Is All You Need. NIPS 2017. arXiv:1706.03762（HTML、PDF）。八位作者均标注为同等贡献。文首注明：在注明出处的前提下，Google 允许在学术或新闻作品中复制该文的表与图。

中文译本：Arthur Chiao、GitHub LaTeX 中译、博客园。民间译本质量不一，英德/英法 BLEU 有的把摘要 41.8 和正文 41.0 抄混。

摘要

当时占主导的序列转换（sequence transduction）模型，建立在编码器—解码器结构上的复杂循环网络或卷积网络。表现最好的模型还会用注意力把编码器与解码器连起来。

本文提出一种简单网络架构 Transformer：只基于注意力机制，完全不用循环和卷积。在两项机器翻译任务上，质量更高、更易并行、训练时间显著更短。

WMT 2014 英→德：28.4 BLEU，比此前最佳结果（含模型集成）高 2 个 BLEU 以上。
WMT 2014 英→法：单模型 41.8 BLEU（正文 6.1 节叙述为 41.0；表 2 为 41.8），在 8 块 GPU 上训练 3.5 天，成本只占文献中最佳模型的一小部分。
在英语成分句法分析上，无论训练数据多还是少，都表明该架构可以推广到翻译以外的任务。

1 引言

循环神经网络，尤其 LSTM 与门控循环网络，已被确立为语言建模、机器翻译等序列建模与转换任务的主流。循环模型把计算沿符号位置展开：位置 (t) 的隐状态 (h_t) 依赖 (h_{t-1}) 与当前位置输入。这种顺序性阻碍单个训练样本内部的并行；序列一长，内存又限制跨样本的 batch，问题更严重。因子分解技巧、条件计算可以提高效率，但顺序计算这一条约束仍然在。

注意力已经是序列模型里的常规组件：它可以建模依赖，而不必管依赖在输入或输出里隔了多远。但除少数工作外，注意力仍与循环网络一起用。

本文提出 Transformer：去掉循环，完全靠注意力建立输入与输出之间的全局依赖。并行度显著提高；在 8 块 P100 上训练约 12 小时，即可达到新的翻译质量水平（指 base 模型）。

2 背景

减少顺序计算，也是 Extended Neural GPU、ByteNet、ConvS2S 的出发点。它们用卷积对所有位置并行算隐表示。任意两个位置之间要建立联系，所需运算次数随距离增长：ConvS2S 线性，ByteNet 对数。远距离依赖因此更难学。

在 Transformer 里，这一次数变成常数。代价是对注意力加权位置做平均会降低有效分辨率；第 3.2 节用多头注意力抵消。

自注意力（self-attention，也称 intra-attention）把同一序列里不同位置联系起来，以计算该序列的表示。它已用于阅读理解、摘要、文本蕴含、与任务无关的句子表示等。端到端记忆网络用循环式注意力代替按序列对齐的循环，在简单问答与语言建模上有效。

据作者所知，Transformer 是第一个完全靠自注意力计算输入与输出表示、而不使用按序列对齐的 RNN 或卷积的转换模型。

3 模型架构

多数有竞争力的神经序列转换模型是编码器—解码器。编码器把输入符号序列 ((x_1,\ldots,x_n)) 映射为连续表示 (\mathbf{z}=(z_1,\ldots,z_n))。解码器据此一次一个符号地生成 ((y_1,\ldots,y_m))。每一步是自回归的：生成下一个符号时，把已经生成的符号当作额外输入。

Transformer 沿用这一总体结构。编码器、解码器都用堆叠的自注意力和逐位置全连接层（原文 Figure 1 左右两半）。

3.1 编码器栈与解码器栈

编码器。 (N=6) 层相同的层。每层两个子层：多头自注意力；逐位置全连接前馈网络。每个子层外包残差连接，再接层归一化：

[ \mathrm{LayerNorm}(x + \mathrm{Sublayer}(x)) ]

所有子层以及嵌入层的输出维度均为 (d_{\mathrm{model}}=512)，以便做残差。

解码器。 同样 (N=6) 层。在编码器那两个子层之外，插入第三个子层：对编码器栈的输出做多头注意力。同样使用残差与层归一化。解码器里的自注意力被改成不能看后续位置。这种掩码，再加上输出嵌入右移一个位置，保证对位置 (i) 的预测只依赖小于 (i) 的已知输出。

3.2 注意力

注意力：把一个 query 和一组 key–value 对映射到一个输出；四者都是向量。输出是 value 的加权和；每个 value 的权重由 query 与对应 key 的兼容性函数算出。

3.2.1 缩放点积注意力

输入：维度 (d_k) 的 query 与 key，维度 (d_v) 的 value。用 query 与所有 key 做点积，再除以 (\sqrt{d_k})，经 softmax 得到 value 上的权重。一组 query 打成矩阵 (Q)，key、value 打成 (K)、(V)：

[ \mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V ]

两种常用注意力：加性注意力（Bahdanau 等）与点积（乘性）注意力。点积注意力与上式相同，只是没有 (1/\sqrt{d_k}) 这个缩放。加性注意力用单隐层前馈网算兼容性。理论复杂度相近，实践上点积可用高度优化的矩阵乘，更快、更省空间。

(d_k) 较小时两者表现接近；(d_k) 较大且不缩放时，加性更好。作者认为 (d_k) 大时点积幅值变大，把 softmax 推到梯度极小的区域（若 (q,k) 各维独立、均值 0 方差 1，则 (q\cdot k) 的方差为 (d_k)）。因此除以 (\sqrt{d_k})。

3.2.2 多头注意力

不是用 (d_{\mathrm{model}}) 维做一次注意力，而是把 (Q,K,V) 用不同的、可学习的线性投影做 (h) 次，投影到 (d_k,d_k,d_v)，再并行做注意力，把 (d_v) 维输出拼接起来，再投影一次：

[ \mathrm{MultiHead}(Q,K,V)=\mathrm{Concat}(\mathrm{head}_1,\ldots,\mathrm{head}_h)W^{O} ]

[ \mathrm{head}_i=\mathrm{Attention}(QW_i^{Q},,KW_i^{K},,VW_i^{V}) ]

其中 (W_i^{Q}\in\mathbb{R}^{d_{\mathrm{model}}\times d_k}) 等。多头让模型能同时从不同表示子空间、不同位置取信息；单头会被平均抑制。

本文 (h=8)。每个头 (d_k=d_v=d_{\mathrm{model}}/h=64)。头变窄之后，总计算量与全维度单头相近。

3.2.3 在本模型中的三种用法

编码器—解码器注意力。 query 来自上一解码器层；key 与 value 来自编码器输出。解码器每个位置可以关注输入序列所有位置。对应以往 seq2seq 里的编码器—解码器注意力。
编码器自注意力。 (Q,K,V) 都来自编码器上一层输出。每个位置可以关注上一层所有位置。
解码器自注意力。 每个位置可以关注解码器中不超过该位置的位置。为保持自回归、禁止信息左流，在缩放点积注意力里把 softmax 输入中非法连接置为 (-\infty)。

3.3 逐位置前馈网络

每个编码器、解码器层除注意力子层外，还有对每个位置单独、相同地施加的全连接前馈网：两层线性，中间 ReLU。

[ \mathrm{FFN}(x)=\max(0, xW_1+b_1)W_2+b_2 ]

不同位置共享同一套线性变换；层与层之间参数不同。也可看成核大小为 1 的两次卷积。输入输出维 (d_{\mathrm{model}}=512)，内层 (d_{ff}=2048)。

3.4 嵌入与 Softmax

与其他序列转换模型一样，用可学习嵌入把输入、输出 token 变成 (d_{\mathrm{model}}) 维向量。解码器输出经线性变换与 softmax，得到下一个 token 的概率。两个嵌入层与 softmax 前的线性变换共享同一权重矩阵。嵌入层中把这些权重乘以 (\sqrt{d_{\mathrm{model}}})。

3.5 位置编码

模型没有循环也没有卷积，必须向序列注入相对或绝对位置信息。在编码器、解码器栈底部，把位置编码加到输入嵌入上；维度同为 (d_{\mathrm{model}})，以便相加。

本文用不同频率的正弦与余弦：

[ PE_{(pos,2i)}=\sin(pos/10000^{2i/d_{\mathrm{model}}}) ]

[ PE_{(pos,2i+1)}=\cos(pos/10000^{2i/d_{\mathrm{model}}}) ]

(pos) 是位置，(i) 是维度。波长从 (2\pi) 到 (10000\cdot 2\pi) 成几何级数。选择该函数是因为：对任意固定偏移 (k)，(PE_{pos+k}) 可写成 (PE_{pos}) 的线性函数，便于按相对位置做注意力。

也试过可学习的位置嵌入，与正弦版本结果几乎相同（表 3 行 E）。选用正弦，是因为它可能外推到训练时未见过的序列长度。

4 为什么用自注意力

比较自注意力、循环、卷积三类层：把变长符号序列 ((x_1,\ldots,x_n)) 映到等长 ((z_1,\ldots,z_n))，(x_i,z_i\in\mathbb{R}^{d})。三条标准：每层计算复杂度；可并行程度（最少顺序操作数）；网络中长程依赖的路径长度。路径越短，长程依赖越好学。

表 1. (n) 为序列长度，(d) 为表示维度，(k) 为卷积核宽，(r) 为受限自注意力的邻域大小。

层类型	每层复杂度	顺序操作	最大路径长度
自注意力	(O(n^{2}\cdot d))	(O(1))	(O(1))
循环	(O(n\cdot d^{2}))	(O(n))	(O(n))
卷积	(O(k\cdot n\cdot d^{2}))	(O(1))	(O(\log_{k} n))
受限自注意力	(O(r\cdot n\cdot d))	(O(1))	(O(n/r))

自注意力用常数次顺序操作连接所有位置；循环需要 (O(n))。当 (n<d) 时（机器翻译里 word-piece / BPE 句子表示常见如此），自注意力比循环更快。极长序列可以把注意力限制在半径 (r) 的邻域，最大路径变为 (O(n/r))；文中列为未来工作。

单层卷积在 (k<n) 时连不满所有位置对；要连满需要堆 (O(n/k)) 层（连续核）或 (O(\log_{k} n)) 层（膨胀卷积），从而加长最长路径。

附带好处：自注意力可能更可解释。附录可视化显示，不同头学会不同工作，不少头与句法、语义结构有关。

5 训练

5.1 数据与 batch

英德：WMT 2014，约 450 万句对；BPE，源/目标共享约 37,000 token 词表。英法：WMT 2014，3600 万句，32,000 word-piece 词表。按近似长度组 batch；每个训练 batch 约 25,000 个源 token 与 25,000 个目标 token。

5.2 硬件与日程

一台机器、8 块 NVIDIA P100。base：每步约 0.4 秒，共 100,000 步（12 小时）。big：每步 1.0 秒，300,000 步（3.5 天）。

5.3 优化器

Adam，(\beta_1=0.9)，(\beta_2=0.98)，(\epsilon=10^{-9})。学习率：

[ lrate = d_{\mathrm{model}}^{-0.5}\cdot \min(\mathrm{step_num}^{-0.5},; \mathrm{step_num}\cdot \mathrm{warmup_steps}^{-1.5}) ]

前 (\mathrm{warmup_steps}) 步线性升高，之后按步数平方根的倒数下降。(\mathrm{warmup_steps}=4000)。

5.4 正则

残差 Dropout。 每个子层输出在与输入相加、归一化之前做 dropout；嵌入与位置编码之和也做 dropout。base 模型 (P_{drop}=0.1)。

标签平滑。 (\epsilon_{ls}=0.1)。会损害困惑度（模型学得更不确定），但提高准确率与 BLEU。

6 结果

6.1 机器翻译

表 2（newstest2014；训练成本为估计 FLOPs）。Transformer (big) 英德 28.4，英法 41.8；base 英德 27.3，英法 38.1。英德 big 比此前最佳（含集成）高 2 BLEU 以上。base 也超过此前所有已发表模型与集成，训练成本只占竞争模型的一小部分。英法 big 的训练成本不到此前 SOTA 的 1/4。英法 big 使用 (P_{drop}=0.1) 而非 0.3。

推理：base 对最后 5 个 checkpoint 做平均（每 10 分钟一个）；big 平均最后 20 个。束搜索束宽 4，长度惩罚 (\alpha=0.6)。最大输出长度为输入长度 + 50，可提前结束。

6.2 模型变体

在英德开发集 newstest2013 上改 base（束搜索，不做 checkpoint 平均）。要点（表 3）：

(A) 头数与 (d_k,d_v)：单头比最佳设置差 0.9 BLEU；头太多质量也下降。
(B) 减小 (d_k) 损害质量，说明兼容性不容易，可能需要比点积更复杂的函数。
(C)(D) 更大的模型更好；dropout 对过拟合很有帮助。
(E) 正弦位置编码换成可学习位置嵌入，结果几乎相同。
big：(N=6)，(d_{\mathrm{model}}=1024)，(d_{ff}=4096)，(h=16)，(P_{drop}=0.3)，300K 步，约 2.13 亿参数。base 约 6500 万参数。

6.3 英语成分句法分析

输出有强结构约束，且比输入长得多。RNN seq2seq 在小数据上未达到当时 SOTA。4 层 Transformer，(d_{\mathrm{model}}=1024)。仅 WSJ（约 4 万句）F1 91.3；半监督（约 1700 万句）92.7。除 RNN Grammar 外，好于此前报告的模型。仅用 WSJ 4 万句时，也超过 BerkeleyParser。任务相关调参很少。

7 结论

Transformer 是第一个完全基于注意力的序列转换模型，用多头自注意力替换编码器—解码器里最常用的循环层。翻译任务上，训练显著快于基于循环或卷积的架构；英德、英法均达到新的 SOTA，英德上最佳模型超过此前所有集成。

作者计划把 Transformer 扩展到文本以外的输入输出模态，研究局部、受限注意力以处理图像、音频、视频等大输入输出，并使生成不那么顺序化。

训练与评测代码：https://github.com/tensorflow/tensor2tensor。

附录中的注意力可视化（论文所述）

编码器第 5 层（共 6 层）的自注意力：多个头关注动词 making 的远距离依赖，补全 making…more difficult。另有头表现为指代消解（如 its）。许多头表现出与句子结构相关的行为，且不同头做不同的事。

Timeline: Transformer 讲解

Mon, 14 Sep 2026 00:00:00 +0000

论文解决了什么问题

2017 年的对象是序列转换，主要战场是机器翻译。编码器—解码器与注意力已经是常规附件，主干仍是 RNN（或卷积）。三条障碍绑在一起：样本内的顺序计算无法并行；任意两个位置之间的路径随长度线性增长，长程依赖难以学习；注意力仍接在循环网络上，不是转换模型的默认计算。

解法是更换计算图：缩放点积自注意力让每个位置一步看到全序列（路径 (O(1))，层内顺序操作 (O(1))）；多头注意力避免单次平均抹掉子空间；位置编码补回被移除的词序归纳偏置；解码器自注意力加掩码以保持自回归。翻译分数是结果。被改写的是「一层如何表示一段序列」这一层机制。

论文没有把自身写成语言模型骨架，也没有工具、循环或停机。结论中指出的下一步是其他模态、局部注意力，以及让生成少一点顺序化。

关键术语：编码器与解码器

论文里的编码器与解码器，与今天 LLM 里被叫做「编码器」「解码器」的东西同名同源，但不是同一件事。区分有两条判据：有没有交叉注意力，注意力带不带因果掩码。

论文里两个组件的差别只在一层：

	编码器	解码器
每层子层数	2	3
子层	自注意力、前馈	因果自注意力、交叉注意力、前馈
能看哪儿	全序列，双向	自己只看之前的位置，交叉注意力看编码器全部输出
生成	不生成	自回归，一次一个 token

关键是第三个子层。交叉注意力读的是编码器的输出，解码器每一步都回看源序列的表示——这才是「解码」二字的由来：把已经读进来的表示，逐个符号地解出来。

今天被叫做「编码器」「解码器」的有三样，用法并不相同。

编码器栈（BERT 一类）：双向自注意力加前馈，两个子层，没有因果掩码，也不生成。它把整段文本读成一个表示。

解码器栈（GPT 一类）：因果自注意力加前馈，也是两个子层，与 BERT 的层同为两层，区别只在掩码；交叉注意力被去掉了，因为没有编码器可供交叉注意。所以「GPT 只用解码器栈」是准确的，但不能读成「留了解码器、藏了编码器」——去掉第三个子层之后，解码器退化为带因果掩码的自注意力加前馈，名字留了下来，机制回到同一条流上。

多模态编码器（图像、语音）：把别的模态投到 LLM 能读的输入空间里。它与论文里那个读源句子的编码器不是一回事，只是沿用了「先编码成表示」的思路。

另有一个同名而无关的用法：tokenizer 的 encode / decode，把字符串转成 token id 再转回来，与模型结构无关。

对后面的影响落在一处：决策核心是解码器栈，没有编码器，就没有一份「源序列表示」可以被反复交叉注意。上下文里的所有东西都是同一条流上的 token，当前观察、工具回执与历史对话彼此没有结构上的区分，只有位置与文字的差别。

对后续 LLM 的影响

第 4 节的复杂度表给出了后来一切的前提：层内可并行，任意两个 token 之间只有一条短路径。 循环网络每层要按位置串行，卷积要靠堆层数接通远处的位置，两条都挡住了「同时加深、加宽、加数据」。自注意力把这两条约束一起拿掉，剩下的事情交给规模。

论文给的是完整的编码器—解码器，后来的主流却收敛到只用解码器栈。这是工程合力的结果，不是论文的结论，至少四条原因叠在一起。下一个 token 预测不需要标注，互联网上任何文本都是训练数据，而编码器—解码器要为每个任务设计输入与输出的配对形式；任务本身被统一成格式问题，「把下面这段译成英文」写在提示里即可，不必为翻译单独留一个编码器；解码器栈每层只有两个子层，省掉了第二套栈与交叉注意力的显存和算力；KV cache 可以复用，生成时每一步只新增一个 token 的代价，多轮对话与 Agent 循环都吃这一条。

把这次转向读成架构上的必然，我认为会漏掉另一半事实。理解类任务（SuperGLUE 一类）上，编码器栈与编码器—解码器仍然占优；指令微调之后，编码器—解码器可以用明显更省的推理达到相近的少样本表现；嵌入与检索这一支至今主要用编码器栈。这次转向本身也缺少同算力下的严格对照，有研究把两类模型放到同一算力最优前沿上比较后指出，编码器—解码器的潜力可能被低估。真正的推动力更像是两件事撞在一起：生成类任务在 2019 年之后变得重要，而解码器栈最容易扩规模。

位置编码成为一条独立的研究线。论文第 3.5 节选正弦编码，理由是它可能外推到训练时未见的长度；后来的相对位置、RoPE、ALiBi 都在回答同一个问题，「第几步、哪一段」这个信息如何在不引入循环的前提下表达得更好。这条线一直通到长上下文模型。

表 1 里那行 (O(n^{2}\cdot d)) 也没有消失，只是被绕着走。FlashAttention 改的是显存读写顺序，不是复杂度；PagedAttention 改的是 KV cache 的碎片；滑窗与线性注意力用近似换更长的上下文；MoE 在规模一侧把参数量与算力解耦。这些手段搬动了常数与曲线，没有改变二次方这一项。

GPT-3 的上下文学习与 Codex 的代码生成，用的都是这副骨架上训练出的解码器语言模型。它们不是这篇论文的实验内容，但都预设了这篇论文改过的计算图。

对 AI Agent 的影响

AI Agent 需要的决策核心，要能读一段开放文本并生成下一步。Transformer 提供的是表示与自回归生成结构，不是策略循环；一次前向计算，是在已有 token 上预测后续 token。这个结构留下三件对 Agent 直接起作用的事实。

上下文就是工作集，KV cache 是它的物理载体。「当前观察」在实现上不是一份被解析出来的状态，而是窗口里的一段 token，以及为它们算好的注意力键值。会话继续，cache 就继续追加；换一条会话，整段前缀要重新计算。窗口大小因此不是界面上的一个参数，而是这个循环一次能看见多少环境回执的物理上限。

动作只能是 token。 模型唯一的输出面是下一个 token 的概率分布，它没有别的通道。要用工具、要调 API、要改文件，都必须先把动作序列化成它能生成的东西：早期是约定格式的文本，2023 年 6 月之后是可校验的 JSON 调用，也有把工具做成特殊 token、或把动作写进代码块的做法。工具调用长成今天这个形状，原因在这里——不是接口设计选中了文本，而是输出面只有文本。

成本结构决定了 Agent 的工程形状。 prefill 阶段的注意力成本随长度平方增长，decode 阶段受显存带宽限制，而多轮循环会反复重新计算同一段前缀。这就是为什么前缀缓存、KV 复用与上下文压缩在 Agent 系统里是基础设施而不是优化项：一个跑二十轮的循环，开销的主要部分往往不在生成新内容，而在反复读同一段历史。

论文里的机制	后来在 Agent 里对应的物理事实
自注意力一步连接全序列	当前观察可以整段进入上下文
掩码自注意力、自回归	下一步以文本（或后来的工具调用）逐 token 生成，动作只能序列化进这个通道
(O(n^{2})) 与有限窗口	一次循环能够容纳的回执有上限；超出后只能截断、检索或外挂记忆
KV cache 随会话增长	状态就是这段前缀；多轮循环反复重算同一段历史，前缀复用因此成为基础设施
位置编码	「第几步、哪一段」对模型而言不是免费的
训练可并行、模型可做大	核心的能力随规模上升；2022 年 CoT「规模足够大才有效」，前提正是这种结构

时间线把它标成底层能力里的范式更替：没有可扩展的条件生成器，后面就没有可讨论的 LLM 核心。