RAG

2020。生成之前先检索。后来几乎所有带外部知识的 Agent 都要先经过这一步。

Lewis 等，2020，Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（NeurIPS 2020）。预训练 seq2seq 接可检索的维基百科稠密索引，端到端微调。

  1. 论文：按原文结构转述两种边际化、DPR 与 BART、开域问答与生成实验，不加入后来的 LLM 与 Agent 解释。
  2. 讲解：单次检索—生成为什么成为带外部知识的系统几乎都会先经过的一步；说明为什么它不是迭代循环。

原文：arXiv:2005.11401（HTML、PDF）。代码后来收入 Hugging Face Transformers。

Retrieval-Augmented Generation（论文）

按原文结构转述 Lewis 等 2020 年 RAG 论文：参数记忆、非参数记忆、两种边际化与实验。

RAG 讲解

生成之前先检索：参数记忆外挂非参数索引。单次流水线；模型并不依据回执再决定是否重新检索。