Timeline: MRKL Systems（论文）

Tue, 15 Sep 2026 00:00:00 +0000

Ehud Karpas, Omri Abend, Yonatan Belinkov, Barak Lenz, Opher Lieber, Nir Ratner, Yoav Shoham 等。MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning。AI21 Labs。2022-05。arXiv:2205.00445。

摘要

巨大语言模型打开了自然语言知识任务的入口，但也有固有限度。作者把挑战看成：除语言处理外，还涉及知识与推理。定义一种灵活架构：多个神经模型，配上离散知识与推理模块。称 Modular Reasoning, Knowledge and Language（MRKL，读 miracle）。文中讨论实现中的技术挑战，以及 AI21 的实现 Jurassic-X。

1 引言：LM 的缺口

作者把 LM 看成通向知识宇宙的文本门户，而不只是句法模型。即便如此，输出仍常错。根因写成三条，外加部署上的第四条：

没有时效信息。 汇率、疫情数字、股价、今日日期等，预训练模型按设计跟不上。
没有专有信息。 公司客户名单、在线游戏状态等。
不善某些推理。 神经方法到不了的计算需要专用过程。GPT-3 / Jurassic-1 两位数加法尚可，四位数会自信地胡答；再训再大也不会达到 1970 年代计算器的稳健。
模型爆炸。 零样本落后于微调；为每任务微调则失去通用性；多任务微调百余 NLP 任务后，对新任务再调会灾难性遗忘，整集重训不可反复承担。

结论：大模型仍是未来 AI 系统的必要骨干；问题是如何取其利、避其害。

架构

可扩展的 专家模块 + 路由器：每条自然语言输入送到最能应答的模块；模块输出可以是系统输出，也可以再送到另一模块。模块可以是神经的（通用大 LM 或更小的专用 LM），也可以是符号的（计算器、汇率转换、数据库 API）。

相对多任务微调模型，作者列六条好处：安全回退（无匹配则直送大 LM）；稳健扩展（专家独立训，只需再训较轻的路由器）；可解释（「因为计算器这么说」）；时效信息；专有知识；组合性（多跳输入分给不同专家再整合）。

Jurassic-X

已实现并给少量合作方试点；文中称即将对开发者开放，并提供 demo。这是厂商系统，不是开源协议。

神经—符号交接：计算器用例

路由器决定调用哪一模块后，若目标是符号过程，必须从文本抽出离散参数。神经到神经接口自然；到数据库 / API / 计算器则没有免费午餐，但往往负担得起——成本在严谨地训路由器抽参。第 3 节用基本算术演示如何训练 Jurassic-X 抽取运算。

限度（文中可见）

路由与抽参要专门训练。哪些计算该留在神经侧、哪些该交给符号，作者不取死立场，认为会随时间变。实现是私有试点，不是跨厂商标准。

Timeline: MRKL 讲解

Tue, 15 Sep 2026 00:00:00 +0000

论文解决了什么问题

2022 春，业界开始把 GPT-3 级模型当万能接口。本文把失败模式写明确：过时知识、进不去的私有库、算术不可靠、每加一个任务就爆炸。解法不是再训一只更大的端到端模型，而是系统：路由器 + 可插专家。

专家是真计算器、真 API，不是提示词里假装会搜。也和后来的开放函数协议不同：路由与抽参是厂商自己训的，调用方看不到统一 schema。Function Calling 要到 2023-06。

对后续 LLM 与 Agent 的影响

「LLM 必须外挂知识与离散推理」成为可引用的架构主张。2023 的插件、工具、Code Interpreter，问题陈述几乎逐条对应这里的缺口。MRKL 本身没有成为跨厂商标准：Jurassic-X 是试点。记它，是因为图先画出来了；可解析的函数选择与产品要到 2023。

AI Agent 学习笔记 – MRKL