Aries(论文)
按原文转述:智能体轨迹、测量鸿沟、以 Token 为中心的指标为何不够。
Rethinking AI Cloud Infrastructure for Agentic Serving Systems(Aries)。约 2026-07-31 公开。本站中文译本:中文。HTML/PDF 以 资料介绍 为准。
摘要
自主 agent 把重复推理与持久上下文、沙箱化工具执行结合在一起,对传统 LLM 服务构成新挑战。论文提出 Aries:全栈实验框架——把任务语义与执行配置分离;用关联的系统遥测重建跨组件智能体轨迹;在异构沙箱基底上用一致接口暴露有状态工具执行。实验用开源平台与基准,并补上商业平台的生产轨迹(匿名)。主要发现写成:
- 以 Token 为中心的指标会遗漏非推理瓶颈(harness 与工具可占端到端延迟很大一块,文中举例可高达约 48%)。
- 多留上下文的精度收益递减,同时降低服务容量。
- 工具沙箱在长时间空闲与短时资源突发之间交替;想靠激进挂起省资源,会被恢复成本吃掉。
安全分析强调缩小沙箱攻击面。愿景:轨迹级指标、自适应上下文管理、弹性沙箱、攻击面最小化。
问题重构
传统 LLM 服务优化单次模型调用(TTFT、每 token 时间)。Agent 服务里,一次用户请求跨许多相互依赖的模型步与工具步。论文把 智能体轨迹 定义为:服务该请求过程中 LLM 调用、工具调用、工具结果、harness 决策的有序序列。测量必须把任务进度和跨层运行时行为连起来;既有能力基准与系统基准都只覆盖一半。
Aries 用任务规格 vs 执行规格分离、跨层事件 ID、与基底无关的工具接口,来做受控对比和失败归因。
当时不是什么
这是测量框架与问题定义,不是已经换完的新云底盘。生产数字来自匿名轨迹与受控复现,不要读成某一家公开 SLA。