Metis：记忆基础模型

近年来，AI智能体的进展日益将原生能力内化到其底层基础模型中，催生了多模态基础模型和大型推理模型。然而，智能体记忆仍主要通过外部模块实现，原生记忆能力在很大程度上尚未被探索。本文朝这一方向迈出第一步，引入记忆基础模型（memory foundation models），赋予基础模型原生记忆能力。我们从两个角度形式化原生记忆：骨干网络内持久且动态演化的记忆状态，以及通过模型计算自主存储和利用信息的原生记忆程序。我们表明，原生记忆在架构、端到端优化和效率方面具有优势。基于这一形式化，我们提出Metis，即记忆基础模型的首个原型。Metis引入了一种新架构，为基础模型配备原生记忆状态，使历史信息能够被压缩进模型并通过记忆注意力（memory attention）访问。我们构建了大规模记忆专用训练数据，并引入多种优化目标，通过中期训练（mid-training）获取这些原生记忆程序。Metis的在线记忆维护无需梯度，记忆更新仅需一次前向传播。在推理时，所有学习到的模型权重保持冻结，而原生记忆状态通过标准前向计算自主变换。通过大量实验，我们表明Metis展现出原生记忆能力，并进一步详细分析其优势、局限和行为。为促进记忆基础模型的未来研究，我们发布了项目及模型检查点。