δ-mem：大语言模型的高效在线记忆

大型语言模型在长期助手和智能体系统中，日益需要积累并复用历史信息。单纯扩展上下文窗口成本高昂，且往往无法确保上下文的有效利用。我们提出 δ-mem，一种轻量级记忆机制，通过一个紧凑的在线联想记忆状态来增强冻结的全注意力骨干网络。δ-mem 将过去信息压缩为固定大小的状态矩阵，并通过 delta 规则学习进行更新；在生成过程中，利用其读出结果对骨干网络的注意力计算生成低秩修正。仅凭一个 8×8 的在线记忆状态，δ-mem 便将平均得分提升至冻结骨干网络的 1.10 倍，以及最强非 δ-mem 记忆基线的 1.15 倍。在记忆密集型基准测试中，它取得了更大增益：在 MemoryAgentBench 上达到 1.31 倍，在 LoCoMo 上达到 1.20 倍，同时基本保持了通用能力。这些结果表明，通过一个与注意力计算直接耦合的紧凑在线状态，无需全微调、骨干网络替换或显式上下文扩展，即可实现有效的记忆。