MemoryLLM：Transformers即插即用可解释前馈记忆
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
摘要
MemoryLLM 将 Transformer 中的前馈模块（FFN）与 self-attention 解耦，使 FFN 可作为无上下文的逐 token 神经检索记忆进行研究。该方法探究了输入 token 如何访问 FFN 参数中的记忆位置，以及 FFN 记忆在不同下游任务中的重要性。
理解 Transformer 组件在 LLM 中的运作方式至关重要，因为它是近期人工智能技术进展的核心。在本工作中，我们重新审视了前馈模块（FFN）可解释性相关的挑战，并提出了 MemoryLLM，旨在将 FFN 与 self-attention 解耦，使我们能够将解耦后的 FFN 作为无上下文的逐 token 神经检索记忆进行研究。具体而言，我们探究了输入 token 如何访问 FFN 参数中的记忆位置，以及 FFN 记忆在不同下游任务中的重要性。MemoryLLM 实现了……
译自 Apple · ML Research · 录于 二〇二六年七月三日