随机注意力：重新思考KV缓存驱逐以实现高效推理

大语言模型在需要扩展推理的任务上表现出卓越性能，但长思维链使得KV缓存成为严重的内存瓶颈。现有的KV缓存压缩方法遵循同一范式：通过某种估计为每个缓存token打分，预测其未来重要性，并保留得分最高的token。我们表明，这种选择信号几乎不起作用。随机注意力（Random Attention）保留提示部分，并在每个注意力头内均匀随机驱逐token，完全不计算任何分数；在四个模型和六个推理任务上，它匹配了最强的先前驱逐器，同时在vLLM部署中吞吐量高出32-43%。受控实验解释了这一现象，表明：1）提示部分是缓存中最脆弱的部分，选择器之间的差距大多仅在于其选择信号是否恰好保留了提示；2）推理轨迹通过两层冗余保护自身免受驱逐——文本层面（模型在推理过程中会重述其仍需要的内容）和跨注意力头层面（每个头保留轨迹的自身副本）——因此一旦提示安全，随机抽取就能保留足够多的模型仍需要内容的副本，无需任何分数来选择它们。我们的代码公开于 https://github.com/SalesforceAIResearch/Random-Attention。