SpecMD：推测式专家预取的全面研究

Mixture-of-Experts（MoE）模型支持稀疏 expert 激活，这意味着每次 inference 期间只会使用模型参数的一个子集。然而，要将这种稀疏性转化为实际性能，需要 expert caching 机制。此前的研究提出了以硬件为中心的 caching policy，但这些不同的 caching policy 如何相互作用，以及它们与不同硬件规格之间如何相互影响，目前仍缺乏充分理解。为弥补这一缺口，我们开发了 SpecMD，这是一个标准化 framework，用于在各种硬件配置上 benchmark 临时 cache policy。使用 SpecMD……