用流形幂迭代重设计混合专家路由器

路由器是混合专家模型（Mixture-of-Experts）的核心组件。作为专家代理，路由器矩阵的各行计算其与MoE输入的相似度，以决定激活哪些专家子集。理想情况下，每行路由器应被设计为将专家矩阵编码为代表性向量，使其与token的点积能更好地反映token与专家的亲和度。然而，目前尚无设计原则来强制实现这种压缩。本文提出将每行路由器与对应专家的主奇异方向对齐，因为该方向提供了矩阵最具表达力的数学描述。基于这一原则，我们提出了一种采用流形幂迭代（Manifold Power Iteration, MPI）的路由器重设计方法。具体而言，该方法引入了"幂迭代-收缩"范式：先对路由器权重执行幂迭代步骤，再通过收缩施加范数约束以确保效率与稳定性。理论上，我们证明MPI能使路由器各行收敛至对应专家的主奇异方向。实验上，我们预训练了从1B到11B参数规模的MoE模型，证实这种对齐有助于构建更高效的MoE模型。