allenai-blog
分别训练，合并到一起：基于 mixture-of-experts 的模块化 post-training
Train separately, merge together: Modular post-training with mixture-of-experts
摘要
内容介绍一种基于 mixture-of-experts（专家混合）的模块化 post-training 方法：各专家模块分别训练，在推理或部署阶段合并使用，以实现训练流程解耦和能力组合。
分别训练，合并使用：基于 mixture-of-experts（专家混合）的模块化 post-training
译自 allenai-blog · 录于 二〇二六年五月八日