Kimi K3：开放前沿智能

我们推出 Kimi K3，一个 2.8T 参数的混合专家模型，拥有 1040 亿激活参数、原生视觉能力以及 100 万 token 的上下文窗口。Kimi K3 基于 Kimi Delta Attention 和 Attention Residuals 构建，这两项技术改善了信息在序列长度和模型深度上的流动。结合 Stable LatentMoE（每 token 有效激活 896 个路由专家中的 16 个）以及经过优化的训练和数据配方，这些进步使得整体扩展效率相比 Kimi K2 提升了约 2.5 倍。后训练阶段突出强化学习在通用、智能体（agentic）和编码领域以及多个推理努力级别上的应用，实现了组合泛化和稳健的长程执行能力。在 2.8T 规模下，Kimi K3 得到了多个领域基础设施进步的支持：KDA 的算法-系统协同设计、具有高效内存管理的完美平衡专家并行训练、百万 token 智能体强化学习（含持久 rollout 和沙箱状态），以及部署创新。大量评估表明，Kimi K3 在长程编码、智能体、知识、推理和视觉任务上均达到了前沿水平。尽管其整体性能仍落后于最强大的专有模型（即 Claude Fable 5 和 GPT-5.6 Sol），但 Kimi K3 在我们的评估套件中持续优于其他开源和专有模型。我们开放了完整的 Kimi K3 模型权重，以促进未来研究并加速前沿智能的更广泛部署与应用。