Kimi K3 来了:在 vLLM 上实现高效的 Day-0 支持
Kimi K3 Is Here: Efficient Day-0 Support on vLLM
摘要
vLLM 发布首日即支持 Kimi K3 推理服务,集成混合 KDA 前缀缓存、DSpark 推测解码及生产级分离架构,并包含针对 NVIDIA 与 AMD GPU 优化的内核。
vLLM 在发布首日即支持 Kimi K3 推理服务,具备混合 KDA 前缀缓存、DSpark 推测解码、生产级分离架构,以及针对 NVIDIA 和 AMD GPU 优化的内核。
译自 vLLM · 官方博客 · 录于 二〇二六年七月二十七日