vLLM 对 Qwen3.8-2.4T-A95B 的 Day 0 支持
Day 0 Support for Qwen3.8-2.4T-A95B on vLLM
摘要
Day-0 vLLM 已支持 Qwen3.8-2.4T-A95B,一款 2.4 万亿参数的混合 MoE 模型,开箱即用。提供 FP8/BF16 checkpoint,以及 NVFP4 和 MXFP4 量化权重,kernel 由 NVIDIA 和 AMD 联合开发。
Day-0 vLLM 对 Qwen3.8-2.4T-A95B 的支持:一款 2.4 万亿参数的混合 MoE 模型,开箱即用,提供 FP8/BF16 checkpoint 以及 NVFP4 和 MXFP4 量化权重,并在 NVIDIA 和 AMD 硬件上联合开发了 kernel。
译自 vLLM · 官方博客 · 录于 二〇二六年八月十二日