vllm v0.28.0
vllm v0.28.0
摘要
vLLM 发布 v0.28.0，包含来自 270 位贡献者（76 位新贡献者）的 584 个提交。主要更新包括：Kimi-K3 全栈优化（Decode Context Parallel、FlashKDA 融合 kernel、SiTU 激活、GEMM-RS 序列并行、共享 expert 分片节省约 17 GiB/GPU）；DeepSeek V4 稀疏 MLA 端到端支持及 AMD Quark NVFP4；投机解码 DFlash2 与 DSpark 改进；Model Runner V2 成熟化；分层 KV cache 磁盘卸载；Rust 前端与 gRPC 支持。默认 `max_num_batched_tokens` 提升至 16384，bitsandbytes 迁移至外部插件，Transformers 升级至 5.15.0。
v0.28.0
亮点
本版本包含来自 270 位贡献者（其中 76 位新贡献者）的 584 个提交。
- Kimi-K3 性能提升：针对 Kimi-K3 的全栈重大优化——支持 Decode Context Parallel（DCP）（#50484）、融合 FlashKDA decode 与 prefill kernel（#50654、#51311、#52458）、MegaMoE 的 SiTU 激活支持（#50510）、序列并行的 GEMM-RS（#52079）、合并 all-gather 实现 1.5~3 倍 kernel 级加速（#51070）、自适应投机 token 预算使 DSpark TTFT 提升约 60%（#51725），以及可选的共享 expert 分片，每 GPU 节省约 17 GiB 内存（#50912）。Kimi-K3 现在也可通过 V2 model runner 在 ROCm 上运行（#51653）。
- DeepSeek V4：稀疏 MLA 现已端到端支持普通 decode、MTP 和 DSpark 投机解码（#51538），同时加入 AMD Quark NVFP4 支持（#47972）、reasoning-effort prompt 与映射（#50580）、稀疏 top-k 元数据 kernel 优化（#52084、#51967）、收窄 eager CUDA graph 区域（#51430、#52401），以及 gfx11 和 gfx950 上的 ROCm 支持（#47017、#52212）。
- 投机解码进展：DFlash2 支持局部卷积和候选选择器（#52816）、DSpark 置信度调度验证（#47808），以及 draft 模型的异步调度自动启用（#48341）。
- Model Runner V2 成熟化：E/P/D 分离（#38390）、权重卸载（#51413）、多层 MTP KV cache 支持（#50062）、encoder CUDA graphs（#49852）、decoder 逐 token 池化（#50931）以及 Transformers 池化模型（#52425）、无 attention 模型（#52374），以及
thinking_token_budget支持（#46727）。 - 分层 KV cache 卸载：磁盘卸载支持（#49644）、通过
module_path的外部二级 tier 管理器（#51007）、部分二级 tier 加载结果（#50321）、tiering 指标（#48798），以及用于并行无关卸载的规范 CPU 布局（#48414）。 - Rust 前端与 gRPC：独立渲染器（#50289）、通过 gRPC 的多模态图像推理（#50368）、显式数据并行 rank 路由（#51178）和 RL 生命周期控制（#51316），protobuf schema 现已发布到 Buf（#51276）。
- 新默认值：
max_num_batched_tokens从 8192 提升至 16384（#51726）、Mamba 模型默认启用 prefix caching（#50991）、Blackwell CUDA graph 捕获默认值提升至 1024（#49390）。 - 破坏性变更：bitsandbytes 支持迁移至外部插件（#43529）；Transformers 升级至 5.15.0（#51668）；已弃用的
calculate_kv_scales运行时 KV scale 计算被移除（#49389）；override_attention_dtype被移除（#48684）。
发布产物
Python Wheels
| 平台 | 安装方式 |
|---|---|
| PyPI（CUDA 13.0） | pip install vllm |
| PyPI（CUDA 13.0，uv） | uv pip install vllm --torch-backend=auto |
| ROCm | pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.28.0/rocm722 |
Docker 镜像
| 平台 | Docker 镜像 |
|---|---|
| CUDA 13.0（默认） | docker pull vllm/vllm-openai:v0.28.0（v0.28.0-cu130 同样可用） |
| CUDA 12.9 | docker pull vllm/vllm-openai:v0.28.0-cu129 |
| CUDA 13.0 + Ubuntu 24.04 | docker pull vllm/vllm-openai:v0.28.0-ubuntu2404 |
| CUDA 12.9 + Ubuntu 24.04 | docker pull vllm/vllm-openai:v0.28.0-cu129-ubuntu2404 |
| ROCm | docker pull vllm/vllm-openai-rocm:v0.28.0 |
| CPU | docker pull vllm/vllm-openai-cpu:v0.28.0 |
| XPU | docker pull vllm/vllm-openai-xpu:v0.28.0 |
其他产物
预构建的发布产物可在本页底部的 Assets 部分获取，包括：
- 源代码分发包
- 适用于 x86_64 和 arm64 的 CUDA 12.9 Python wheels
- 适用于 x86_64 和 arm64 的 CUDA 13.0 Python wheels
- 适用于 x86_64、arm64 和 macOS 的 CPU Python wheels
[余略，详见 https://github.com/vllm-project/vllm/releases/tag/v0.28.0]
译自 GitHub · 版本发布 · 录于 二〇二六年九月八日