sglang v0.5.18
sglang v0.5.18
SGLang v0.5.18 发布，包含来自 212 位贡献者的 710 个 PR。新增 Muse Glimmer、Intern-S2-Mobius、SANA-Video、LTX-2.5、Cosmos3 Edge 等模型支持。启动时重叠 checkpoint staging 使 H100 上 Qwen3-32B 启动速度提升 2.38 倍；TP LMHead 采用 all-to-all 使 DeepSeek-V4-Pro B200 decode 的 LMHead 时间从 320us 降至 169us。依赖更新至 torch 2.13.0、triton 3.7.1、flashinfer 0.6.17 等。
亮点
来自 212 位贡献者的 710 个 PR。
本版本新增模型（所有支持的模型请参阅 cookbook）：
| 模型 | 类型 | PR | Cookbook |
|---|---|---|---|
| Muse Glimmer | 自回归（多模态） | #34262 | 链接 |
| Intern-S2-Mobius | 自回归 | #33691 | 链接 |
| SANA-Video | 扩散 | #32921 | 链接 |
| LingBot-Video-MoE | 扩散 | #32341 | 链接 |
| LTX-2.5 | 扩散 | #34471 | 链接 |
| Cosmos3 Edge & Distilled | 扩散 | #31590 | 链接 |
| LongCat-Image | 扩散 | #23274 |
另有 Qwen3.8 系列、Ling-3.0、Nemotron 3.5 Lightning、Dots3-Note 和 DeepSeek-V4-Pro-0813（#34809）的 cookbook 配方。
启动时重叠 checkpoint staging：checkpoint 页面现在在 CUDA graphs 捕获期间从存储中 staging。H100 上 Qwen3-32B 的启动速度比串行预取快 8.6-11.7%，比普通默认快 2.38 倍（35.6 秒 vs 84.8 秒）。通过 --startup-weight-load-mode overlap 启用（#32017）。
TP LMHead 采用 All-to-All：TP LMHead 的 allgather + scatter 在纯 DP dp-attention 下变为单个 all-to-all。在 DeepSeek-V4-Pro B200 decode 上，LMHead 时间从 320us 降至 169us，TPOT 从 36.97ms 提升至 35.67ms（#32313）。
FlashInfer MNNVL 用于纯 allreduce：非融合 allreduce 位置现在复用 FlashInfer MNNVL workspace，而非回退到 NCCL。Blackwell 上 DeepSeek-V4-Flash TP4 decode 在小批量下获得 最高 +6.9% 的提升。DeepSeek-V3/V3.2/V4 自动启用；其他场景使用 --enable-flashinfer-pure-allreduce（#30700）。
统一的编译内核缓存目录：Triton、FlashInfer、Inductor、DeepGEMM 和 CUDA driver 缓存全部移至 SGLANG_CACHE_DIR 下。升级后首次启动会重新编译一次；请参阅 Breaking Changes（#32434）。
依赖：torch 2.13.0 搭配 triton 3.7.1（#28836）、flashinfer 0.6.17（#33997）、CuTeDSL 4.6.2（修复 Blackwell 上 FA4 启动回归，#34372）、DeepEP 现在从发布的 sgl-deep-ep wheels 安装（#33932），以及 sgl-kernel 0.4.6.post1（#33842）。
以下为按类别分类的完整发布说明；Breaking changes 和已知问题在末尾。
[余略，详见 https://github.com/sgl-project/sglang/releases/tag/v0.5.18]