sglang v0.5.19
sglang v0.5.19
SGLang v0.5.19 发布，包含来自 214 位贡献者的 786 个 PR。新增 Qwen3.8、dots3.note、Ling-3.0-flash、Spark2.5、Granite 4.2、LongCat-Image-Edit 等自回归与扩散模型支持，并更新 GLM-5.3、PaddleOCR-VL、Kimi-K3 等部署指南。新功能包括 beam search（束搜索）、DeepEP v2 ElasticBuffer 引擎、LayerNorm 序列并行（Qwen3-8B 在 H100 上 prefill 时间减少 3.5%）及 Hopper 上 W4A8 MoE 量化支持。
亮点
来自 214 位贡献者的 786 个 PR。
本版本新增模型（所有支持的模型请参阅 cookbook）：
| 模型 | 类型 | PR | Cookbook |
|---|---|---|---|
| Qwen3.8 (2.4T-A95B) | 自回归 | #35758 ⭐ | 链接 |
| Qwen3.8-27B | 自回归 | #34859 | 链接 |
| dots3.note | 自回归 | #33829 ⭐ | 链接 |
| Ling-3.0-flash | 自回归 | #33561 | 链接 |
| Ling-3.0-tiny | 自回归 | #33561 | 链接 |
| Spark2.5 | 自回归 | #35963 ⭐ | |
| MiniCPM-SALA | 自回归 | #30360 | |
| Granite 4.2 | 自回归 | #36286 | 链接 |
| LongCat-Image-Edit & Edit-Turbo | 扩散 | #35829 |
Cookbook 更新：
- GLM-5.3 部署指南：链接
- PaddleOCR-VL 部署指南：链接
- Kimi-K3 在 Ascend A3 上：#35508
- Kimi-K2.7-Code-MXFP4 在 MI355X 上：#36246
- Qwen3.5 MXFP4 在 MI355X 上，使用 FP8 KV cache 或 HiCache 主机内存分层：#35445、#36245
- MiniMax-H3 在 24 GB GPU 或 DGX Spark 上，附消费级 GPU 调优指南：#36169、#35816
- Ling-3.0-flash 在 DGX Spark 上：#36364
- Qwen3.8-27B 在 RTX 5090、RTX PRO 6000 和 DGX Spark 上重新测量：#35825
Beam search（束搜索）。 SGLang 现在支持 beam search。在请求中传入 beam_width，即可返回 n 个最佳序列，而非单个采样结果。它可以与常规请求无缝配合使用，但目前尚不支持与 speculative decoding（推测解码）、disaggregation（分离式推理）、DP attention 或 HiCache 混合使用（#31626）。
DeepEP v2。 DeepEP 新的 ElasticBuffer 引擎可通过 --moe-a2a-backend deepep_v2 用于 FP8 下的 DeepSeek-V3/V4 和 Qwen3-MoE。其缓冲区大小固定，因此 decode 阶段即使在跨节点场景下也能在 CUDA graphs 下运行。性能与经典后端相当（#35634、#34923）。
LayerNorm 序列并行。 使用 --enable-layernorm-sp 后，每个 tensor-parallel rank 仅对其自身的 prefill token 份额进行归一化，而非全部 token。这使 Qwen3-8B 在 H100 上的 prefill 时间减少 3.5%，在 B200 上减少 5.6%，且节省随 TP 度增加而增长。目前仅支持密集 Qwen3 模型（#30915）。
Hopper 上的 W4A8 MoE。 如果你在 Hopper 上服务 MXFP4 experts，现在可以通过 --flashinfer-mxfp4-moe-precision fp8 将激活值也量化为 FP8。DeepSeek-V4-Flash 的输出吞吐量提升约 12%，且 GSM8K 准确率不变。需要 FlashInfer 0.6.18（[#34967](h…
[其余内容略，详见 https://github.com/sgl-project/sglang/releases/tag/v0.5.19]