sglang v0.5.14
sglang v0.5.14
SGLang v0.5.14 新增对 GLM-5.2、LiquidAI LFM2.5、Kimi-K2.7-Code、Poolside Laguna-M.1、DiffusionGemma、Zyphra ZAYA1、MiMo-V2-ASR 等模型的支持。DeepSeek-V4 在 NVIDIA GB300 上从 Day 0 起支持，相同交互性下吞吐量提升 5 倍。引入 Waterfill 与 LPLB 两种用于 DeepEP 专家并行的分发时负载均衡方法，提升 DeepSeek-V3/R1 和 DeepSeek-V4 吞吐量。为 Kimi-Linear (KDA) 新增 CuteDSL prefill kernel，比 Triton 路径快 1.08-1.52 倍。线性注意力 prefix-cache 通过 int8 checkpoint 池和滑动窗口布局去重节省内存。集成 MSCCL++ 与 MNNVL allreduce 融合，为 Nemotron-H 提供数据并行 attention 与 MTP 支持，并在 AMD GPU 上支持可中断 CUDA graph。为 Blackwell 上的 DeepSeek-V4 添加 NVFP4 MoE 量化路径，并优化其 decode 与量化。
亮点
新增模型支持：GLM-5.2、LiquidAI LFM2.5、Kimi-K2.7-Code、Poolside Laguna-M.1、DiffusionGemma、Zyphra ZAYA1、MiMo-V2-ASR
DeepSeek-V4 在 GB300 上从 Day 0 起支持：在相同交互性下吞吐量提升 5 倍，使用 SGLang 在 NVIDIA GB300 上服务 DeepSeek-V4（博客）。
Waterfill 与 LPLB MoE 负载均衡：两种用于 DeepEP 专家并行（expert parallelism）的分发时负载均衡方法——Waterfill 用于共享专家分发，LPLB 用于冗余专家副本，提升 DeepSeek-V3/R1 和 DeepSeek-V4 的吞吐量（博客）。
KDA CuteDSL prefill kernel 在 Blackwell (SM100) 上：为 Kimi-Linear (KDA) 新增的 CuteDSL prefill kernel，通过可复用的 scratch workspace 比 Triton 路径快 1.08-1.52 倍，并修复了 cuda-graph padding 问题（#27488）；参见 Kimi-Linear cookbook。
线性注意力 prefix-cache 内存节省：一个 int8 checkpoint 池将循环状态紧凑地存储在 Mamba radix cache 中，大幅增加 KDA / GDN 模型的 prefix-cache 容量（#28185）；推测性 conv-window 中间缓存通过滑动窗口布局去重，占用减半且数值不变（#28302）。
LPLB：用于 MoE 专家并行的线性规划负载均衡器：通过求解每层 LP 来平衡冗余专家副本间的 token 路由；通过 --ep-dispatch-algorithm=lp 选择启用，默认行为不变（#24515）。
MSCCL++ 集成与 MNNVL allreduce 融合：MSCCL++ 迁移到上游 mscclpp Python 包（Executor + DSL 编译器），为 TP=8 单节点和 TP=16 双节点提供自动调优的集合通信（#22734）；FlashInfer 融合 allreduce + residual + RMSNorm 通过 --flashinfer-allreduce-fusion-backend（auto / trtllm / mnnvl）重新启用 MNNVL 后端，修复了分段 CUDA graph 交互问题（#23402）。
Nemotron DP attention + MTP：为混合型 Nemotron-H（Mamba2 + full attention + MoE）提供数据并行 attention，以及 MTP 支持（#24955）；参见 Nemotron 3 Ultra cookbook。
AMD：ROCm/HIP 上的可中断 CUDA graph：可中断 CUDA graph 执行路径现在可在 AMD GPU 上运行（#28173）。
DeepSeek-V4 的 NVFP4 MoE：为 Blackwell 上的 DeepSeek-V4 添加 NVFP4 MoE 量化路径，以提升 MoE 吞吐量；通过 --moe-runner-backend flashinfer_trtllm_routed 启用（#25820）；参见 DeepSeek-V4 cookbook。
DeepSeek-V4 decode 与量化优化：FP8 group quantization 现在直接从 per-token group-quant kernel 输出 2 的幂次（UE8M0）scale，省去单独的舍入步骤（#26766）；MLA decode q-heads 在 attention-TP 下填充至 64，使 FlashMLA 调度约便宜 2 倍的 head64 kernel 而非 head128（#27954）……
[余略，详见 https://github.com/sgl-project/sglang/releases/tag/v0.5.14]