从 Day 0 到生产 SLA：在 24 块 NVIDIA B300 GPU 上用 vLLM 部署 GLM-5.2

From Day 0 to Production SLAs: Serving GLM-5.2 on 24 NVIDIA B300 GPUs with vLLM

二〇二六年七月二十七日 · 英文原文

摘要

基于vLLM在24块B300 GPU上运行GLM-5.2-NVFP4，通过P/D分离（prefill/decode disaggregation）、MTP推测解码（multi-token prediction speculative decoding）和Model Runner V2，将平均TPOT从40毫秒降至17毫秒，最终配置以SLA为先进行权衡。

我们如何将 GLM-5.2-NVFP4 在 24 块 B300 GPU 上的平均 TPOT 从 40 毫秒降至 17 毫秒（基于 vLLM）：P/D 分离、MTP 推测解码、Model Runner V2，以及最终配置背后以 SLA 为先的权衡

我们基于 vLLM 在 24 块 B300 GPU 上运行 GLM-5.2-NVFP4，通过以下手段将平均 TPOT（每个输出 token 的时间）从 40 毫秒降至 17 毫秒：P/D 分离（prefill/decode disaggregation）、MTP 推测解码（multi-token prediction speculative decoding）、Model Runner V2，以及最终配置背后以 SLA 为先的权衡。

译自 vLLM · 官方博客 · 录于二〇二六年七月二十七日