使用 DFlash 推测解码在 NVIDIA Blackwell 上提升推理性能达 15 倍

Boost Inference Performance up to 15x on NVIDIA Blackwell Using DFlash Speculative Decoding

二〇二六年六月二十三日 · 英文原文

摘要

针对多智能体工作流中低延迟推理需求，自回归LLM因顺序生成token而限制GPU利用率与吞吐量。推测性解码（Speculative decoding）通过轻量级模型预生成未来token，缓解该瓶颈。

随着AI系统从单轮交互转向协调的多智能体工作流，低延迟推理变得愈发重要。自回归大语言模型（LLM）按顺序生成token，这可能会限制GPU利用率，并在对延迟敏感的服务场景中制约吞吐量。推测性解码（Speculative decoding）通过使用轻量级模型预生成未来token，有助于缓解这一瓶颈……来源

译自 NVIDIA · Developer 博客 · 录于二〇二六年六月二十三日