vLLM · 官方博客

宣布vLLM对NVIDIA Nemotron 3.5 Lightning的Day-0支持

Announcing Day-0 Support for NVIDIA Nemotron 3.5 Lightning on vLLM

二〇二六年八月十一日 · 英文原文

vLLM 通过 OpenAI 兼容 API 服务 NVIDIA Nemotron 3.5 Lightning,支持投机解码(speculative decoding)及 BF16/NVFP4 检查点,覆盖 NVIDIA GPU 与边缘系统。该方案提供标准接口调用,并利用投机解码提升推理吞吐,BF16/NVFP4 检查点降低显存占用,适配不同硬件环境。

以下是对该英文文章的中文翻译:


vLLM 如何通过 OpenAI 兼容 API、投机解码(speculative decoding)以及 BF16/NVFP4 检查点,在 NVIDIA GPU 和边缘系统上服务 NVIDIA Nemotron 3.5 Lightning。

译自 vLLM · 官方博客 · 录于 二〇二六年八月十一日