宣布vLLM对NVIDIA Nemotron 3.5 Lightning的Day-0支持
Announcing Day-0 Support for NVIDIA Nemotron 3.5 Lightning on vLLM
摘要
vLLM 通过 OpenAI 兼容 API 服务 NVIDIA Nemotron 3.5 Lightning,支持投机解码(speculative decoding)及 BF16/NVFP4 检查点,覆盖 NVIDIA GPU 与边缘系统。该方案提供标准接口调用,并利用投机解码提升推理吞吐,BF16/NVFP4 检查点降低显存占用,适配不同硬件环境。
以下是对该英文文章的中文翻译:
vLLM 如何通过 OpenAI 兼容 API、投机解码(speculative decoding)以及 BF16/NVFP4 检查点,在 NVIDIA GPU 和边缘系统上服务 NVIDIA Nemotron 3.5 Lightning。
译自 vLLM · 官方博客 · 录于 二〇二六年八月十一日