使用推测解码协同设计AI模型，加速LLM推理

Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference

二〇二六年九月二日 · 英文原文

摘要

本文为AI模型协同设计系列第三篇，探讨在使用投机解码（speculative decoding）加速LLM推理时保持准确性的方法，并提供在帕累托前沿（Pareto frontier）上选择草稿长度与草稿机制的五项指南。内容涉及模型设计选择对吞吐量及交互性的影响，来源为AI模型协同系列文章。

本文是关于AI模型协同设计系列文章的第三篇。它探讨了如何在使用投机解码（speculative decoding）的同时保持准确性，从而加速LLM推理，并提供了在帕累托前沿（Pareto frontier）上选择草稿长度和草稿机制的五项指南。关于模型设计选择如何在牺牲准确性的情况下影响吞吐量和交互性的讨论，请参阅AI模型协同…来源

译自 NVIDIA · Developer 博客 · 录于二〇二六年九月二日