在Tenstorrent硬件上服务LLM：vLLM TT插件内部解析
Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin
摘要
Tenstorrent加速器以树外平台插件形式集成至vLLM，其设计由mesh架构选择驱动，包括基于阶段的调度、Galaxy上的单进程数据并行、带主机回退的设备端采样，以及异步解码重叠。
Tenstorrent加速器以树外平台插件的形式加入vLLM，其设计由mesh架构选择驱动：基于阶段的调度、Galaxy上的单进程数据并行、带主机回退的设备端采样，以及异步解码重叠。
译自 vLLM · 官方博客 · 录于 二〇二六年九月七日