vLLM 中基于 Ray Direct Transport (RDT) 的大规模分片权重迁移
Large-Scale Sharded Weight Transfer with Ray Direct Transport (RDT) in vLLM
摘要
在vLLM中实现原生分片权重传输引擎，基于Ray Direct Transport（RDT），在48个8xH100节点上以BF16格式完成Kimi K2模型权重传输，耗时7.53秒。
我们在vLLM中实现了一个原生分片权重传输引擎，利用Ray Direct Transport（RDT），在48个8xH100节点上以BF16格式完成Kimi K2模型的权重传输，耗时7.53秒。
译自 vLLM · 官方博客 · 录于 二〇二六年八月二十五日