NVIDIA Dynamo 影子引擎恢复：数秒内恢复 LLM 推理能力
Restore LLM Inference Capacity in Seconds with Shadow Engine Recovery in NVIDIA Dynamo
摘要
NVIDIA Dynamo 预览功能引入影子引擎恢复机制，用于处理 LLM 引擎进程故障。传统冷重启需从存储加载权重至 HBM、编译内核并捕获 NVIDIA CUDA 图，大型模型初始化耗时数分钟，期间幸存 worker 需承接转移流量。影子引擎恢复通过预先启动备用引擎缩短恢复时间，减少服务中断窗口。
当LLM引擎进程发生故障时，标准的恢复路径涉及冷重启。这需要从存储中将权重加载到HBM、编译内核，并捕获NVIDIA CUDA图。对于大型模型，初始化可能需要几分钟，在此期间，幸存的worker必须吸收被转移的流量。影子引擎恢复作为NVIDIA Dynamo中的预览功能提供……来源
译自 NVIDIA · Developer 博客 · 录于 二〇二六年八月二十六日