在 Python 或 C++ 中让长时间运行的 NVIDIA TensorRT 引擎构建可观察和可取消
Make Long-Running NVIDIA TensorRT Engine Builds Observable and Cancelable in Python or C++
摘要
NVIDIA 发布了 TensorRT 的进度报告与可取消构建功能，解决了 engine 构建时间从数秒到数十分钟不等的问题。该功能在构建过程中实时报告进度，并允许开发者、最终用户或 AI agent 提前中止进程，避免因大型强类型模型、深度策略搜索或全新 GPU SKU 上冷计时缓存导致的终端冻结与不确定性。
TensorRT engine 的构建时间从几秒到数十分钟不等。大型强类型模型、深度策略搜索以及全新 GPU SKU 上的冷计时缓存，可能会让开发者、最终用户或 AI agent 盯着冻结的终端，完全不知道应该等待、重试还是终止进程。大多数 NVIDIA TensorRT 集成在构建过程中不会报告任何信息，也无法提前中止。
译自 NVIDIA · Developer 博客 · 录于 二〇二六年七月二十二日