ThunderAgent：合成数据规模化生成中2倍加速的智能体推理
ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
摘要
ThunderAgent 是一种面向 agent 推理的程序感知调度器，将每个 agent 工作流视为可调度程序，消除 KV 缓存颠簸。实验显示，该方法在单节点上实现超过 2 倍吞吐量提升，并支持近乎线性的多节点扩展。
ThunderAgent 是一种面向智能体推理的程序感知调度器。通过将每个智能体工作流视为可调度的程序，它消除了 KV 缓存颠簸，实现了超过 2 倍的单节点吞吐量以及近乎线性的多节点扩展。
译自 Together AI · 官方 · 录于 二〇二六年七月二十九日