EarlyEval：通过早期结果预测实现更经济的智能体评估

评估LLM代理（agent）对于指导其开发至关重要，但这一过程已变得昂贵得令人却步：前沿模型在代理基准（agentic benchmark）上单次运行的成本可能高达数百至数千美元，且在迭代开发周期中需反复支付。以往的研究主要集中于基准蒸馏（benchmark distillation），以减少评估任务的数量，但并未触及每个保留任务的执行成本。在本工作中，我们引入早期结果预测（early outcome prediction），这是一种互补的效率维度，转而削减每个任务内部的成本。我们的关键洞察在于，代理的最终结果往往在其执行完成前，就能从中间行为中明显显现。我们将这一想法实例化为EarlyEval，一个轻量级框架，它训练一对基于LightGBM的成功与失败分类器，利用行为、文本和参考解决方案特征，并在任一分类器跨越校准置信阈值时立即终止代理运行，仅增加可忽略的每步开销。在三个基准——SWE-bench Verified、TerminalBench和Toolathlon上，EarlyEval能以89%-97%的预测准确率消除13%-26%的代理步骤，并减少高达44.1%的输入令牌和29.4%的输出令牌，同时仅使每个代理的解决率平均波动1至2个百分点。