LoopArena：循环工程中模型作为运行时控制器的基准测试

循环工程正逐渐成为一种围绕编码代理组织开发工作的实践方式。与其逐条手工编写提示，实践者设计循环来监控进度、分配工作、运行检查，并决定代理下一步应做什么。即使拥有能力强大的编码代理，循环也可能信任过时的进度记录、跳过必要的验证、将预算浪费在错误方向上，或在任务尚未安全提交前过早停止。然而，一次端到端运行的结果无法区分成功或失败究竟反映了循环的指导作用，还是编码代理执行任务的能力。我们引入了LoopArena，一个用于评估一个模型在长时间运行任务中引导独立编码代理能力的基准。被评估的模型是控制器（Controller）：在每轮编码后，它接收运行的结构化摘要，并指示一个独立的、固定的编码代理（即工人，Worker）下一步该做什么或验证什么，或决定是否停止。LoopArena在三种互补的设置中评估这一能力，这些设置在执行范围和成本上有所不同。类型I通过执行验证的问题对下一步循环合约（Loop Contract）选择进行评分，而无需在评估时运行工人。类型II对完整任务选定片段执行重复控制，而类型III则从原始状态评估配对的完整任务。在完整任务上，观察到的最佳严格成功率为24.69%，表明在长时程循环控制方面仍有显著改进空间。在不同控制器之间，估计推理成本的配对降低平均为64.4%，且类型II在主要核心标准下产生相似排序（Spearman's (ρ=0.9747)）。我们在https://github.com/AMAP-ML/LoopArena 发布了基准数据和评估代码。