LoopCoder-v2:仅循环一次实现高效测试时计算扩展
LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling
摘要
循环Transformer通过重复应用共享模块来扩展隐式计算,但顺序循环会随着循环次数增加而增大延迟和KV缓存开销。并行循环Transformer(PLT)通过跨循环位置偏移(CLP)和共享KV门控滑动窗口注意力机制缓解了这一问题,使循环次数成为可实际调节的设计参数。为此,我们从增益-成本视角研究PLT的循环次数选择:额外循环可能优化表征,但CLP在每个循环边界也会引入位置错配。我们通过训练LoopCoder-v2系列模型来具体验证这一研究——该系列包含不同循环次数的7B参数PLT编程模型,在18T token上从头训练,随后进行匹配的指令微调与评估。实验表明,双循环变体在代码生成、代码推理、智能体软件工程和工具使用基准测试中均显著优于无循环基线,将SWE-bench Verified从43.0分提升至64.4分,Multi-SWE从14.0分提升至31.0分。相比之下,三循环及以上变体出现性能倒退,揭示了强烈的非单调循环次数效应。诊断分析显示,第二循环提供了主要的生产性优化,而后续循环的更新逐渐减弱且呈现振荡特征,表征多样性也持续降低。由于CLP引发的错配成本基本固定,而优化增益持续衰减,偏移成本逐渐占据主导。这种增益-成本权衡解释了PLT在双循环处达到饱和的现象,并为循环次数选择提供了诊断依据。
译自 Hugging Face · Daily Papers · arXiv:2606.18023 · 录于 二〇二六年六月十七日