打破长程推理中无恢复瓶颈
LEAD: Breaking the No-Recovery Bottleneck in Long-Horizon Reasoning
摘要
在LLM长程执行中，即使提供高层策略，稳定性仍不足。通过在受控算法谜题上的评估，发现分解对稳定性至关重要，但过度分解会引发“不可恢复瓶颈”，源于高度非均匀的错误分布——少数困难步骤的一致错误不可逆转。为此提出LEAD（前瞻增强原子分解），引入短程未来验证与聚合机制以缓解该瓶颈。
大语言模型（LLM）中的长程执行即使在提供了高层策略的情况下仍然不稳定。通过在受控算法谜题上的评估，我们证明分解对于稳定性至关重要，但过度分解会产生“不可恢复瓶颈”。我们表明，由于高度非均匀的错误分布，这一瓶颈变得尤为关键——少数“困难”步骤上的一致错误会变得不可逆转。为解决这一问题，我们提出前瞻增强原子分解（LEAD）。通过引入短程未来验证与聚合……
译自 Apple · ML Research · 录于 二〇二六年七月二十五日