递归语言模型与不确定性：自反程序搜索在长上下文中的惊人效果
Recursive Language Models Meet Uncertainty: The Surprising Effectiveness of Self-Reflective Program Search for Long Context
摘要
该研究探讨了长上下文处理中语言模型的核心挑战，即模型在扩展上下文窗口下仍难以可靠提取和推理信息。作者聚焦于递归语言模型（RLMs）的agentic方法，指出其成功关键取决于上下文交互程序轨迹的选择方式，而此前未被探索。通过分析轨迹选择机制，研究揭示了RLMs在长上下文任务中的性能瓶颈。
长上下文处理仍然是语言模型的核心挑战：即使拥有扩展的上下文窗口，模型也常常无法可靠地跨长上下文提取、推理并利用信息。近期诸如递归语言模型（RLMs）等研究通过一种智能体（agentic）方式应对这一挑战——在推理时通过程序化交互将长上下文分解为递归子查询。尽管前景可期，但RLMs的成功关键取决于这些上下文交互程序轨迹（trajectories）的选择方式，而这一点此前尚未被探索。本文中，我们研究了这一问题……
译自 Apple · ML Research · 录于 二〇二六年七月十日