BDH-CQ：基于循环潜在推理的上下文学习

我们介绍BDH-CQ，一种将上下文学习与循环潜在推理相结合的推理模型。推理时呈现的输入会持续更新模型的循环记忆；随后，模型通过在高维潜在空间中的迭代计算来求解查询，而不将其中间推理过程显式表达出来。我们在公开的ARC-AGI-1评估集上对该模型进行了评估，并使用受控的ARC类干预措施来研究它从演示中学到了什么、如何一致地应用推断出的变换，以及哪些概念仍然难以处理。一个150M参数的配置在每任务计算成本为0.0007美元的情况下达到了29.5%的pass@2。该运行点突破了先前报道的ARC-AGI-1成本-精度帕累托前沿，在基准测试成本效率方面确立了新的最先进水平。