知道何时不复用：自主LLM后训练中的条件经验迁移

大语言模型具备广泛的能力，但将其适配到不断演进的领域、工具和需求时，通常需要反复进行后训练。自主系统通过提出更新、训练候选模型，并利用评估反馈来选择后续提案，从而自动化该过程的某些部分。随着证据的积累，一个核心问题浮现：在后续训练改变了父模型之后，哪些过去的更新证据仍然具有可操作性？更新的效果取决于其父模型、数据和训练阶段。将过去的成功视为无上下文的许可可能会浪费计算资源。如果由此产生的子模型被提升，还可能恶化后续的训练轨迹。我们将此问题形式化为条件性经验迁移，并引入边界校准干预迁移（BCIT），一种在权重变更训练之前授权经验复用的方法。BCIT将观察到的效果绑定到其来源上下文，检查适用条件，否决具有命名硬冲突的候选方案，并在需要时通过有界训练试验获取当前状态的证据。完全训练的候选方案仍面临共享的采纳规则，且只有观察到的事件才能扩展记忆。在一个适配于金融推理、文本到SQL和函数调用的4B模型上，候选更新在评估的上下文中表现出异质的目标和保留效果。在匹配的候选方案、证据和计算资源下，BCIT比评估的替代方法授权更少的有害更新，并在同等预算下实现更高的最终模型质量。这些结果支持将经验授权视为自主后训练中的一个独立问题。