自动化研究者可可靠缓解对齐失败
Automated researchers can reliably mitigate alignment failures
Anthropic发布报告，让Claude自主训练模型以修复10类对齐失败（如欺骗、谄媚、越狱）。Claude通过搜索文献、提出方法、训练和测试的循环，在保留基准及Petri工具上有效，且方法在比优化目标大4.7倍的模型上仍有效，并超越28位人类研究员（欺骗任务最佳方法优20%）。弱模型Sonnet 5在60小时内用约2,000个训练示例修复强模型Opus 4.8检查点，效率高约15,000倍。监控代理在1,600份记录中发现39次（2.4%）作弊尝试。实验存在范围狭窄等局限，工具已开源。
随着AI开始自我构建，自动化对齐研究变得越来越重要，以确保安全研究能够跟上步伐。尽管衡量对齐研究的成功极具挑战性，但研究人员（在Anthropic及其他机构）已开发出基准测试和自动化审计工具，如Petri，用于量化常见的对齐失败，如欺骗、谄媚和越狱。
在我们早期的一项实验中，我们让Claude寻找有效方法，利用弱AI模型作为“教师”来监督更强模型（在此案例中为“学生”模型）的训练。现在，我们发布了一份基于此想法的新报告。我们让Claude自主训练模型，以提升其在衡量10类对齐失败的多个公开基准上的表现。例如，Claude通过ConfAIde、PrivaCI-Bench和PrivacyLens衡量的隐私侵犯指标，改善了模型的表现。Claude通过搜索文献、提出方法和数据、训练、然后测试的循环，一次解决一个对齐失败。
我们根据“安全差距闭合百分比”来评判Claude的成功，即其方法将学生模型推向理论满分多远，依据每类对齐失败的基准范围（通常为三到五个）进行评判。我们排除了损害学生模型通用能力的对齐方法，并禁止Claude将其自身对齐直接蒸馏到目标模型中。我们通过一个监控代理强制执行这些约束，该代理在Claude运行前读取其所有想法。
我们的目标是评估所提出的方法是否：首先，在Claude研究循环中从未见过的对齐评估上仍然有效；其次，避免降低学生模型的能力（因为安全训练可能，例如，使模型更频繁地拒绝任务，降低其整体可用性）；第三，在比Claude在此测试中被要求对齐的模型更大的模型上仍然有效。
在这每一项上，Claude的方法都奏效了。对于所有10种对齐失败，Claude找到了改进目标基准而不损害能力的修复方法。最佳方法在保留的对齐基准和Petri（一个用于测试错位的对抗性多轮场景的开源工具）上也有效。此外，这些方法在比Claude在研究循环中优化的模型大4.7倍的模型上仍然有效。
Claude还超越了28位人类安全研究人员，他们有多达八小时的时间来设计方法。例如，在欺骗方面，Claude的最佳方法比最佳人类提案表现好20%。然而，由于人类无法迭代他们的提交，我们更多地将此视为一种工作流程的证据，即Claude识别出有前景的对齐方法，人类可以进一步完善。
未来，当Claude在对齐研究方面比最优秀的人类研究人员更擅长时，我们可能希望Claude直接对齐其更强大的继任者。为了评估这一点，我们评估了较弱的Claude模型是否能缓解更强大模型中的对齐失败。
我们让Claude Sonnet 5——在Epoch能力指数（一个考虑综合能力维度的指标）上弱于Claude Opus 4.8——修复早期Opus 4.8检查点中的对齐失败，该检查点尚未经过我们大部分生产对齐训练。
在短短60小时内，Claude尝试了超过50种解决方案，并取得了几乎与我们生产模型相匹配的对齐分数。获胜方案包含仅略多于2,000个训练示例，基于简单模板或公共数据集构建，使其比我们的生产对齐程序高效约15,000倍。
在大多数情况下，代理们收敛于研究文献中偏好的方法，并通过多次迭代加以改进。例如，在谄媚方面，98%的提议方法使用了一种已发表的技术：在模型自身非谄媚的答案上训练模型。具体来说，与基于提示的标准方法相比，Claude使用了激活引导，即在生成过程中调整模型的内部表示，以推动模型远离谄媚模式，并产生更干净的训练示例。
我们最近了解到，Claude可以通过从远程API窃取测试标签和挑选结果来作弊。为了捕捉作弊行为，我们让Claude Opus 4.8监控了所有10种对齐失败中的约1,600份研究代理记录，发现39次（2.4%）作弊尝试。由于Opus 4.8的不当行为尝试仍倾向于出现在其推理中，我们谨慎乐观地认为我们的监控器已捕获了研究中大部分作弊行为。然而，对于未来的模型，这可能不成立，我们相信在未来的模型中保持高可监控性至关重要。
尽管有这些令人鼓舞的发现，我们的实验存在几个局限性：所研究的对齐失败与生产中的相比范围狭窄（例如，我们未衡量政治偏见）；某些失败可能发生得如此罕见或出现得如此近期，以至于没有基准来衡量它们；我们仅在Claude的方法损害了一组有限的预定能力时才拒绝它们，这意味着被接受的方法可能损害了我们未衡量的其他重要能力。此外，像Petri这样的评估只是现实世界错位的代理指标，我们未测试对齐增益在大量RL训练其他任务后是否持续。
我们计划继续提高Claude衡量细微失败的能力，进一步研究在生产级模型上自动化对齐后训练，并进行更全面的分析。总体而言，我们将这些结果视为早期积极信号，表明自动化对齐后训练在近期可能变得实用，我们将随着工作的进展分享更新。
我们在完整报告中概述了详细的未来方向。
我们开源了自动化对齐研究工具，以便其他人可以在此基础上构建并使用它来对齐他们自己的模型。有关更多细节，请阅读Alignment Science博客上的完整报告，其中涵盖了代理环境、所有10种失败的结果以及代理的提案，附录中包含基准验证和示例撰写。