推进系统性AI安全领域：资助开放

致读者：我们已于2025年2月14日更名为AI安全研究所。更多信息请点击此处。

引言

在AI安全研究所（AISI），我们致力于理解和衡量一系列广泛的AI风险，从而为政府和政策制定者的决策提供依据。

其中一个关键关注领域是系统性AI安全，这是一个新兴的研究方向，旨在理解和缓解与AI部署相关的更广泛社会风险，而不仅仅局限于单个模型的能力。推进这一领域、绘制优先研究领域图谱、并开发新方法，对我们至关重要。我们希望为AI研发持续快速进步的可能性做好准备，也为未来2-5年内AI在各行业显著加速应用做好准备。该计划旨在理解、预测并缓解潜在风险。我们的系统性AI安全资助计划（Systemic AI Safety Grants programme）首次在AI首尔峰会上宣布，旨在拓展该领域并加深我们对这一主题的理解。

直面这些风险将增强公众对一系列AI创新的信心，这些创新正越来越多地被经济领域所采用，从而激发长期增长，并使英国始终处于负责任且值得信赖的AI研发的核心位置。确保公众对AI的信心，是政府计划抓住其潜力的核心，因为英国正利用这项技术来提高生产力，并提供面向未来的公共服务。为确保英国能够持续利用AI创新的巨大机遇，政府还承诺针对少数开发最强大AI模型的公司出台高度针对性的立法，确保采取相称的监管方法，而非对其应用制定全新的一揽子规则。

什么是系统性AI安全？

系统性AI安全是一个旨在理解和缓解与AI部署相关的更广泛社会风险的领域，其范围超越了单个模型的能力。推进这一领域并绘制优先研究领域图谱，对我们至关重要。这些领域包括对危险能力和安全措施的评估、对用户与模型交互的研究，以及通过协议和安全案例进行风险治理的工作。我们现在正将关注点扩展到前沿AI系统的系统性影响。

系统性AI安全聚焦于AI部署在特定行业及整个社会背景下的风险与缓解措施。例如，我们想知道当前沿AI被整合到教育、医疗和金融领域时，可能会出现哪些风险——这类研究需要理解AI的技术层面，也需要理解特定行业背景中的人与社会层面1,2,3，以及一种更全面的系统安全方法4,5。我们还希望了解不同的AI模型（可能以agent形式运行）如何在“现实环境中”相互交互，以及可能产生哪些风险6。系统性安全是对我们其他工作的补充——当危险能力评估突出显示某个模型支持网络攻击的能力时，系统性安全则评估关键基础设施对此类攻击的脆弱性，并探索降低这种脆弱性的方法，包括防御性地利用前沿AI7。

更好地理解系统性安全将有助于为政府及其他机构可能投资的优先干预措施提供信息，以便在关键风险演变为严重危害之前加以应对8。干预措施可以有多种形式，包括技术解决方案、指南、监控与信息共享，以及新颖的治理机制。

我们为何启动这一计划？

系统性AI安全资助计划旨在AI技术快速进步和广泛应用的过程中保护社会系统。该计划寻求理解、预测并缓解潜在风险。

我们假设AI模型将变得日益强大、个性化且相互连接，这既带来机遇也带来风险。该计划旨在推动研究，探索AI的系统性影响，开发超越模型本身的稳健安全措施，并实施干预以增强韧性。

我们在第一阶段的目标是：

• 初步了解前沿AI在关键行业部署所带来的风险。
• 建立一个专注于这些问题的更广泛研究社区。
• 识别有前景的缓解措施，以便在计划的后续阶段加以推广。

计划申请资格

我们鼓励英国各职业阶段的研究人员申请，并且特别重视那些汇集学术界、产业界和公民社会专家的项目。无论你是对AI风险有深刻理解、致力于寻求创新解决方案的企业家，还是在AI应用及其影响方面有浓厚兴趣并拥有广泛从业者人脉的研究人员，都欢迎申请。我们也欢迎国际合作伙伴。

我们鼓励跨越多种专业和研究领域的合作，包括AI生成虚假信息、关键基础设施保护、劳动力市场转型、AI agent基础设施等。有关潜在主题的更多信息，请参见此处。该计划面向那些能够应对当前及预期AI风险的创新、可行且可操作的提案。

参与方式

系统性安全资助计划第一阶段现已开放申请。通过提出一个令人兴奋的项目并鼓励你的同事也来申请，帮助我们塑造对系统性AI安全的理解！在此了解更多信息并申请。

致谢

我们要感谢UKRI以及多位外部研究人员的贡献、反馈和建议。