增强AI韧性
Strengthening AI resilience
英国研究与创新署（UKRI）下属的工程与物理科学研究理事会（EPSRC）和英国创新署（Innovate UK）主导的系统性AI安全资助计划（Systemic AI Safety Grants Programme）在首尔AI峰会上宣布，已从300多份申请中遴选出20个项目，每个项目获得最高20万英镑种子基金。项目涵盖AI决策安全、劳动者保护、错误信息打击、高风险领域AI应用、基础设施安全、隐私保护及AI agent交互等方向，由牛津大学、艾伦·图灵研究所、剑桥大学等机构承担，旨在12个月内产出关键见解以支持AI治理与风险缓解。
在关键基础设施和社会系统（如金融市场、医疗保健和交通运输）中部署人工智能（AI）带来了巨大益处，同时也引入了可能在高风险领域造成重大破坏的风险。
我们的系统性AI安全资助计划（Systemic AI Safety Grants Programme）首次在首尔AI峰会上宣布，旨在增强社会对AI相关风险的抵御能力，从而充分实现其益处。今天，我们自豪地宣布20个项目已获得最高20万英镑的种子基金，用于开展独立研究，重点关注保护正在部署AI的社会系统和关键基础设施。
遴选过程
我们收到了来自英国及国际高校、企业和非营利组织的300多份资助申请。每份申请都经过了严格的评估流程，由英国研究与创新署（UKRI）下属的工程与物理科学研究理事会（EPSRC）和英国创新署（Innovate UK）主导。
超过150名外部评审员初步筛选出82份申请，随后由Siân John MBE（EPSRC成员、NCC Group首席技术官）担任主席的专家小组进行评估。小组根据申请的价值和潜在影响进行评审，最终由英国AI安全研究所做出最终选择。
选定的20个项目组合涵盖了多样化的重点领域，反映了AI安全、安保和韧性方面挑战的广度：
- 让AI决策更安全——探索对AI决策理论的根本性改进，以确保AI系统做出更安全、更一致的选择。
- 保护AI驱动行业中的劳动者——研究自动化对操作员技能的影响，为工会工人开发AI风险培训，并评估地方政府决策中采用AI的风险。
- 打击错误信息与虚假信息——开发帮助用户评估内容可靠性的工具，并调查合成内容如何在危机时期被利用以放大社会动荡。
- 确保AI在高风险领域安全有效——在医疗、金融、法律、教育、交通和高危行业中识别并缓解风险，确保监管机构和从业者能够应对AI相关故障。
- 保障AI基础设施安全——开发安全共享AI模型的技术解决方案，评估AI agent与操作系统及电信网络交互的风险，并确保私有数据交换中的机密性。
- 保护个人隐私——开发社会技术解决方案，防止通过视觉AI系统对个人进行地理定位，并解决嵌入可穿戴设备中的AI带来的隐私问题。
- 理解AI agent如何交互——探索AI agent在游戏环境中的涌现行为，以理解竞争或合谋如何在无设计者意图的情况下出现。
获奖者
| 项目负责人 | 机构 | 项目名称 |
|---|---|---|
| Adel Bibi, Philip Torr 和 Adam Mahdi | 牛津大学 | 操作系统AI Agent的安全性：形式化、评估与认证 |
| Alexander Babuta, Ardi Janjeva 和 Sam Stockwell | 艾伦·图灵研究所 | 安全事件中AI驱动的虚假信息：缓解公共秩序混乱的风险 |
| Alexander Serb 和 Themis Prodromakis | 爱丁堡大学 | AI赋能的投资策略指南（AEGIS） |
| Antonio Valerio Miceli-Barone, Vaishak Belle 和 Shay B. Cohen | 爱丁堡大学 | 理解并改进AI agent在竞争与合作游戏中的行为 |
| Brian Sheil, Jennifer Schooling 和 Maya Indira Ganesh | 剑桥大学和安格利亚鲁斯金大学 | 指导一线人员：推进公共部门AI系统在伦理指导下社会技术安全的发展 |
| Caitlin Bentley, Gordon Meadow 和 David Wavell | 伦敦国王学院、Seabot Maritime 和 Frontier Robotics | 演进人-AI能力：为构建系统性安全的网络物理系统进行劳动力开发 |
| Carl Macrae | 诺丁汉大学 | 构建系统性AI安全的学习基础设施：开发调查和学习系统性AI安全事件的流程 |
| Farhana Ferdousi Liza, Shoaib Ahmed 和 Katherine Deane | 东英吉利大学和苏塞克斯大学商学院 | BRA(AI)N：在AI导航中构建韧性与问责制 |
| Gina Neff | 伦敦玛丽女王大学 | 为AI安全而工作（WAIS）：工作场所中应对系统性风险的社会技术能力 |
| Haris Shuaib | Newtons Tree | CLIO：临床大语言模型集成与监督 |
| John Keers, Jun Liu 和 Niall McCarroll | 阿尔斯特大学、法律技术中心 | Agentic AI在司法决策中的应用 |
| Marios Kogias 和 Hamed Haddadi | 帝国理工学院 | C3Infer：用于分区化、机密且经认证的AI推理框架 |
| Martin Thomson 和 Richard Waine | 健康与安全执行局科学研究中心和Emlyn Square | 高危环境中的安全AI（SAFEHAZ） |
| Mark McGill, Richard Jones 和 Tanaya Guha | 格拉斯哥大学和爱丁堡大学 | WearAI：审视嵌入情境感知智能可穿戴设备中的AI所暴露的社会脆弱性 |
| Michael Bronstein, Reihaneh Rabbany 和 Shenyang Huang | 牛津大学、麦吉尔大学和Mila | 迈向可信赖的AI agent以实现信息真实性 |
| Nick Hawes 和 Ruth Chang | 牛津大学 | AI与艰难抉择：对等模型 |
| Qian Lu, Vasile Palade 和 Huw Davis | 考文垂大学 | 在自动驾驶汽车开发中使用AI生成合成数据的系统性风险 |
| Shoaib Ehsan, Jack Stilgoe 和 Michael Milford | 南安普顿大学、伦敦大学学院和昆士兰科技大学 | PRIV-LOC：评估并缓解视觉-语言模型在基于图像的地理定位系统中的隐私风险 |
| Syed A. R. Zaidi, Zeinab Nizami 和 Maryam Hafeez | 利兹大学 | AI agent间的战略决策与合作：探索电信领域的安全与治理 |
| Yali Du | 伦敦国王学院 | 评估生成式agent系统的合作行为 |
下一步计划
在未来12个月内，这些项目将产生关键见解，为AI治理、风险缓解和系统性保障措施提供信息。这些工作将有助于形成切实可行的干预措施，确保AI融入关键基础设施的过程安全、可靠且有益。
我们向获奖者表示祝贺，并感谢数百名申请者、专家评审员以及我们杰出的外部评审小组，正是他们的努力使这一计划成为可能。他们的集体努力塑造了一个强大且多元化的研究组合，将帮助社会为AI发展的下一个前沿做好准备。