AI将如何助长未来犯罪？

对先进AI的犯罪滥用已经出现。随着这项技术的发展，犯罪分子可能变得更快、更难被发现、也更难被阻止。

前沿AI是一种极其强大的工具：对个人、公司而言如此，不幸的是，对犯罪分子也是如此。我们已经看到AI被用于支持网络犯罪、社会工程、冒充诈骗等行为。

在英国AI安全研究所（AISI），我们正在努力理解并缓解这一日益增长的风险。这篇博客阐述了我们的方法。

为支持这些研究工作，我们目前正在招聘一名犯罪滥用工作流负责人，以及一名研究科学家和研究工程师，负责构建多模态和AI agent能力的评估。

新的犯罪工具包

随着前沿AI模型变得更加强大，AI驱动的犯罪也变得越来越复杂，越来越难以检测。我们的关注点集中在AI系统快速发展的三个关键能力上：

• 多模态生成： 现在可以用极少的精力生成逼真的音频、视频和图像——这使得欺骗和滥用更具说服力。这可能让犯罪分子能够生成用于欺骗和冒充的合成内容，包括涉及与受害者动态互动的情境。

• 高级规划与推理： 可以与网络搜索结合，帮助设计和调整复杂的攻击策略。

• AI Agent： 能够自主采取行动的AI系统，可能使得大规模、持续性的犯罪活动无需人工监督或干预即可进行。

除了这些能力之外，消费市场的广泛普及可能会创造新的攻击面，并降低犯罪使用的门槛。例如，公司正在使用压缩技术开发（有时是开源）足够小、可以在智能手机等轻量级设备上运行的模型。随着这些消费级应用的持续增长，犯罪利用的可能性也很可能随之增长。

我们的方法

广义上，我们将工作分为三个领域：风险建模、技术研究和干预措施，以应对这一挑战。通过与国家安全合作伙伴以及英国政府（HMG）内的严重犯罪专家积极合作，我们的研究得到了加强，他们的专业知识和见解直接指导了我们的方法。

风险建模

我们首先提出两个基本问题：AI目前如何增强犯罪工具包？未来它又能做什么？

我们已开始识别恶意使用的领域，并基于上述新兴能力，确定AI可能放大犯罪成功率的关键阶段。这包括可能增强犯罪策略的能力，也包括AI可用于加速、自动化犯罪尝试并将其扩展到更广泛目标的方式。

技术研究

我们通过技术研究，实证评估AI系统支持犯罪滥用的潜力，并判断是否已达到转折点。这包括：

• 多模态评估： 我们的评估是对模型提升犯罪活动能力的正式测量。我们正在一个开创性的评估套件基础上进行构建，以测试AI在跨模态犯罪领域的能力。

• 衍生应用分析： 我们还计划扩展我们的评估套件，以测试衍生消费应用（如内容编辑和生成应用）的安全性，以便我们能够快速响应新的创新和发布。

• 使用数据分析： 我们构建了管道，用于分析匿名化的开源使用数据，以识别潜在的滥用模式和利用尝试。这有助于我们了解AI能力是如何被滥用的，以及现有防护措施是如何被绕过的。

• 红队测试： 我们与领域专家进行非正式和正式的红队测试，模拟犯罪者与AI系统的交互。这些演练有助于识别新的攻击向量，并评估模型响应带来的提升，从而为我们的自动化评估提供信息。

干预措施

应对AI的犯罪滥用，需要随着时间的推移采取一系列政策、技术和操作层面的应对措施。

我们正在努力建立支持未来决策所需的证据基础。这包括探索模型和部署层面的潜在干预措施，评估系统设计选择如何影响风险，并与政府内外的利益相关方进行接触。

鉴于技术变革的速度，任何单一方法都不太可能足够。我们的目标是帮助确保应对措施是适度的、前瞻性的，并基于技术理解。

加入我们

我们希望打造英国领先的力量，以理解和减少AI的犯罪滥用。如果你想与我们一同应对这一挑战，我们正在招聘！

以下职位正在开放申请：

• 犯罪滥用工作流负责人

• 研究科学家/研究工程师（多模态和AI Agent评估）

或者，查看我们的全部职位空缺。