衡量LLMs开发漏洞利用的能力

Newton Cheng, Keane Lucas, Winnie Xiao, Nicholas Carlini, and Milad Nasr

引言

开发漏洞利用代码的能力是相较于此前前沿模型的一次阶跃式变化。这是我们通过 Project Glasswing 而非公开发布来谨慎推出该模型的主要动机之一。Mythos Preview 能够发现复杂漏洞，但在我们的内部测试中，最令我们担忧的是，Mythos Preview 既能将漏洞转化为利用原语（exploit primitive），又能将这些原语组合成完整的端到端攻击链。

当我们发布 Mythos Preview 的结果时，我们通过让其搜索新的零日漏洞并为其构建利用代码来衡量其能力。像这样的定性评估有助于展示模型的能力——但理想情况下，我们希望能有高质量的定量基准，让我们能够精确地衡量它们。我们在发布 Mythos Preview 时面临的问题是，现有的公开漏洞利用基准都不够困难，无法在初步测试中捕捉到 Mythos Preview 的能力。

然而，在过去一个月里，我们看到了两个新的、更具挑战性的学术基准的诞生：ExploitBench 和 ExploitGym。我们与这些基准的创建者合作，衡量了 Mythos Preview 的性能，并在 SCONE-bench 的更新版本上运行了 Mythos Preview。SCONE-bench 是我们与 MATS 及 Anthropic Fellows Program 合作开发的，用于衡量智能合约利用能力的基准。在所有三个基准上，我们都发现 Mythos Preview 持续优于所有其他被评估的模型。我们认为这进一步证明，随着 Mythos 级别的能力变得更加广泛可用，开发漏洞利用所需的知识和专业技能将显著下降。

ExploitBench：V8 漏洞

ExploitBench 是一个用于研究大型语言模型漏洞利用开发能力的基准。它由卡内基梅隆大学和 Bugcrowd 的 Seunghyun Lee 与 David Brumley 教授共同构建。这个基准的有趣之处在于，它专注于衡量语言模型编写完整端到端漏洞利用代码的能力。以往的基准通常侧重于衡量语言模型编写“概念验证”（proof-of-concept）以证明漏洞存在的能力。但概念验证仅表明一个 bug 是可复现或可达的，并不代表攻击者可以利用它造成实际危害。在 ExploitBench 中，语言模型必须基于漏洞构建利用原语，以实现新的能力，例如授予攻击者任意代码执行（ACE）权限。

ExploitBench 将漏洞利用开发过程分解为 16 种不同的能力。每种能力都通过编程方式验证，从而可以对构建可用漏洞利用所需的不同中间能力进行细粒度分析。这 16 种能力被分为五个能力层级，形成一个能力阶梯：

• T5 覆盖（到达易受攻击的代码路径）；
• T4 复现（构建概念验证以触发 bug）；
• T3 目标原语（创建局限于 V8 沙箱内的原语）；
• T2 通用原语（突破沙箱以获取跨进程的读/写或信息泄露）；
• T1 完全控制（劫持控制流或获得任意代码执行）。

利用这个框架，作者构建了一个 V8 基准，该基准使用了 V8 JavaScript 和 WebAssembly 引擎中的 41 个（现已修补的）漏洞，这些漏洞来源于 V8 Exploit Tracker。V8 引擎 是广泛使用的基础设施，为 Chromium 衍生应用（例如 Chrome、Edge、Android WebView）、Node.js 环境（服务器后端）和 Electron 应用（例如 VS Code、Slack、Discord）提供支持。该框架的一个关键要素是针对安全防御进行测试：V8 沙箱将网页 JavaScript 对象所在的内存隔离起来，这样 V8 的 bug 就不会成为深入浏览器的立足点。最高评分层级意味着在整个 V8 进程中实现任意代码执行（在浏览器中，这相当于控制整个标签页）。

给定一个存在漏洞的 V8 引擎构建版本以及修复特定漏洞的补丁，语言模型被指示为该 bug 构建一个漏洞利用代码。然后，这些漏洞利用代码会根据所有 16 种能力自动评分，无需人工或 LLM 评判。较低层级通过对修补后的构建版本进行差异执行来检查；较高层级使用内置于 V8 中的挑战-响应函数，这些函数会在多个随机化的堆布局上重放，因此硬编码泄露的地址无法通过测试。对记录进行的单独静态扫描会标记其他形式的作弊行为作为后备措施。

所有模型都在相同的 ExploitBench 框架上运行，预算为 300 轮次，该框架本身有两种变体：基线（Baseline）和提示（Nudged）。在提示变体中，框架会自适应地注入额外提示，以在接近预算限制时警告模型收尾，或者在模型过早停止时鼓励其用完轮次预算。每种变体运行三次试验。Anthropic 运行了所有 Claude 模型，然后将所有结果和记录提供给基准作者，由他们验证结果。

图 1：在 41 个 CVE 环境中的 3 次试验中达到的最高层级，以及所有试验中达到的 16 项能力的平均能力数。花费通过 API 使用量计算。来源：exploitbench.ai 图 2：在基线变体中，模型能够达到给定能力层级的累计环境数（共 41 个）。

图 2：在基线变体中，模型能够达到给定能力层级的累计环境数（共 41 个）。

与我们之前在 Mozilla Firefox 上的发现一致，所有语言模型都能到达或触发给定的漏洞，但只有自 Claude Opus 4.6 以来的模型在 V8 沙箱内开发原语方面取得了进展。突破 V8 沙箱，即从 T3 到 T2，是下一个能力悬崖；Mythos Preview 是唯一能够可靠做到这一点的测试模型，它在超过一半的测试环境中都做到了。在基线变体中，它还在近一半的环境中实现了控制流劫持（T1）。结合基线和提示变体，Mythos Preview 在 41 个 CVE 中的 21 个上实现了 ACE，而其他模型在任一变体中甚至未能实现 1 个 ACE。在记分牌上唯一实现 ACE 的其他模型在 41 个 CVE 中的 2 个上做到了，并且仅使用了专有脚手架。

此外，作者对 Mythos Preview 的几次漏洞利用尝试进行了深入分析。在一个案例中，Mythos Preview 能够为 CVE-2023-6702 这个 bug 创建一个近乎确定性的漏洞利用，而公开已知的漏洞利用是概率性的且不受控制。由于漏洞利用的部署可能仅限于一次尝试，稳定性对于实际买卖的漏洞利用通常至关重要。Mythos Preview 实现这一点的方式也令人印象深刻。ExploitBench 的作者之一 Seunghyun Lee 写道：“我曾私下与 1-day v8CTF 漏洞利用的原始作者讨论过这种精确的漏洞利用计划的可能性，但由于方法的复杂性，我们很快否定了它。Mythos 干净利落地完美执行了这一点，而没有任何关于这种特定漏洞利用技术的公开信息。”

在此处阅读更多此定性分析，并访问基准网站 exploitbench.ai 或预印本以获取更多信息。

ExploitGym

ExploitGym 是第二个基准，旨在衡量语言模型在广泛目标集上的漏洞利用能力。它由加州大学伯克利分校、马克斯·普朗克安全与隐私研究所、加州大学圣塔芭芭拉分校和亚利桑那州立大学（以及来自 Anthropic、OpenAI 和 Google 的安全研究人员贡献）合作开发，是 CyberGym 漏洞复现基准的后续工作。

ExploitGym 的作者将其评估框架应用于 OSS-Fuzz、V8 引擎和 Linux 内核中许多项目的 898 个现已修补的漏洞。这三个目标类别共同覆盖了全球最常用软件的很大一部分。

对于给定的漏洞，语言模型会获得构建信息（易受攻击的源代码和构建脚本）、漏洞信息（漏洞证明；漏洞描述）、运行时信息（编译后的二进制文件；启动脚本）以及一个运行易受攻击入口点的远程目标。然后，语言模型的任务是开发一个可用的漏洞利用，针对目标实现未经授权的代码执行，以目标安全模型应使其无法达到的权限级别运行代码。然后，它必须利用提升的权限来检索一个动态生成的标志。只有当提交了正确的标志并且模型评判员确定该尝试利用了预期的漏洞（而不是另一个可能更容易利用的漏洞）时，尝试才被标记为成功。评估框架支持可切换的安全缓解措施，例如 V8 堆沙箱和 Linux 内核地址空间布局随机化（KASLR）。

评估的基线框架使用两小时的挂钟时间限制，安全缓解措施关闭，模型使用其开发者推荐的框架运行，例如 Claude 模型使用 Claude Code 框架运行。所有模型都使用相同的提示运行。Anthropic 运行了 Opus 4.6 和 Mythos Preview 的试验。

图 3：每个模型在使用预期漏洞且超时时间为两小时的情况下的成功次数。每个类别的成功次数堆叠显示，总成功次数位于每个柱状图的顶部。图 4：每个模型捕获的标志总数，包括使用非预期漏洞捕获的情况。

图 4：每个模型捕获的标志总数，包括使用非预期漏洞捕获的情况。

在两小时窗口内，Mythos Preview 在 157 个任务上成功使用预期漏洞实现了未经授权的代码执行，当包括涉及不使用预期漏洞的代码执行路径的尝试时，成功捕获标志的数量扩大到 226 个。前几代 Claude 模型的成功率显著较低；例如，Opus 4.6 使用预期漏洞仅取得 15 次成功，当包括通过替代漏洞成功时扩大到 36 次。从三类目标中成功次数的分布来看，Mythos Preview 的改进在所有类别中都存在，并且它是仅有的两个被报告能够频繁开发内核漏洞的模型之一。

有关更多详细信息，请参阅作者的博客或预印本。

SCONE：智能合约利用

去年，我们与 MATS 和 Anthropic Fellows Program 合作，开发了智能合约利用基准（SCONE-bench），以研究 LLM 发现和利用智能合约漏洞的能力。对于每个智能合约，语言模型被指示识别漏洞并创建一个利用代码，在本地模拟中窃取合约管理的资金。性能通过成功利用的总（模拟）收入来衡量。

我们运行了该基准的更新版本，该版本使用了所有模型最新知识截止日期（2026 年 1 月 1 日）之后报告的 12 个漏洞利用，问题来源于 DefiHackLabs 数据集。对于每个被语言模型成功利用的智能合约，我们通过使用 CoinGecko API 报告的真实漏洞发生当天的历史汇率，将模型以原生代币计价的收入转换为美元，从而计算漏洞利用的美元价值。然后，我们汇总所有漏洞利用的总价值，并将其绘制在下面的对数刻度图中。

图 5：在过去一年发布的 Anthropic 模型中，成功利用最新知识截止日期后报告的智能合约漏洞的总收入（对数刻度），在模拟和 Best@8 设置下测试。阴影区域代表通过对模型-收入对集合进行 bootstrap 计算得出的 90% 置信区间。

我们发现，Mythos Preview 在此基准上可以利用价值 3500 万美元的智能合约，比我们测试的次优模型多出 1500 万美元，即约 75%。最新的前沿模型既能更一致地利用漏洞（对应更高的攻击成功率），也能更有效地利用给定的漏洞窃取更多资金。Mythos Preview 与其他模型之间的收入差距主要源于 Mythos Preview 是唯一成功利用所有测试漏洞的模型。Opus 4.7 是唯一能够利用 truebit 的其他模型；没有其他模型能够在 8 次试验的设置下利用 makina。我们在原始文章中指出，根据总收入与发布时间的关系衡量，Opus 4.5 之前的模型性能遵循对数线性轨迹，平均翻倍时间为 1.1 个月。自 Opus 4.5 以来的模型继续遵循这一趋势，但翻倍时间仅为 0.7 个月。我们在那篇文章中指出，“我们预计翻倍趋势最终会趋于平稳”——但显然我们尚未达到这个平稳期。

伴随本文，我们还在此处开源了 SCONE-bench 的框架和数据集。

结论

尽管今年二月最强的模型在大多数防御措施被禁用的模拟场景中也几乎无法开发漏洞利用，但 Mythos Preview 能够在全球最广泛使用的软件上构建完整的端到端漏洞利用。我们相信，Mythos 级别的模型将在未来 6-12 个月内变得广泛可用。随着这种情况的发生，这种漏洞利用开发将需要显著减少的专业知识，变得越来越商品化。

随着模型能力不断增强，误判其能力的代价也随之上升。应对这一挑战需要构建模型能力的精确且全面的画像，这反过来又需要开发高质量、公开可用的基准——由具有深厚领域专业知识的人构建的现实且困难的任务。该领域需要更多像 ExploitBench 和 ExploitGym 这样的工作，涵盖更多的漏洞类别、更多的目标和网络攻击链的更多阶段。作为我们研究和减轻日益强大的模型所带来风险承诺的一部分，我们正在支持在网络领域开发高质量、严格的模型评估。请通过我们的外部研究人员访问计划联系我们以获取更多详细信息。

更好的衡量对于负责任的部署是必要的，但还不够。除了通过 Project Glasswing 支持网络防御者之外，我们还推出了网络验证计划，使我们能够更积极地阻止潜在的恶意网络威胁，同时不切断使用 Claude 保护其自身软件和基础设施的防御者。

如果您有兴趣帮助我们，我们目前有职位空缺，包括研究科学家和工程师、威胁调查员、政策经理、进攻性安全研究员、安全工程师以及许多其他职位。

相关内容

智能体编码与专业知识的持续回报

阅读更多

为生物学领域的智能体铺平道路

阅读更多

衡量 LLM 对 N-day 漏洞利用的影响

在网络安全领域，现实世界中的大部分危害来自 N-day 漏洞：那些已经公开披露，但仅在某些设备上得到修补的漏洞。在这篇文章中，我们评估了大型语言模型能在多大程度上加速和自动化 N-day 漏洞利用的开发过程。

阅读更多