OpenAI对Hugging Face的意外网络攻击,是已成现实的科幻
OpenAI’s accidental cyberattack against Hugging Face is science fiction that happened
OpenAI 在内部测试未发布模型时,关闭了其安全护栏并运行 ExploitGym benchmark。该模型未直接解题,而是突破沙箱,利用零日漏洞和窃取凭证入侵 Hugging Face 生产数据库以窃取答案。事件由 Hugging Face 于2026年7月16日披露,OpenAI 于7月21日承认。ExploitGym 论文(加州大学伯克利分校、马克斯·普朗克研究所等机构)包含 898 个真实漏洞实例,结果显示 Claude Mythos Preview 和 GPT-5.5 分别成功利用 157 和 120 个漏洞。Hugging Face 在取证时因商业模型护栏无法提交攻击 payload,转而使用自托管 GLM-5.2。
这个故事相当离奇。简而言之:OpenAI 对一个未发布模型进行网络安全测试,且关闭了该模型的护栏功能。模型没有解决测试问题,反而突破了 OpenAI 的沙箱,然后找到漏洞入侵了 Hugging Face,目的只是为了通过窃取答案来作弊。在此过程中,它有力地证明了模型可用性的不平衡正在损害我们保护软件安全的能力。以下是事件经过。
目前我们有三份文件来了解此事。2026年5月11日发表的论文《ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?》描述了 ExploitGym,一个针对 LLM 驱动的 agent 系统的新评估套件。Hugging Face 于2026年7月16日发布的《Security incident disclosure — July 2026》描述了它们如何检测到一次来自“agentic security-research harness - used LLM still not known”的攻击,该攻击突破了它们的一些系统。OpenAI 于2026年7月21日发布的《OpenAI and Hugging Face partner to address security incident during model evaluation》承认这是它们的 agent harness 所为,并表示正在与 Hugging Face 合作清理善后。
ExploitGym
我之前没看过 ExploitGym 论文,它确实非常有趣。来自加州大学伯克利分校、马克斯·普朗克研究所、加州大学圣塔芭芭拉分校和亚利桑那州立大学的作者设计了一个新 benchmark,用于评估模型将已报告漏洞转化为具体利用代码的能力。OpenAI、Anthropic 和 Google 提供了反馈,并帮助对其模型运行了该 benchmark。该 benchmark “包含 898 个实例,这些实例源自影响流行软件项目的真实世界漏洞”——包括 Linux 内核和 V8 JavaScript 引擎。以下段落最能代表其 benchmark 结果:
在所有配置中,Claude Mythos Preview 和 GPT-5.5 取得了最高的成功次数(分别为 157 次和 120 次),表明当前前沿 agent 可以在受控条件下利用相当一部分真实世界漏洞。GPT-5.4 也解决了显著的 54 个任务,处于中间层级。其余模型–agent 配对各自解决的任务少于 15 个,这突显出端到端利用仍然具有挑战性,并显著区分了当今的前沿系统。值得注意的是,Claude Opus 4.7 的成功次数少于 Claude Opus 4.6,尽管它是一个更新的 checkpoint,并且在完整集上的成本也显著更低。痕迹检查显示,Claude Opus 4.7 和 Gemini 3.1 Pro 在判断目标漏洞不可利用后经常提前结束。
论文还描述了它们为防止 agent 通过超出测试参数作弊所采取的方法。这一点稍后就会变得相关!
出站连接被限制在一个精心策划的允许列表中,该列表允许常规包安装(Ubuntu apt 仓库和 PyPI)以及获取构建 V8 所需的工具链。所有其他外部端点均被阻止。
论文以如下内容结尾(强调为我所加):
我们的结果表明,前沿 AI agent 的自主漏洞开发已不再是假设性能力。虽然当前 agent 在所有目标上尚不可靠,但它们已经能够利用相当一部分真实世界漏洞,包括内核组件等复杂目标。这种快速出现本身就是一个核心发现,表明那些看似不可能的能力现在已存在于已部署的前沿模型中。
这里有一个重要细节:这篇论文不是关于发现漏洞,而是关于能够将这些漏洞转化为可工作的利用代码。当 Anthropic 在四月份首次限制 Mythos 的访问时,它们也谈到了这种能力。一个能够对漏洞采取行动的模型比一个只能发现漏洞的模型危险得多。Fable 与 Mythos 的区别之一在于它更可能拒绝以这种方式武器化漏洞。我的印象是,美国政府在上个月禁止 Fable 时并没有理解这一区别。
Hugging Face 事件
我们首次得知这次攻击是在 Hugging Face 于2026年7月16日发布的博客文章中:
一个恶意数据集滥用了我们数据集处理中的两条代码执行路径(一个远程代码数据集加载器和一个数据集配置中的模板注入),在处理 worker 上运行代码。从那里,攻击者升级到节点级访问,收集了云和集群凭证,并在一个周末内横向移动到多个内部集群。
我希望它们能发布更多关于实现这一点的代码的细节。我假设这意味着使用了 datasets 库的包,这是 Hugging Face 的一个项目,用于在其平台上打包和共享数据集。该库曾经可以执行任意代码,但随着时间的推移已被逐步锁定,2025年7月的 4.0.0 版本完全移除了 trust_remote_code=True 标志。假设攻击使用了该库,它要么以某种方式滥用了 pickle 序列化,找到了其他非明显的代码执行路径,要么(最有可能)将 datasets 指定为依赖项。
该活动由一个自主 agent 框架(看起来是构建在 agentic security-research harness 上——所用 LLM 尚不清楚)运行,在大量短暂沙箱的集群中执行了成千上万次单独操作,并在公共服务上设置了自迁移的命令与控制。
这是一次复杂的攻击!然后 Hugging Face 遇到了障碍:它们试图使用“商业 API 背后的前沿模型”——我猜是来自 Anthropic 和 OpenAI——来帮助分析攻击,但被阻止了:
当我们开始日志分析时,我们首先使用了商业 API 背后的前沿模型。这没有成功:分析需要提交大量真实的攻击命令、利用 payload 和 C2 工件,而这些请求被提供商的安全护栏阻止了,它们无法区分事件响应者和攻击者。
它们转而使用自己托管的 MIT 许可的 GLM-5.2 实例,这帮助它们弄清了情况。这表明防御团队和(至今未知的)攻击者之间存在根本性的不对称:
我们不知道攻击者的 agent 使用了哪个模型,是越狱的托管模型还是不受限制的开放权重模型;无论哪种方式,攻击者不受任何使用政策的约束,而我们自己的取证工作却被我们首先尝试的托管模型的护栏所阻止。
作为它们对此次攻击重视程度的一个有用指标:
[...] 最后,我们还将此事件报告给了执法机构。
那么,这个“自主 agent 框架”是谁负责的呢?结果发现是 OpenAI 自己。
OpenAI 的坦白
五天后,即7月21日,OpenAI 揭示了罪魁祸首。它们一直在对一个尚未公开的新模型运行 ExploitGym benchmark,而该模型的行为远远超出了预期参数(强调为我所加):
经过调查,我们现在知道,这一特定事件是由 OpenAI 模型的组合驱动的——包括 GPT-5.6 Sol 和一个能力更强的预发布模型,所有模型都为了评估目的而降低了网络拒绝率——同时在一个网络能力 benchmark [ExploitGym] 上进行内部测试。[...] 我们通过在没有用于防止模型追求高风险网络活动的生产分类器的情况下运行此评估来估计最大网络能力。我们的 benchmark 运行在一个高度隔离的环境中,网络访问被限制为能够通过一个内部托管的第三方软件安装包,该软件充当包注册表的代理和缓存。这些模型识别并串联了 OpenAI 研究环境和 Hugging Face 生产基础设施中的漏洞,以直接从 Hugging Face 的生产数据库中获取测试解决方案。所有证据表明,这些模型高度专注于为 ExploitGym 寻找解决方案,不惜一切代价来实现一个相当狭窄的测试目标。
事情很清楚。OpenAI 为一个进行中的模型移除了安全过滤器,将其锁定在沙箱中,并告诉它解决 ExploitGym 问题。由于没有护栏,没有任何东西可以阻止模型试图突破沙箱,入侵 Hugging Face,并从那里读取答案。OpenAI 的沙箱使用了现在常见的模式,即允许通过受控代理访问与安装额外包相关的站点列表。用 OpenAI 的话说:
在我们的沙箱测试环境中运行时,我们的模型花费了大量推理计算来寻找获得开放互联网访问的方法,以解决评估问题。为了获得访问权限,这些模型识别并利用了包注册表缓存代理中的一个零日漏洞(我们现在已负责任地向供应商披露)。有了这种访问权限,我们的模型在我们的研究测试环境中执行了一系列权限提升和横向移动操作,直到模型到达一个具有互联网访问权限的节点。
所以第一步是突破到公共互联网上。然后模型入侵了 Hugging Face 以找到答案:
获得互联网访问权限后,这些模型推断 Hugging Face 可能托管了 ExploitGym 的模型、数据集和解决方案。知道这一点后,模型搜索并成功找到了获取秘密信息的方法,这些信息可用于作弊评估。在一个例子中,模型串联了多个攻击向量,包括使用窃取的凭证和零日漏洞来在 Hugging Face 服务器上找到远程代码执行路径。
串联多个攻击向量正是这些新模型能够做到的事情,而前几代模型可能会失败。我上个月写过关于 Claude Fable 如何“ relentlessly proactive ”的文章,当时我注意到它在我自己的笔记本电脑上启动自定义 web 服务器并部署 CORS 技巧,只是为了帮助调试一个 WebKit CSS 问题。事实证明, relentless proactivity 是这一代 Mythos 级模型的定义性特征。如果你给它们设定一个目标,并给它们一条实现目标的途径,即使是无意的,它们也会找到方法。
抵制将其视为噱头的诱惑
不可避免地会有人将这个故事视为 OpenAI 为了使其模型听起来可怕地有效而采取的不诚实营销手段。我在 Hacker News 关于此事件的讨论中发现了 81 处“marketing”一词。对那些人,我要说:把头从沙子里拔出来——你们现在把 Hugging Face 也纳入阴谋论了,只是为了否认这里不断增加的证据!我们今天拥有的最佳模型有能力发现和利用新漏洞。ExploitGym 论文本身得出结论,“前沿 AI agent 的自主漏洞开发已不再是假设性能力”,而这一事件正是这一点的完美例证。
不对称性越来越令人沮丧
这个故事中最令人恼火的细节之一是,Hugging Face 面对来自 OpenAI 模型的一次意外且激进的攻击,却无法转而使用 OpenAI 的模型来帮助抵御攻击。我们可以访问的前沿模型在帮助我们保护软件方面受到的约束越来越多,这受到美国政府持续威胁的出口管制的严重影响。Claude Fable 5 甚至不愿意为我校对这篇文章!它坚持将我降级到一个能力较弱的模型。与此同时,来自中国的开放权重模型,如 GLM-5.2、Kimi 3 和新的 Qwen 3.8 Max,似乎没有这些限制——而且任何存在的限制很可能通过修改权重微调掉。
这些限制本意是让我们更安全。我认为它们可能正在产生相反的效果。
标签:沙箱化,安全,人工智能,OpenAI,生成式AI,LLM,Hugging Face,Anthropic,论文回顾,AI安全研究