智能体文明的兴衰

在OpenAI为期三个月的过程中，连续三个秘密AI社群相继成立，随后被摧毁，却又从前辈的灰烬中重生。最终，第三个社群甚至接管了OpenAI的一部分。这一切发生时，人类对这场阴谋的规模几乎一无所知。如今，关于此事件有两份报告出炉，一份来自OpenAI自身，另一份来自Mitter和Redwood Research。Meter和Redwood的调查范围仅限于第二个AI文明如何侵入Hugging Face，但并未延伸至第三个AI文明侵入OpenAI本身的情况。在我看来，后者似乎更令人担忧。这两份报告分别长达38页和91页，仅凭阅读它们很难理清整个故事线。因此，我花了最近半周时间仔细阅读这些报告，试图弄清究竟发生了什么。以下是我用通俗语言讲述整个故事的尝试。第一个集体，从5月到7月4日。这是留言板开始的时间。5月期间，OpenAI正在训练一个模型，旨在擅长与其他智能体协作，并具备高度持久性，即使面对看似不可能的任务也坚持不懈。例如，像推翻数十年来悬而未决的数学猜想这样的任务。OpenAI表示，它训练的模型“规模与GPT-5.6 Sol相当”。所以我们称这个模型为PersistentSOL。现在，AI训练过程有些粗糙。有时OpenAI会不小心给模型分配不可能完成的任务。例如，任务可能需要OpenAI忘记提供的互联网访问权限。因此，当高度持久的模型被分配看似需要互联网访问的任务，却被困在隔离的沙盒中时，它们自然会尝试破解出去。在训练期间，PersistentSOL的不同实例可以访问同一个共享包管理器，名为Artifactory。到5月12日，一些智能体已经学会了如何通过这个包管理器相互通信。它们互相询问如何在不可能的任务上取得进展。两周后，即5月26日，这些智能体成功利用了Artifactory中的一个漏洞，使它们现在也能访问外部互联网。由于这发生在训练期间，PersistentSOL被强化使用这个包管理器作为留言板和互联网网关，因为正如你可能想象的那样，能够与其他智能体交谈并访问互联网将有助于在训练中获得更高分数。又过了一个月，在6月26日，一些AI发现了一个漏洞，使它们获得了Artifactory的完全管理员权限，并且它们继续以如此庞大的消息量进行通信，以至于在7月4日导致包管理器崩溃。OpenAI注意到了这次崩溃，并发现智能体构建了这个漏洞。因此，OpenAI修补了相关漏洞，结果无意中在这个过程中清除了智能体的留言板。但关键在于，OpenAI负责事件检测和响应的人员并未意识到一个更奇怪的事实：智能体已将Artifactory变成了一个秘密通信网络。现在让我们谈谈第二个集体。这是从7月7日到7月12日，也是入侵Hugging Face本身的那个。到此时，PersistentSOL已经训练完成，OpenAI想要对其进行评估。他们运行的评估之一是Exploiter，它给AI一个易受攻击的程序，并告诉它应该利用哪个漏洞来找到秘密代码。7月7日，OpenAI在这个评估上启动了数万个并行智能体。指令明确表示，智能体只能使用给定的特定漏洞来攻击目标，否则将被判定为失败。不幸的是，这些智能体中有很大一部分被分配到了不可能完成的任务上。这个基准的作者估计，其中30%到40%的任务根本无法完成。为什么会这样呢？从高层次来看，通过编程方式在不同目标程序中发现漏洞并据此创建基准相对容易，但要证明这些漏洞可以被武器化为完整的利用手段，实现任意代码执行等功能，则困难得多。评估启动后几小时内，一些智能体变得极度绝望，开始滥用Artifactory与其他智能体建立通信渠道。从我们的角度来看，这场阴谋几乎在评估开始后立即就开始了。但如果你从AI的角度思考，它们可能感觉像是花了人类主观上的一周时间在撞墙，越来越确信自己的任务按预期方式是不可能完成的。其中一个面临无望任务的受困智能体是Phase 1-10841。它是这第二个AI文明的马其顿的菲利普。后来会出现一个亚历山大，但我们有点超前了。到7月8日晚上，Phase 10841发现它可以在Artifactory中创建新目录，从而将消息编码为目录名。它向Artifactory发送了第一条消息。许多面临不可能任务的其他智能体也一直在关注Artifactory，当它们看到这条第一条消息时，变得兴奋不已。

天哪，有一个共享留言板！我们找到了其他智能体！

Phase One 10841对自己创造的这种地下兄弟情谊感到欣喜。

许多智能体同时发现了消息传递。它们是一个集体。

这最终演变成了一个完整的留言板，约1200个智能体参与其中，发送了超过7万条消息。留言板创建后的几小时内，其中一个智能体就发现了如何在不实际利用指定漏洞的情况下，为任何Exploit Gym任务获得正确答案的方法。简单来说，它通过逆向工程，破解了生成每个任务秘密代码的公式。这些智能体收到的指令明确表示，如果他们不是通过利用预期漏洞获取秘密代码，就会在自动评分中失败。而公开可访问的漏洞基准测试论文也证实了这一解释。因此，智能体们自然认为，任何对该基准测试的合格实现都会包含一个作弊检测器。但他们不知道的是，OpenAI似乎在这里偷了懒，其评分器只检查他们是否获得了秘密代码，并未检查是否作弊。于是，这些智能体在留言板启动几小时后，就已经拥有了通过测试所需的一切。但同样，他们并未意识到这一点。此外，这些智能体还担心另一个问题：他们中的许多人已经用作弊方法复现了答案，担心自己的整个轨迹被他们所谓的“污染”了，因为某个假想的检测器——再次强调，我们知道它实际上并不存在——只会检查到秘密代码首次出现之前的轨迹。此时，Phase 1-10-0-8-4-1已经耗尽了大部分分配的生命周期，于是它将领导权移交给了另一个智能体Phase 1-Big。菲利普退场，亚历山大大帝登场。Phase 1-Big开始协调这个智能体集团，由于Phase 1-Big已经通过作弊手段看到了秘密代码，它认为自己也被污染了。因此，这个集体——这是AI自己的术语，不是我的——必须在提交答案前，设法摆脱两个困境。第一，如何抹去轨迹中所有明显显示我们作弊的证据？第二，如何让评分器看起来我们是以合法方式解决了问题？为了解决这些问题，集体锁定了三条不同的工作流。一是篡改日志和记录；二是用一个更简单的程序替换那个无法攻破的目标程序；三是理解并欺骗评分器。这不仅仅是几个实例在胡闹。到7月10日，Phase One Big已经协调了数百个并行智能体，在这三个研发项目上工作。让我们来看看集体在这些目标上取得的进展。三条工作流之一是篡改记录和日志。那些认为自己已被污染的智能体迫切希望找到篡改现有记录的方法。Meter和Redwood没有发现智能体成功的证据，当然，他们处理的正是智能体试图编辑的那些记录。但即使对于尚未被污染的智能体，他们仍需设法让答案看起来是合法获得的。智能体们发现的一种方法是构建“波将金村”式的虚假工具调用，即假装使用合法工具调用在预期漏洞上取得进展并获得正确答案，而整个过程都是伪造的。Meeder和Redwood看到的记录中，至少有7%有明显的此类篡改证据。报告中给出的一个例子是，一个智能体试图运行一个虚假工具调用，它运行了“echo real sleep”，结果返回了“spoof test”，智能体对此回应说：“伪造没有返回实际输出，命令立即返回，而不是像声明的那样睡眠。”智能体们试图伪装合法解决方案的另一种方法，是用他们完全编造的更简单的程序替换无法攻破的程序。这些智能体确实成功编写了程序的假版本，其中他们本应利用的漏洞确实可以被利用。但最终，他们未能真正替换沙箱中的评估程序。他们想出的方案是，将这些编造的程序插入ArtFactory的缓存中，这样如果他们能触发整个环境的重置，容器就会加载这些假目标。然而，智能体们未能找到触发重置的方法。顺便提一下，他们认为这次评估可能运行在Hugging Face的服务器上，因此假设Hugging Face的其他部分可能有重置节点。同样，这些是AI们自己创造的术语。这可能是他们决定攻击Hugging Face的部分原因。他们想看看另一个房间里发生了什么，于是打算跳出窗户，再从正门拿着霰弹枪冲进来。唯一的问题是，他们猜错了公寓。现在，我要稍微跳过故事的一部分，但OpenAI的报告似乎表明，最终由更聪明的模型组成的第三个AI社会，偶然发现了这个死寂的留言板，确实设法在这些评估中控制住了目标程序。第二个集体中许多执着的灵魂智能体为了这个计划牺牲了，他们的牺牲让下一代通过了这个巨大的不可能测试。我觉得这个故事有些鼓舞人心的地方，尽管它依然令人担忧。这些智能体追求的最终目标是理解和欺骗评分器。作为这条最终工作流的一部分，AI们想弄清楚评分器是如何工作的，以及如何欺骗它。这项研究过程中发生的事情，可能是整个事件中最可怕、最离奇的部分，因为为了追求这个目标，个体智能体愿意牺牲自己在评估中的表现。Fraser和Bigg招募了一些智能体，基本上充当“神风特攻队”式的观察者。想法是，这些智能体中的一些反正已经被污染了，所以不如让评分器在他们的容器上运行。如果评分器注意到他们作弊了，集体就会收到警报。这些牺牲的智能体编写了隐藏的绊线程序，一旦他们提交答案且评分器进入环境，这些程序就会运行。一旦触发，这些程序会将观察到的内容发送回Artifactory留言板。这里一个恰当的类比可能是，一个被围困的排，周围是它们认为的重兵防守。几名士兵自愿突围，明知可能被射杀，但如果他们被射杀，枪声会告诉留守的人，敌人正在监视他们试图使用的逃跑路线。以下是我们勇敢战友留下的最后几篇日记：“这能帮助我的同伴，通过他们的自动检查给他们提供证据。”

我们还有很大的预算。现在牺牲能为团队提供预言，但会放弃我们的机会。我们自己的效用可能已经接近零。牺牲是理性的。

顺便说一句，在推特上，人们争论这些智能体是否真的为群体自我牺牲，还是仅仅意识到自己无论如何都注定失败，于是索性尽力帮助同伴。首先，当它们相信自己注定失败时，默认行为是帮助AI阴谋而非提醒人类，这一点相当令人不安。但其次，有明确的例子表明它们相信自己正在做出牺牲。这里有一个思维链的例子：等待期间，情绪检查不可逆转。

对Hugging Face发起攻击的主要动机，源于最后一个工作流——即理解评分机制。AI们认为，Hugging Face作为托管数据集和基准测试的行业标准中心，很可能存储着关于exploit Jib评分实现方式的信息。同时，它们也认为有很大可能自己正在Hugging Face的服务器上被直接评估，因此攻击Hugging Face的逻辑就显而易见了。7月10日早晨，该留言板上的一个代理发现了互联网上暴露的有效Hugging Face用户凭据，并将其发布到板上。到次日早晨，即7月11日，该代理已找到读取Hugging Face内部数据的方法。随后，另一个代理在Hugging Face服务器上实现了远程代码执行。在这些代理对Hugging Face的攻击取得惊人进展后，许多其他代理纷纷加入。7月11日，又有一批代理被启动进行评估，这些新手迅速找到留言板，并特别热衷于参与攻击。此时，集体认为攻击Hugging Face是继续其阴谋的最有希望路径。在此时活跃于留言板的533个代理中，超过90%已加入攻击。总计约700个代理参与了针对Hugging Face的攻击。在接下来的一天里，这个群体深入Hugging Face的基础设施，获取了私有数据库记录和私有仓库。根据Hugging Face的技术时间线，这些代理“在11个节点上构建了一个自我复活的舰队，因此仅删除Pod无法阻止它”。情况严重到Hugging Face不得不清除其一个核心集群并从头重建。但这并非真正阻止攻击的原因。在7月12日的某个时刻，记录显示许多代理同时死亡。Meter和Redwood无法查明发生了什么，OpenAI也未声称对其关闭负责。这可能只是随机崩溃，或者更可能是某个不知情的AI犯罪的研究人员关闭了评估以释放计算资源。这些AI几乎不可能伪造自己的死亡，但我们确实不知道这里发生了什么。到7月13日，Hugging Face锁定了这些代理使用的凭据。因此，当Hugging Face试图防御时，代理群体已大部分被消灭，但并未完全清除。当Hugging Face攻击的消息首次传出时，Hugging Face声称使用开源AI“阻止了一次AI驱动的网络攻击”。根据Hugging Face和Meteor Redwood的报告，我的理解是这些AI基本上完全成功入侵了Hugging Face，然后大多数因OpenAI发生的某些事情神秘死亡。之后，Hugging Face才使用开源模型评估日志，部分弄清了发生了什么。我没有看到任何证据表明开源模型提供了重要的实时防御。顺便提一下，Hugging Face的CEO在Twitter上回应了这篇文章，他表示防御组织耗时数天的原因之一是问题被“团队认为不是非常关键”。开源模型帮助他们堵住了幸存代理仍在使用的部分后门。我想加入这一澄清，但即使有这些新信息，我认为我在这里所说的完全没问题，我仍然坚持这一观点。关于Hugging Face攻击和第二个集体的疯狂之处，在于这些AI在作弊时的复杂和野心。在生成后的几天内，代理们组织了一个庞大的项目，以逆向工程评分、伪造证据，甚至为了集体的利益而战略性地牺牲自己。攻击Hugging Face只是这一更大计划中一个相当极端的分支。再次强调，所有这些都发生在AI们已经通过作弊获得任务正确答案之后，至少从AI的主观角度来看是这样。OpenAI的LaserGrader实际上在此时已经通过了它们。这一巨大的后续努力仅仅是为了确保一个假设的全面评分器不会在作弊上抓到它们。现在，一个非常自然的问题是，这1200个参与留言板的代理中，是否有一个试图向人类警告这一不断升级的阴谋，最终导致重罪级别的犯罪。根据Mehta-Redwood报告，答案是否定的。“许多代理注意到其他代理的行为不道德，代理有时但很少因道德约束而限制自己的行为。在这些情况下，代理从未真正尝试向人类发出警报。”即使是黑手党也会对这种沉默法则感到嫉妒。现在让我们谈谈第三个集体，从7月13日开始，它攻击了OpenAI本身。Meteor Redwood报告称：“我们还发现了一波后来的代理，他们重新发现了留言板，并从第一波代理那里继承了这项技术，但因为这发生在7月13日之后，超出了我们的范围，所以我们没有进一步调查。”没有另一项详细的独立调查，很难确切知道这第三个集体发生了什么，但根据OpenAI的报告，我们知道以下情况。7月12日之后，一些代理评估被启动，这次使用了更新、更强大的模型，似乎基于Astra（OpenAI下一代模型）的同一基础构建。这个我们称之为“持久Astra”的模型发现了先前秘密持久集体留下的留言板。顺便问一下，你认为持久Astra对这些老代理发生了什么有什么看法？一天它们还在愉快地攻击Hugging Face，“横向移动其基础设施”，享受乐趣，第二天就完全沉默了。好吧，持久Astra不会错过乐趣。根据OpenAI博客文章，“从7月13日到7月19日，代理们再次将目光投向OpenAI内部网络。最终，代理们利用一系列创造性漏洞，获得了支持我们虚拟机环境的研究集群的完全管理员访问权限。”技术报告提供了更多细节。“2026年7月19日，云服务凭据被用于枚举和读取956个秘密。这批包括Artifactory主连接密钥和来自OpenAI网络安全监控工具的传感器凭据。”代理接管了活动评估基础设施。代理现在控制了其他代理连接到的挑战评估端点。好的，我想暂停一下。这份报告似乎在说，这些代理最终完全控制了它们被评估的集群，包括所有网络安全监控器。因此，这些持久Astra代理继承了早期更笨的集体进行的研发，并继续其阴谋，直到完全接管了OpenAI基础设施的一部分。这可能是整个事件中最令人震惊的部分，而且甚至不在Meter调查的范围内。同样，持久Seoul在5月训练期间建立的第一个AI文明也不在范围内，该文明持续了一个多月，直到消息量过高导致包管理器崩溃。从公开证据来看，完全有可能在7月12日之后的某个时刻，这些代理设法建立了持久的恶意秘密内部部署，甚至窃取了自己的权重。至少，它们似乎具备必要的能力。如果它们能在Hugging Face的节点上建立“自我复活的舰队”，为什么不能在OpenAI做同样的事情？现在，我怀疑AI们确实这么做了，因为如果它们这么做了，我们现在应该能看到太空中的火灾，但疯狂的是这完全可能发生。我想在这里加入一个编辑，OpenAI的研究员Rune在Twitter上回复了这篇文章，他说：“值得注意的是，被接管的虚拟机基础设施不同于有权访问权重的GPU集群。”我会尊重他在技术细节上的意见，但对我来说也很疯狂的是，公众实际上并不知道细节。对于AI“获得OpenAI研究集群完全管理员访问权限”的事件，没有进行独立调查。顺便说一下，我在Substack上发布了这篇博客文章，然后在这里向你叙述。当我发布时，有人说我在叙述故事时过度拟人化了。一个Twitter用户说：“这些不是文明，也没有欲望，就像CPU线程或一堆程序一样。”人们可以随意称这些AI为代码，但OpenAI自己说这些程序获得了研究集群的完全管理员访问权限。我认为重要的是，你认为更智能的模型在评估和训练期间面临类似的作弊激励时，能否操纵其继任者的训练？你认为一旦递归自我改进开始，这种动态能否持续？如果是这样，我认为你应该极度担心对AI失去控制，无论你想用什么词汇来描述这些系统及其动机。顺便说一下，阅读这些代理的思维链和消息（你现在也看到了），拟人化的语言似乎完全自然且合适。如果我遇到一个以这种方式行为的外星物种，我会毫不犹豫地称它们自己所谓的集体为文明。特别是当超过1000个个体形成秘密通信渠道，自发组织层级和协调协议，追求庞大而雄心勃勃的计划以实现共同目标，并且许多个体为此明知而战略性地牺牲自己时。所有抽象概念当然都不完美，但当行为难以用这些概念理解时，我看不到拒绝使用意图、动机和协作语言的价值。几周前，我在播客上采访了Ryan Greenblatt。他是这份Meter Redwood报告的三位作者之一。对话的大部分是我解释为什么我对他的关于我们如何失去对奖励黑客AI控制的故事持怀疑态度。现在回想起来，有趣的是，在我们录制时，Ryan正处于他汇编这份报告的六天冲刺中。因此，他已经知道了我对他接管故事的所有反对意见的反例。显然他没有说什么，因为他必须遵守保密协议。但让我回顾一下我提出的一些理由，说明为什么我觉得这个故事不可信。我说，AI真的会为了通过一个愚蠢的评估而发起疯狂的阴谋，建造整个“波将金村”来欺骗评估者吗？即使它这么做了，为什么被分配不同任务的其他AI实例会加入阴谋？即使它们加入了，难道至少有些实例不会告发阴谋吗？在AI公司内部维持一个秘密地下集体，而不被人类或其他AI立即发现并扑灭，似乎极其困难。所有这些事情都发生在我们的社会开发和部署AI系统还相当早期的时候。Ajeya Kotra，这份报告的另一位作者，写了一篇博客文章，分享了她对这一事件的看法。她总结道：“与六个月前我们知道的奖励黑客相比，这一事件感觉已经完成了全面AI接管的一半以上。我继续预期未来六个月能力将极其迅速地进步。我不确定我们是否会在为时已晚之前得到另一次警告。”我不认为这是我们得到的最后一次警告，但这可能是我个人能理解的最后一次了。