欢迎来到AI治理的AGI时代

美国行政部门迫使Anthropic关闭其最新Claude 5 Mythos/Fable模型的访问权限（包括内部和外部），这标志着人工智能治理新时代的发令枪。这是一个定义AI agent（智能体）的时代，它们能有效补充人类工作者，解锁新的工作方式以及现有工具的新应用领域。模型将以极快速度持续改进，带来更多治理挑战。

前沿的不稳定均衡

上周五，就在市场收盘后，政府联系Anthropic，迫使他们暂停向任何外国公民或海外用户提供模型访问。撰写本文时，这一事件仍在发酵。Anthropic与政府很可能达成协议重新发布模型，但这仍是一种混乱的信号，预示着新型AI治理的到来。白宫是通过Anthropic最大的金融和技术合作伙伴Amazon得知这一风险的。这些动态非常复杂，虽然信息不全，我仅就这一事件可能留下的持久影响发表评论：对任何模型权重的出口禁令，对美国而言都将是一项持久的负面政策。这既适用于开源模型也适用于闭源模型，尽管开源模型更有可能很快被禁止进口。

关于Fable模型的越狱问题确实存在合理的网络安全担忧，尽管范围非常狭窄。我个人不认为这应该引发这一系列事件，因为没有任何模型能完全免疫越狱，我们需要为这样一个世界做好准备：未来几年内，全球每个实体都将能获得这种能力水平的模型。Anthropic过去几年持续散布恐慌，加速了这一时刻的到来。如果没有那些将AI与核武器相提并论的持续宣传，我怀疑这种治理方式可能还要再等6到12个月（按AI进步速度计算）才会出现。Anthropic在某种程度上是自食其果。

人们不应该因为我们国家领先的AI公司反复遭受潜在政治攻击而幸灾乐祸（是的，我指的就是开源社区里的人）。这在经济上极不稳定，会破坏美国体系的经济稳定性。足够的不稳定可能导致经济衰退，并戳破AI泡沫。白宫禁止该模型的行为过于强硬，且受到强烈的反Anthropic政治倾向影响。政府的要求和目标之间存在深刻矛盾：如果外国公民不能在美国使用前沿AI构建产品，那么国内AI产业也就不复存在。

我不清楚为什么Amazon需要直接将他们掌握的信息提交给白宫，这次发布和禁令的前因后果是什么（网上有很多关于发布前讨论的说法），以及领先科技公司与白宫之间的危机管理通常如何运作。这指向Anthropic与政府互动的异常动态，可能是被政治针对后的反应。无论原因如何，这都是一个糟糕的动态，给Anthropic在此处的参与蒙上阴影。如果一家私营公司试图控制政府，政府会更强力地反击。我不认为Dario真的在参加健康静修（如白宫代表所说），但我确实认为他接电话的时间比电话那头的人所能接受的要长。我很难就这些来回博弈的动态写出连贯的东西，但它们对了解事件真相非常重要。

这幅图景非常复杂。它指向一个近期的世界：模型发布将由技术人才匮乏的行政部门凭感觉判断，发布门槛被一系列带有政治判断的技术评估所模糊。这是一个已经内化我们处于AGI（通用人工智能）时代的政府。他们对此没有做好准备，并感到必须迅速行动以弥补失去的时间。这个政府上任时，我们仍处于ChatGPT时代的AI治理——即模型仅能回答问题。他们最初的AI行动计划反映了这一时代，强调了过去许多安全讨论更像是烟雾弹而非真正的担忧，以及我们多么迫切需要开源模型来追赶。总体而言，他们的观点和建议对行业来说大多是合理且有用的。

重要的是要记住，即使在ChatGPT治理时代，AI公司也经常告诉我们模型存在风险，不能不加谨慎就发布。领先实验室的许多发言人在语言升级上没有给自己留出足够余地，以应对模型性能出现重大跃升的情况。随着我们从答案推理转向agentic inference（智能体推理），我仍然认为风险被夸大了，但最新AI系统的真实风险与描述它们的语言之间的差距已经缩小。这吓坏了领先AI实验室之外的权力结构。

进入AGI时代的AI治理，意味着全球更多主权国家开始认真对待AI。欧洲、中东，很可能还有中国，都意识到自己可能被前沿AI甩在后面。这种转变被开源社区视为胜利，他们看到了长期趋势：当政府可以任意裁决领先平台时，企业将希望控制自己的智能。理解这个时代的关键在于，Anthropic与联邦政府之间的这些事件——看似AI政策史上最大的两件事——仅仅是未来更大风暴的发令枪。这是新常态，因为现有权力结构感到需要维护对快速崛起技术的控制。这将混乱、充满风险，有时甚至危险。

在关注这些事件时，我充满恐惧，凝视着虚空，因为我知道更多事情即将到来。我们需要决心走缓和局势的道路，帮助实现全球广泛传播、安全且廉价的超级强大AI的积极愿景。

主权AI、开源需求与即将到来的战斗

那些为这一系列事件疯狂庆祝的开源AI倡导者，远未准备好应对快速响应AI政策聚光灯转向他们的那一天。针对开源模型的类似激进行动很可能到来，但我们不知道是3个月后还是2年后。