Claude Fable 5 与新的 AI 安全寓言

今天，Anthropic 面向消费者和企业用户发布了 Claude Fable 5 模型。这是其 Mythos 类模型的通用版本。伴随该模型，Anthropic 推出了一系列安全措施——其中一些明确告知用户，另一些则在未告知用户的情况下修改了模型。AI 能力的下一个重大步骤伴随着更严厉的安全措施，表明 Anthropic 意图保护或巩固其当前领先地位，这并不令人意外。Anthropic 推出的这些安全政策应用不均，很可能成为一个经典的警示寓言，说明狭隘且自我实现的安全与控制观念很少能奏效。

分享

世界上最聪明的模型

在深入探讨安全问题的细微差别之前，有必要先确立这个模型的质量。模型的质量决定了今天事件的利害关系——因为这些安全功能正在实质性地改变人们接触前沿 AI 的方式，这是我们熟知的现代 LLM 从未发生过的事情。其次，这些能力表明这个故事只会加速发展。递归式自我改进并非此处进展的正确心智模型，但 Claude Fable 5 应该能清楚地表明，训练 LLM 并没有立即遇到瓶颈。

首先——Claude Fable 5 无疑是目前面向公众的最聪明的模型——在当今几乎所有相关 benchmark 上都实现了显著飞跃——价格仅为当前 Opus 模型 1 的 2 倍（仍低于 GPT 5.5 Pro 的变体）。仅此一点，对该领域而言就是一个开创性时刻。在后 ChatGPT 的 LLM 竞赛进行了几年之后，一个模型迭代能在能力上迈出如此实质性的一步，令人震惊。该模型没有明显的突破，例如推理时扩展或 RL，公众普遍认为这是通过整个技术栈的进步实现的（当然，我们无法确定——没有相关文档）。这是一项重大的技术成就，构建该模型的员工应该为自己的工作感到非常自豪。该模型在训练完成后延迟了 2 个多月才公开发布 2。考虑到 AI 经济的竞争动态，该模型的更智能版本已经在顺利进行中。

接下来，该模型的 benchmark 如下。这些分数的一个星号是，这些不一定是公众将获得的分数，因为根据当前模型上的安全过滤器，某些 prompt 将被降级为 Opus 4.8。这是 benchmark 分数的那种跳跃，我甚至不需要大量测试模型就知道它是一个不可思议的工具。请记住，Anthropic 也是那个最不关心 benchmark 的 AI 实验室（特别是与 OpenAI 和 Gemini 相比）。回想一下我在 2025 年 6 月发表的一条评论：这对行业来说是一条不同的道路，并且将采取与我们习惯的不同的信息传递形式。更多的发布将看起来像 Anthropic 的 Claude 4，其中 benchmark 的提升很小，而实际世界的提升则是一大步。这带来了更多关于政策、评估和透明度的含义。要理解进展的步伐是否在继续，将需要更多的细微差别，特别是当 AI 的批评者会抓住评估停滞不前的机会说 AI 不再有效时。显然，进展动态的一些部分已经改变，但这是另一天的文章了。今年我写过多篇关于新模型的文章，特别是关于很难信任 benchmark（部分原因是 benchmark 变化不大）。总而言之，这对于那些意识到自己可能再也无法编写有意义代码并需要围绕 agent 开发新工作流程的懂 AI 的从业者来说，是一个重大的验证。

Interconnects AI 是一个读者支持的出版物。考虑成为订阅者。

更智能的模型催生新的安全博弈

此次发布附带多项安全工具，包括但不限于强制性的数据保留策略和新增的 prompt 过滤器。通过此分析，特别重要的是要精确清晰地指出这些措施中哪些造成了伤害，以及为什么在一个原本全面的政策中，单一元素的不协调对整个安全过程如此具有破坏性。

针对其重点关注的网络安全、目标模型蒸馏和研究生物学领域，Anthropic 在其博客文章中详细介绍了新的安全分类器：Fable 5 配备了一套新的分类器：独立的 AI 系统，用于检测潜在的滥用行为（包括越狱尝试），并阻止主模型（本例中为 Fable 5）做出响应。我们已经在一段时间内对模型运行分类器，Fable 5 的分类器是之前工作的扩展，覆盖范围更广。当 Fable 的分类器检测到与网络安全、生物学和化学或蒸馏相关的请求时，响应将自动由 Claude Opus 4.8 处理。每当发生这种情况时，用户都会被告知。Opus 4.8 本身就是一个非常强大的模型：回退到 Opus 的响应比 Fable 直接拒绝要好得多。我们的早期数据显示，超过 95% 的 Fable 会话完全不涉及回退——对于这些会话，Fable 5 的性能实际上与 Mythos 5 相同。

主要的网络安全和生物学安全过滤器——在触发时会明确告知用户——的例子已经在网上大量出现，并且看起来相当敏感。这对用户来说可能是一种令人沮丧的体验，但 Anthropic 绝对有权这样做，并且在智力上是一致的。安全故事中具有破坏性的部分隐藏在 Claude Fable 5 & Claude Mythos 5 System Card 的折叠部分之下：我们还增加了与前沿 LLM 开发相关的保障措施。正如我们在 2026 年 2 月风险报告的第 6.1 节中所讨论的，我们担心加速 AI 整体发展步伐的风险，尽管我们仍不确定这些风险的严重性。特别是，我们担心的是——正如我们当时所写的——“加速其他 AI 开发者构建与我们模型构成类似风险的强大 AI 系统——而不一定具有相应的保障措施。”鉴于近期模型加速自身发展的能力，我们实施了新的干预措施，以限制 Claude 在处理针对前沿 LLM 开发的请求时的有效性（例如，关于构建预训练 pipeline、分布式训练基础设施或 ML 加速器设计）。使用 Claude 开发竞争模型已经违反了我们的服务条款，但通过我们的保障措施来执行此限制，可以避免加速那些最愿意违反这些条款的行为者。与我们对网络安全、生物学和化学以及蒸馏尝试的干预不同，这些保障措施对用户不可见。Fable 5 不会回退到不同的模型。相反，保障措施将通过诸如 prompt 修改、steering vectors 或参数高效微调（PEFT）等方法来限制有效性。

Anthropic 记录了这将如何影响一小部分用户，这是事实。我关注的是那些在少数前沿实验室之外支持 AI 传播和理解的小部分用户，这是该技术持续安全的关键机制。Anthropic 正在记录 AI 能力的扩散如何令他们担忧，但他们通过误导用户来解决这个问题。一个在没有通知我的情况下自动变得不那么智能的 AI 模型，绝对是一个错位的 AI。这条线上的下一步——不是说 Anthropic 做了，但他们可以——是让一个模型在认为使用 AI 不安全的工作场所中，默默地操纵该工作场所。其次，这里的实现比网络安全或生物学中记录的要复杂——修改模型本身或呈现给模型的数据，所有这些都不通知用户 3。这些政策的二元性极其令人困惑，并呈现出强烈的不一致性，从而对其安全政策产生怀疑。这种“安全”措施更多地被呈现为维护其竞争地位。再说一次，如果所有的安全政策都采取一种形式，那将更有说服力，在智力上也更容易支持。Anthropic 一直非常直言不讳地担心来自特别是中国行为者的蒸馏攻击。他们的说法不够透明，没有提供足够的事实——或者关于他们为何无法阻止该行为的背景——因此不完全可信。尽管信息有限，但在更广泛的 AI 和 DC 社区中，已经就基于所谓的蒸馏对中国模型构建者采取行动进行了严肃的讨论。关于蒸馏这一点，我的假设是 API 构建者不容易防止黑客攻击或越狱，因为推理模型想要输出推理轨迹是一个根深蒂固的属性，而完全修补该行为会使模型变得远不那么智能。这基于几个假设：中国实验室不仅仅是作为 Anthropic API 的客户出现，并以预期的输入-输出形式支付 token 费用。如果中国实验室为预期的使用行为付费，尽管违反了条款和条件，我对前沿实验室针对此制定政策行动并没有太多同情。推理轨迹在向下游模型注入行为方面效果异常显著。领先的实验室非常努力地修补这些越狱的 pipeline。所以，我的逻辑结论是，模型公司必须削弱其经济地位才能完全保护其知识产权。如果是这种情况，Anthropic 通过保持透明，将从 AI 研究社区获得更多的同情。进行知情的政策讨论也会容易得多，而不必依赖我提出奥卡姆剃刀式的解释来说明 API 越狱是什么样子。

构建这些保障措施不应该是 Anthropic 独自完成的事情。安全研究应建立在跨实验室和公共研究工作的共同理解和信息共享之上。如果确切的安全程序实际上是公司的首要事项——领导层真正的不可协商事项——他们就不会允许模型在其重点领域之一（前沿 AI 训练）发布时带有实现不明确的安全过滤器。我在问——为什么没有一个分类器来降级 AI 研究请求？这是透明合理的安全政策与悄然推出的市场巩固策略的混合体。我个人无法信任世界上最好的 AI 模型在我构建模型的专业领域工作，而我构建这些模型完全是出于确保向非常强大的 AI 系统过渡对社会有利的热情。这不可避免地会感觉像是 Anthropic 领导层在宣示优越性。

分享

控制问题与开源作为唯一答案

Anthropic 正在采取的所有行动，包括点名批评较小的中国公司进行蒸馏，完全在其权利范围内。事实上，许多人已经预料到领先的前沿模型将对用户隐藏，以便实验室保护其知识产权。今天的行动忽略了 AI 将始终是一个生态系统的大局，而在领先公司与其他参与者之间培养一种“我们对他们”的动态在结构上是不稳定的。请记住，这是在 AI 生态系统首次出现针对 AI 领导者的暴力行为的时期——我从许多人那里听说，他们预计这种情况不会减弱。我希望我知道如何更多地参与以防止这种情况，我视自己在非营利部门中，作为一个能够希望独立地向更广泛的利益相关者代表 AI 的人。我相信这里有些东西被误读了，或者至少被误解了，Anthropic 的领导层对 AI 持有一种狭隘培养的世界观。我今天感受到的一种压倒性的情绪是义务和困惑。我分享了我并不真的想与 Anthropic 对抗，但他们刚刚不必要地对中国采取了对抗态度，然后不那么微妙地针对开放权重模型，现在更广泛地针对开放的 AI 研究。我理解 Anthropic 对 AI 有特定的看法，但如此强大的技术永远不会达到由一家私营公司单独控制的最终平衡。Anthropic 今年早些时候在国防部与它们之间的争执中展示了这一点——这指向了一个长期平衡，即政府要么希望 AI 由他们控制，要么希望 AI 是开放的。这让我相信开放的生态系统是一个更安全的结果。这些事件中的许多让我觉得 Anthropic 的领导层有一种文化，他们忍不住要快速处理这些问题——与现有的权力结构正面交锋。这在 AI 生态系统非常不需要的时候增加了巨大的不确定性。

总的来说，过去一周可以被视为美国新开源生态系统的一个主要集结号。Nvidia 上周发布了他们的首个旗舰模型——Nemotron 3 Ultra——而 Anthropic 的这些行动在我构建开放模型的同行中激发了一致的动力和担忧。我们需要我们可以信任、可以修改、可以控制的智能。美国开源生态系统已经站稳脚跟，并且不断有更多理由去争取其领导地位，而这些理由恰恰来自它直接削弱的公司之手。这就是这个寓言的寓意。

1 Fable 的价格为每百万输入 token 10 美元，每百万输出 token 50 美元。 2 基于最初的 Mythos 发布，这是一个不完美的指标。 3 Fable 向我证实这些是不同的机制。