蒸馏恐慌

“蒸馏攻击” 这个词，用来描述当前正在发生的事情，实在是一个糟糕的术语。没错，一些中国实验室确实在破解或越狱 API，试图从模型 API 中提取更多信号——阻止这种行为对于维持美国在 AI 能力上的领先地位很重要。但将这种行为称为“蒸馏攻击”，会不可逆转地将所有蒸馏行为与这种行径联系起来，而蒸馏本身是通过学术和经济活动广泛传播 AI 能力所需的核心技术。我们在开源与开放权重的辩论中经历过类似的语言转变。所有术语最终都简化为“开放模型”——大型 AI 社区中很少有人确切知道开源与开放权重有何不同。而术语很重要，因为那些对技术关心且仍有影响力、但信息相对匮乏的人，会受到他们所用不同术语的束缚。如果我们对蒸馏相关的讨论不够谨慎，许多人可能会将这种广泛用于研究和开发新模型的技术，与处于企业操纵和犯罪边缘的行为联系起来。

分享：我最近写了一篇更技术性的文章，评估最先进的蒸馏方法对领先中国模型的影响有多大，本文则旨在呼吁在针对这些方法仓促制定政策时要谨慎。先铺垫一下背景，回顾 Anthropic 最近的博客文章，他们详细描述了 3 家中国实验室进行的“蒸馏攻击”。这些实验室使用了一种叫做“蒸馏”的技术，即用较强模型的输出来训练一个能力较弱的模型。蒸馏是一种广泛使用且合法的训练方法。例如，前沿 AI 实验室通常会蒸馏自己的模型，为客户创建更小、更便宜的版本。但蒸馏也可能被用于非法目的：竞争对手可以用它来以独立开发所需的一小部分时间和成本，从其他实验室获取强大的能力。这是一个巧妙的段落，他们一般性地将蒸馏正常化，并解释少数人如何非法使用它，但没有详细说明非法使用通常涉及其他更明确的行为，如越狱、黑客攻击或 API 身份伪造。蒸馏本身是行业标准。它被广泛使用，主要在 post-training（后训练）阶段，由较小的参与者用来创建专门化或更小的模型。在我今年夏天即将出版的书中，我这样描述它：蒸馏一词已成为围绕合成数据在语言模型中作用的最有力讨论形式。蒸馏这个术语来自深度学习文献中教师-学生知识蒸馏的技术定义。通俗地说，蒸馏是指使用较强模型的输出来训练一个较小的模型。在 post-training 中，这种蒸馏的一般概念有两种常见形式：作为数据引擎，用于 post-training 过程的广泛环节：指令的补全、偏好数据（或 Constitutional AI），或用于 RL 的验证。将特定技能从较强模型转移到较弱模型，这通常针对数学推理或编码等特定技能。根据这个定义，很容易看出蒸馏有多种形式。当然，如果你只是拿 GPT-5.5 的输出，用它们训练一个最近的开放权重基础模型来托管一个竞争产品，那是一回事。但是，许多属于蒸馏范畴的事情是复杂的、多阶段的过程，会模糊你从中蒸馏的模型的确切影响。现代 LLM 流程可能看起来像这样：使用 GPT API 构建一批初始的合成数据，以构建一个专门的、小型的数据处理模型。一个很好的例子是像 olmOCR（或此类中的许多其他模型）这样的模型，它们被训练用于将 PDF 转换为干净的文本。这个专门的模型将用于创建大量数据。最后，你用你创建的新数据训练另一个模型（通常从头开始）。这最后一个模型是从 GPT 蒸馏出来的吗？当通过封闭的、基于 API 的模型进行时，蒸馏处于你注册 Claude 或 GPT 平台时同意的服务条款的灰色地带。它们通常禁止使用 API 创建竞争性的语言模型产品，但这一条款在很大程度上未得到执行。开源社区曾经非常担心被切断使用这些尖端 API 进行研究或创建公共数据集的途径，但迄今为止，只有一例企业账户被限制的突出案例（至少在最近的中国公司事件之前）。这一切都是为了说明蒸馏是一种行业标准技术，而使用封闭 API 进行蒸馏一直是一个灰色地带。Nvidia 最新的 Nemotron 模型，作为少数拥有开放 post-training 数据集的模型之一，技术上在很大程度上是从中国的开放权重模型中蒸馏出来的。我们在 Ai2 构建的 Olmo 模型是从开放和封闭模型的混合中蒸馏出来的。这个灰色地带再次被推到前台，是因为发现 xAI 一直在从 OpenAI 进行蒸馏。引用最近 Elon 与 OpenAI 之间的庭审记录：OpenAI 的律师问 Musk，xAI 是否曾从 OpenAI“蒸馏”过技术。Musk：“一般来说，AI 公司会蒸馏其他 AI 公司。”“这是肯定的回答吗？”Savitt 问道。Musk：“部分是的。”xAI 可能是最大、最成功的愿意涉足从竞争对手那里进行蒸馏这一灰色地带的 AI 公司。另一方面，大多数资源比他们少的初创公司和研究小组，很可能已经以某种能力从 Claude、GPT 或 Gemini 模型进行了蒸馏。Interconnects AI 是一份由读者支持的出版物。考虑成为订阅者。在上述 Anthropic 博客文章中，少数中国实验室的“蒸馏攻击”问题，与其说是蒸馏本身，不如说是攻击手段。有记录显示，中国实验室正在积极规避 API 的预期用途，例如提供对训练非常有用的额外推理数据。当然，任何人都不应该能够从模型访问开发者不打算在其 API 中透露的信息（例如，对训练有帮助的推理轨迹）。将所有的蒸馏行为与这些攻击联系起来——而蒸馏至今仍是 post-training 的行业标准，无论是对开放模型还是封闭模型——将是一个巨大的乌龙。这些少数实验室的行为应该被称为越狱或滥用，而不是蒸馏。围绕这些行为的讨论正在制造一个令人不安的讨论，正朝着监管捕获或监管过度的混合体迈进，这很可能对美国生态系统的伤害大于对中国。即使我们通过潜在的法律行动和其他处罚来禁止这种 API 滥用，中国公司很可能仍会这样做。我们已经看到中国多媒体模型对受版权保护的内容采取灵活态度的剧本，而美国玩家没有人愿意冒这个风险。这场关于蒸馏的讨论迅速升级，一项法案已从国会委员会中提出，一项行政命令推动采取行动，以及国会监督针对基于中国模型（这些模型是蒸馏的下游产物）构建模型的美国公司。这种多管齐下的监管环境可能会产生真正可怕的后果——例如，找到一种有效禁止美国境内由滥用封闭 LLM API 的中国团体构建的开放权重模型的方法。很明显，没有法案会字面上禁止开放模型，但它们可以制造灰色地带，使实体暴露于不必要的风险，或要求某些在官僚上非常难以履行的条款，从而压垮小型开源贡献者。在这种情况下，输家将是西方学术界和为 AI 长尾用途构建模型的小公司。随着几乎所有中国开放权重模型的移除，这里的生态系统可能会永久性地变得无关紧要。没有直接的替代品，而构建具有有意义社区采用的新模型需要 6 个月以上的准备时间。在建立一个新的国内开源生态系统所需的时间里，无数研究人员可能已经转向封闭训练平台或进入新领域。总的来说，我希望这场围绕蒸馏的讨论最终不了了之，而不是演变成仓促的、多管齐下的政策推动。我们需要避免两件事：对“蒸馏”一词的全盘负面联想，而这个词在 AI 生态系统中被广泛使用。对从事部分蒸馏活动的组织所构建的开放权重模型进行国内禁令。除此之外，我希望领先的美国 AI 公司能够提供他们的 API，同时不会泄露他们的 IP。他们应该分享更多关于为何难以保护其 API 的信息，但这超出了我的专业范围。最后，我将引用我的朋友 Kevin Xu（来自 Interconnected Capital，以及优秀的 Substack）的一个提议，解释为什么当前的蒸馏动态可能对领先的实验室有利。如果所有中国公司都沉迷于蒸馏作为接近前沿的方式，那么他们将永远学不到真正领先所需的技术。如果我们切断中国在模型构建中明显的拐杖，我们将在 AI 领域获得短期领先，但从长远来看，这可能是他们走上更具竞争力长期轨道所需要的。这与我们在其他美国目前领先的技术（例如先进半导体技术）上进行的辩论相同。所以我理解其中的权衡，但我们不应该打击所有的蒸馏行为。