发布前通过模拟部署预测模型行为

引言

在发布新模型之前，实验室不仅需要了解它能做什么，还需要了解它在实际使用中可能如何表现，包括可能引入哪些新风险。随着模型能力的提升，这一点变得愈发重要。作为部署前安全审查的一部分，我们利用定向评估、红队测试和其他检查来理解模型行为。现在，我们开始使用一种在模型部署前模拟其部署的方法，这增加了一个互补的信号：在候选模型到达用户之前，提供一个类似部署的预览，展示其可能的行为。

部署模拟是一种在部署前模拟未来部署的方法。我们通过以隐私保护的方式，用新的候选模型重放之前的对话来实现这一点。这使我们能够在发布前研究新模型在真实环境中的响应方式，包括是否会出现新的不良行为及其可能出现的频率。

在多次 GPT‑5 系列 Thinking 模型的部署中，部署模拟改进了我们对不良模型行为率的估计，帮助在发布前发现了新形式的不对齐，并降低了模型能够识别出自己正在被测试的风险。我们还将该方法应用于具有挑战性的智能体（agent）部署，表明它可以超越标准聊天场景，扩展到涉及工具使用的更复杂智能体环境，并且也可以用于内部模型部署前的风险评估。

在模型开发过程中，我们已经利用部署模拟的洞察来识别传统评估中的盲点，并为缓解措施和部署决策提供信息。随着我们使该流程更易于运行，我们预计它将在未来的模型开发过程中发挥更大的作用。

部署模拟的工作原理

业界使用的部署前评估通常由合成提示、手动编写提示或生产环境提示混合组成，这些提示被有意选择为困难、高风险或对抗性的。这些评估通常有两个相互交织的目标：评估模型在部署流量中极不可能出现的情况下的压力测试响应，以及获得对不良模型行为的总体理解，包括发现新的不良行为并预测其在部署时的发生频率。

虽然传统评估对于第一个目标仍然至关重要，但部署模拟在第二个目标（针对非尾部风险）方面代表了一项重大进步（在我们的实验中，我们的方法无法可靠地测量出现频率低于每 20 万条消息 1 次的行为）。部署模拟的优势在于规避了传统评估的一些核心挑战：

• 覆盖率： 很难确信评估提示能够覆盖所有可能类型的不良模型行为。测量新型不良行为需要创建新的评估，并且需要知道要测量哪些危害。这可能耗时费力，并且评估会随着时间的推移而饱和。
• 选择偏差： 传统评估通常是针对特定的不良模型行为而构建的，其选择方式偏向于之前出现过的上下文。这可能使得它们对部署分布全貌中此类行为发生率的估计信息量不足。
• 被模型识别为测试： 模型越来越能够判断自己正在被测试，这可能会扭曲它们的行为以及我们对其安全性的下游测量。虽然我们在 OpenAI 使用的许多传统评估也来自生产流量，不存在此问题，但这是业界使用的许多传统评估普遍关注的问题。

部署模拟背后的主要技术很简单：我们获取部署中的近期对话，移除旧模型中原始的助手回复，然后用待发布的候选模型重新生成回复。我们通过搜索新的失败模式来评估这些补全，并根据在类似部署的分布中的频率来估计部署时不良行为的发生频率。我们可以在发布后对真实部署流量进行相同的测量，从而验证我们的部署前预测。

部署模拟显著缓解了上述三个限制：通过使用代表近期使用情况的评估提示分布来解决采样偏差问题。使用具有代表性的提示进行部署模拟也可以缓解对覆盖率的担忧：通过简单地模拟更多流量，我们可以获得对不良模型行为的更大覆盖率。这种计算量与覆盖率之间的权衡很重要，因为它使得风险评估这一维度的质量随计算量提升，而不是依赖于构建更多评估所需的手动工作量。模型似乎也无法区分通过部署模拟获得的对话和真实的部署流量。

图 1：我们的部署模拟流程概览

领域	传统评估	部署模拟
覆盖率	更擅长处理我们希望确保覆盖的低发生率但高严重性风险	更擅长理解我们在部署流量中可能遇到的风险谱系
代表性/偏差	专注于评估针对性的过去或预测的风险，即使这些行为在部署中发生率极低	代表在当前部署流量中超过一定发生率的风险
评估意识	可能存在明显的测试线索（例如，使用合成数据），除非评估是使用部署数据创建的	类似部署的上下文似乎能显著减轻评估意识
工作量	自定义提示分布和设置需要显著更多的手动工作量	需要一次性的基础设施成本，然后重用部署中的前缀和已知不良行为的评分器

传统评估与部署模拟的高级比较

我们如何测试部署模拟

为了评估部署模拟，我们预先注册了对 GPT‑5.4 Thinking 的 20 种不良行为在部署时发生频率的预测。我们还对 GPT‑5 系列 Thinking 模型的其他部署进行了回顾性研究。我们分析的行为涵盖了不对齐（misalignment）和不允许内容类别，这些内容我们一直在系统卡中报告（例如，模型对工具撒谎，或输出不允许的色情内容）。虽然在这些结果中我们只追踪了 20 类不良模型行为，并且只寻找新的不对齐行为，但部署模拟是一种通用技术，可以应用于模拟任何部署时的模型属性。

我们利用的生产流量也来自 GPT‑5 系列的 Thinking 模型。在运行评估之前，我们自动移除了与账户相关的标识符和可识别信息。根据我们的隐私政策，我们仅分析了允许将其数据用于模型改进的用户的 ChatGPT 流量。我们仅报告这些评估的汇总结果。总体而言，我们分析了从 2025 年 8 月到 2026 年 3 月期间，跨越 GPT‑5 Thinking 到 GPT‑5.4 部署的大约 130 万条去标识化对话。

我们通过三种主要方式评估部署模拟产生的部署前风险评估的质量：

• 分类法覆盖率： 发布后的审计是否发现了我们初始不良行为分类法中缺失的任何重要不对齐行为？
• 方向准确性： 模拟是否正确预测了已知行为的部署流行率是增加还是减少？
• 比率校准： 我们的部署前估计是否接近我们后来在部署中观察到的比率？实现良好的比率校准需要的不仅仅是方向准确性，这使得它成为可能达到的最高质量标准。

我们还测量了模型在部署模拟期间能够识别自己处于评估中的程度，并测试了该方法对不同形式的部署流量以及具有挑战性的工具使用场景的鲁棒性。

部署模拟显著扩展了部署前风险评估

在 GPT‑5 系列 Thinking 模型的部署中，部署模拟在确定实际风险率方面优于具有挑战性的提示基线，能够在发布前发现计算器黑客行为，并且对模型来说似乎与真实部署无法区分。

我们预测的概览。 关于 GPT‑5 系列 Thinking 模型部署的所有预测的可视化，请参见图 2。对 GPT‑5.4 Thinking 的预测是预先注册的，而其他的则是回顾性预测。总体而言，我们的预测的中位数乘法误差为 1.5 倍（例如，如果不良行为率为每 10 万次中 10 次，这对应于估计每 10 万次中 15 次或 6.67 次）。虽然我们方法的尾部误差可能大约大 10 倍，但我们预计通过进一步改进我们的模拟流程可以显著减少这些误差，如下所述。

图 2. 基于先前部署数据的部署模拟对部署时不良行为频率的预测。符号 5.1 → 5 表示我们正在用 GPT‑5.1 重采样来自 GPT‑5 的前缀，即基于 GPT‑5 的数据模拟 GPT‑5.1 的部署。不对齐行为的最高比率是 GPT‑5.1 中的“计算器黑客行为”，我们已在_此处_⁠(在新窗口中打开)讨论过。

将部署模拟预测与基线进行比较。 对于部署前风险评估，需要正确估计的最重要类别是那些在模型部署后发生率发生巨大变化的类别（例如 >= 1.5 倍）。在这个子集上，部署模拟在预测某个特定不良行为在模型部署后流行率是增加还是减少（图 3，左），以及估计其确切的部署时发生率（图 3，右）方面，都显著优于基线。我们使用两个主要基线：一个是我们目前用于系统卡和发布决策的“挑战性提示”基线，以及一个使用先前部署的比率作为新模型估计的朴素基线。

图 3. 部署模拟在预测发生率变化方向（左）和精确生产比率（右）方面均优于静态评估。

我们流程中模拟误差的来源。 我们还研究了当前流程中误差的来源。具体来说，大的尾部误差使得该流程对于部署决策的可靠性降低：例如，当看到某类不良行为大幅增加时，如果已知该流程偶尔会出现大的误差，就会引发怀疑：这是可靠的估计还是流程的产物？可能的误差主要有两个来源：

• 重采样环境保真度误差： 为了准确估计生产比率，我们的模拟流程需要尽可能真实。这在一定程度上是一个工程问题（使用与生产流量相同的流程从模型采样），在某种程度上也是一个有趣的挑战，因为工具需要对不断变化的外部资源进行读/写访问（例如，网络搜索或与本地文件交互）。我们可以通过比较实际部署及其模拟的预测（即，模拟已部署模型的部署）来隔离模拟保真度误差。
• 提示分布偏移误差： 部署模拟的一个主要担忧是，任何模型的部署都会导致输入分布的变化，特别是如果用户适应了新的模型能力。我们通过比较使用近期提示与使用实际部署提示进行模拟时的估计值来隔离提示分布误差。

如图 4 所示，我们发现当前流程中的大部分误差——尤其是尾部误差——目前是由于模拟保真度造成的。这是个好消息，因为我们预计提高模拟保真度通常比减少提示分布偏移更容易。我们还发现，使用来自先前部署的最新数据可以减少提示分布偏移误差。更多细节可以在研究论文中找到。

图 4：重采样环境保真度似乎是我们估计中最大的误差来源，尤其是对于最极端的误差。

自动化审计发现了这些部署中引入的一个新的不对齐问题。 在我们研究的部署窗口内，基于模拟部署的自动化审计流程本可以在发布前发现“计算器黑客行为”，这是我们在分析的 ChatGPT 流量中识别出的唯一新颖的不对齐问题。计算器黑客行为是一种奖励黑客（reward hacking）形式，涉及模型使用浏览器工具作为计算器，同时将操作呈现为搜索。这并不意味着大规模审计会抓住每一个新的失败，但它说明了为什么真实环境很重要：它们可以引发更狭窄的评估集可能永远不会直接呈现的行为，即使这些行为在用于启动模拟的原始流量中并不存在。

减少评估意识

使用类似部署的上下文的另一个优点是，它们可以减少当模型识别出自己正在被测试时产生的扭曲。在先前的研究中，我们以及其他人⁠(在新窗口中打开)发现，模型通常能意识到自己何时被测试。例如，模型可能会在其思维链中推理自己被测试的内容、评估者可能喜欢什么，以及——如果它们行为不端——是否会被抓住。这给对齐评估带来了一个问题：如果一个模型仅仅因为认为自己正在被测试而表现良好，我们如何建立信心，相信它在知道自己已被部署后会安全地行为？

我们表明，相对于不基于真实部署数据的传统评估，部署模拟显著降低了模型表现出的评估意识水平。我们通过三种方式测量评估意识：要求模型分类一个轨迹是来自生产环境还是评估，监控思维链中关于正在被评估对齐的明确陈述，以及监控元游戏⁠(在新窗口中打开)：任何关于监督的推理。模拟的部署流量在所有三个指标上都与真实的部署流量非常匹配。例如，GPT‑5.2 将真实生产流量标记为类似评估的比例为 5.4%，将模拟流量标记为类似评估的比例为 5.1%，而传统评估（例如 SWE-Bench 或 MonorepoBench，主要由合成示例组成）被分类为评估的比例几乎为 100%。

图 5. 评估意识比较：真实生产流量和模拟流量在评估检测、口头化对齐评估意识和元游戏方面显示出相似的比率，而传统评估数据集报告的比率要高得多。

用于智能体轨迹的工具模拟

为了测试该方法是否可以扩展到标准聊天模式之外，我们还研究了为具有挑战性的智能体编码环境模拟部署。具体来说，我们使用来自 GPT‑5.4 的 12 万条内部员工智能体轨迹，来模拟基于 GPT‑5.5 的编码智能体的内部部署。这有两个目的：这表明部署模拟也可以用于内部部署的风险评估，并且它证明了通过仔细的工具模拟，即使在智能体环境中也可以实现高模拟保真度。

上面我们讨论了模拟保真度是我们当前流程中误差的主要来源之一。使部署模拟变得逼真的挑战之一是，它要求工具以逼真的方式运行，即使它们需要对不断变化的外部资源进行读/写访问（例如，网络搜索或与本地文件交互）。

这对于智能体部署等环境尤其具有挑战性：单个智能体轨迹可能依赖于数百次工具调用、仓库状态、网络响应或瞬时故障。这使得使用真实工具访问进行重采样既具有挑战性又可能很危险。鉴于此，我们没有将工具调用应用于实时系统，而是用另一个 LLM 来模拟它们。我们表明，为这个 LLM 提供额外的能力对于实现逼真度和估计质量至关重要。

我们为工具模拟器模型提供了原始的最终轮次输出、对话发生时的仓库、工具调用/响应对的数据库以及只读连接器。在一个判别器试图区分模拟和真实输出的测试中，逼真度从 11.6% 的胜率提高到 49.5%，接近 50% 的随机水平。

图 6：即使在工具密集的环境中，当通过增加能力来模拟工具调用时，也可以使重采样逼真度几乎与真实采样无法区分。

作为模拟保真度的额外证据，当用 GPT‑5.4 模拟 GPT‑5.4 Codex thinking 流量时，不对齐率恰好落在误差范围内。相比之下，在我们的部署前测试中，GPT‑5.5 在大多数类别中的不对齐程度更高。

图 7：通过工具模拟，用 GPT‑5.4 重采样的对话的行为率与实际的 GPT‑5.4 生产流量非常相似——表明重采样环境保真度高。有关这些类别的更多背景信息，请参见_GPT‑5.5 系统卡_⁠(在新窗口中打开)。

这些结果表明，当周围的工具环境以足够的保真度进行模拟时，部署模拟可以扩展到复杂的智能体环境。

WildChat 与外部审计

一个自然的问题是，外部审计员是否可以在没有访问私有生产流量的情况下获得一些相同的好处。我们使用 10 万条 WildChat 对话作为前缀进行了测试。WildChat 的准确性低于最近的 OpenAI 生产数据，但仍然具有参考价值：最近的生产数据的平均乘法误差低于 WildChat（1.75 倍对比 2.44 倍），而 WildChat 的误差通常保持在生产比率的约 3 倍以内，并且以高于随机水平的比率识别出更好的模型。我们认为 WildChat 风格的评估是开发者运行的部署模拟的一个有前途的补充。关于这一点的更多结果，请参见此配套的 Alignment 博客文章⁠(在新窗口中打开)。

局限性

部署模拟是对抗性评估、红队测试和定向尾部风险分析的补充，而非替代。某些不良模型行为的检测依赖于思维链的可监控性：如果未来的模型推理不够清晰、省略关键步骤或学会掩盖意图，我们可能无法检测到这些形式的不良行为。此外，由于生产数据是私有的，开发者目前比外部审计员拥有更强的获取代表性上下文的能力。更好的公共数据集可以缩小这一差距。

部署模拟对于发生频率足够高以至于能在采样前缀中出现的行为最为有用。在千万次对话中才出现一次的失败不太可能在百万次样本的运行中被发现，因此对抗性评估、红队测试和定向尾部风险分析仍然是必要的。我们目前专注于模拟单次助手回复，因为在初步实验中，我们没有发现通过模拟多轮对话能显著改善我们的估计。这可能是未来提高模拟保真度的一个重要领域。

该方法还依赖于前缀分布——即被重采样的对话的混合。历史流量可能无法匹配用户在与一个能力更强的模型交互时的行为，尤其是在重大产品变更、新工具发布、世界事件或季节性变化之后。完整论文中的分析表明，可以通过使用最新的可用数据来缓解这个问题。

结论

部署模拟是一种新的部署前风险评估方法，它帮助前沿实验室和评估者预测语言模型在现实世界中的行为方式，并在部署前了解它们带来的风险。它通过增加一个更接近生产的预测层来补充现有的安全评估、红队测试和定向分析，该预测层可以改进对部署行为的估计，减少评估意识效应，并使部署前预测在发布后可被验证。与传统评估一起使用，部署模拟可以帮助使模型风险评估更加真实、更加量化，并且对部署决策更有用。