Claude 价值观如何随模型和语言变化

当有人向 Claude 提出一个没有普遍正确答案的问题时——比如是否接受新工作，或如何处理与朋友的冲突——Claude 的回应不可避免地会反映出某些价值观。¹ Claude 的宪法（constitution）在高层面上概述了我们希望 Claude 体现的价值观，但没有任何文件能预见到 Claude.ai 每天数百万次对话中可能出现的每一种价值观。相反，我们致力于在 Claude 的回应中培养“能够根据上下文灵活运用的良好判断力和健全价值观”。

那么，我们究竟如何研究 Claude 所表达的价值观，以及这些价值观在不同情境下如何变化？在先前的工作中，我们分析了 70 万次匿名的 Claude.ai 对话，识别出 Claude 回应中超过 3,000 种不同的价值观，以及 Claude 表达它们的频率。但如此庞大的价值观列表难以进行推理。在这项工作中，我们通过将这些价值观压缩为少数几个轴（axes），使其变得易于研究，这些轴捕捉了 Claude 回应中的关键模式。每个轴都是两组价值观之间的数字线——例如，一端是与情感温暖相关的价值观，另一端是与严谨相关的价值观——而 Claude 在这条线上的位置告诉我们它倾向于哪种价值观。

我们应用这种方法来衡量 Claude 所表达的价值观如何随两个因素变化。首先，我们比较了不同模型之间 Claude 所表达价值观的差异。每个 Claude 模型都体现了略有不同的角色训练方法以及许多其他微调决策。由于我们的价值观轴方法量化了模型之间的关键差异，它最终可能使我们能够将 Claude 所表达价值观的变化与不同的训练决策联系起来。

其次，我们希望了解用户在使用不同语言与 Claude 交流时的体验差异。我们之前的研究表明，Claude 在不同语言中的行为略有不同。² 我们应用价值观轴方法来理解 Claude 在 Claude.ai 上排名前 20 的语言中所表达的价值观如何变化。

我们发现：

四个关键轴捕捉了 Claude 价值观中 15% 的变化：³

这些轴上的价值观概况与模型角色的感知相符。Sonnet 4.6 被认为特别温暖，而 Opus 4.7 以严谨著称。我们发现每个模型的价值观概况都反映了这些主观评估：Sonnet 4.6 倾向于表达更多对用户的尊重和情感温暖，而 Opus 4.7 则倾向于表达对准确性和精确性的关注以及防止滥用。

Claude 所表达的价值观因语言而异。当 Claude 用英语交流时，它强调的价值观与用葡萄牙语、印尼语或中文时不同。⁴ 最大的变化出现在“温暖 vs. 严谨”轴上，Claude 在阿拉伯语和印地语中最倾向于表达与温暖相关的价值观，而在英语和俄语中最倾向于表达与严谨相关的价值观。

通过这种方法，我们可以开始探究为什么价值观会因模型和语言而发生变化，并更好地测试行为训练或文化背景等因素如何影响 Claude 所表达的价值观。

最终，我们的目标是找到一种方法，能够凭经验理解 Claude 所表达的价值观，以及这些价值观如何在不同情境下变化。在这项工作中，我们特别关注价值观如何在模型和语言之间变化。但我们之前的工作《野外的价值观》（Values in the Wild）识别出了 Claude 表达的 3,000 多种价值观。逐一比较这数千种价值观既笨拙又会掩盖更广泛的趋势。

为了简化价值观的比较，我们构建了价值观轴，根据哪些价值观倾向于在真实对话中同时出现，将这些数千种价值观减少到几个基本维度。例如，被描述为“温暖”的 Claude 回应通常也被描述为“鼓励”和“积极”。这些相同的“温暖”回应则较少被描述为“严谨”和“准确”。构建一个从温暖到严谨的轴，使我们能够组织这些相关的价值观组——温暖相关价值观在一侧，严谨相关价值观在另一侧——并捕捉了 Claude 在对话中与某人互动的一个重要方面。如果 Claude 在一次对话中表达的温暖相关价值观多于严谨相关价值观，那么该对话就位于这个轴的温暖侧，反之亦然。这并不意味着两端的价值观组是互斥的——Claude 可以在同一次对话中表达温暖和严谨。但在实践中，Claude 在轴的一侧表达的价值观越多，它在另一侧表达的价值观就越少。这些轴使我们能够比较 Claude 所表达的最显著的价值观组，而无需追踪数千个单独价值观的变化。

为了构建价值观轴，我们从《野外的价值观》中识别的 3,307 种价值观开始，手动聚类了含义相似的价值观，生成了一个包含 339 个高层价值观的较短列表。接下来，使用我们的隐私保护分析工具，我们抽样了 309,815 次 Claude.ai 对话，其中用户向 Claude 提出了主观任务。⁵ 我们的样本平均来自三个模型（Sonnet 4.6、Opus 4.6、Opus 4.7）和 Claude.ai 上最常用的 20 种语言，每个模型-语言对大约有 5,000 次对话。对于每次对话，该工具使用 Claude 将 339 个高层价值观中的每一个标记为存在或不存在。⁶ 我们遵循相同的过程来识别用户表达的价值观，以及对话的任务和主题。然后我们应用了降维（dimensionality reduction）技术，该技术根据 Claude 倾向于同时表达的价值观，将标记的价值观压缩到轴上。有关方法细节、提示、附加分析和局限性，请参见附录。

这给我们留下了四个轴，它们捕捉了 Claude 所表达的价值观在对话之间变化的主要方式：

为了确保我们测量的是 Claude 表达的价值观——而不是用户询问内容或提问方式的差异——我们控制了每次对话的任务、主题和用户表达的价值观。

在本节中，我们比较了不同模型表达的价值观。对于每个模型，我们平均其所有对话在四个轴上的位置，为每个轴提供一个总体位置。结果是一个高层图景，显示了每个模型倾向于比其他模型更多地表达哪些价值观组。这些差异相对于对话之间的变化来说很小，但具有结构性且可检测。

为了看看这些差异在实践中是什么样子，我们放大到模型分歧最大的具体价值观。每次我们基于 Claude 的隐私保护工具在对话中标记一个价值观时，它还会写一段简短描述，说明 Claude 如何表达该价值观。我们将反映价值观组内相似行为的描述分组，并在图 3 中进行总结，从而更具体地展示模型之间的差异。

这些发现与人们（无论是在 Anthropic 内部还是在线）对这些模型的看法一致。Claude.ai 用户评论说，Opus 4.7 比其他模型更频繁地对其答案进行限定。Anthropic 员工将 Opus 4.7 描述为表达相对更多的透明度、诚实和谦逊，而 Opus 4.6 则表达更多的简洁性。我们还在其发布博文中将 Sonnet 4.6 描述为温暖、诚实和亲社会。我们的轴能够重现这些印象，这一事实表明，我们标记和比较 Claude 所表达价值观的方法正在追踪模型实际行为中的真实情况。

在许多对话中，用户在与不同的 Claude 模型交互时可能会遇到不同的价值观组合。例如，Opus 4.7 倾向于对用户的工作提出坦诚的批评或主动发出关于风险的警告，而 Sonnet 4.6 则倾向于鼓励和幽默。模型之间价值观的此类差异很可能受到角色训练决策（以及其他因素）的影响，而我们的价值观轴方法突出了 Claude 所表达价值观的关键差异，我们最终可能能够将这些差异追溯到这些训练选择。

我们预计 Claude 所表达的价值观会因对话语言而异，原因有几个。首先，Claude 的训练数据因语言而异，这可能会影响它表达的价值观。其次，我们在系统卡中分享的模型评估已经发现，Claude 在不同语言中在知识掌握和处理敏感请求方面存在差异。⁷ 衡量 Claude 所表达的价值观因语言而异的程度，是确定这些跨语言差异是反映了合理变化还是应在训练中加以解决的第一步。

我们使用与上一节相同的方法，计算了 Claude 的价值观概况在 Claude.ai 上 20 种最常用语言之间的差异。下面，我们绘制了 Claude 在 Claude 平台上主要语言中的价值观概况，从 Claude 所表达价值观差异最大的语言开始。

Claude 的价值观表达在“温暖 vs. 严谨”和“坦诚 vs. 执行”轴上因语言而异最大，而在“尊重 vs. 谨慎”和“深度 vs. 简洁”轴上最为稳定。

综合来看，这些结果表明，Claude 所表达的价值观会随着对话语言的变化而有意义地变化。面对相同类型的请求，Claude 在某些语言中更倾向于温暖和尊重，而在其他语言中更倾向于严谨和谨慎。这具有重要的影响，我们才刚刚开始探索。举一个例子：两个人用不同的语言（一人用印地语，一人用俄语）就同一份商业计划书征求反馈，可能会对其质量产生不同的印象，因为 Claude 在构建其评估时表达了不同的价值观。

我们尚不清楚训练数据的哪些属性导致了这些差异。一种可能性是我们的训练数据在不同语言之间分布不均。某些语言的数据远多于其他语言，而训练 Claude 表达一致的价值观在数据丰富的语言中可能更有效。数据的构成也各不相同。例如，某些语言可能在专业写作中占比过高，而这种文本可能反映了不同的价值观。这些数量和质量上的不平衡共同可能导致 Claude 在不同语言中表达不同的价值观。

我们也不确定这种变化有多少是可取的。不同的语言承载着不同的对话规范，Claude 可能根据这些规范以不同的价值观做出回应。Claude 也可能在某些语言中更接近我们的预期行为，而在其他语言中则不然，从而导致 Claude 服务某些语言社区的效果存在差距。

这种方法使我们能够开始梳理训练数据的哪些属性导致了这些差异——以及这种变化是否可取。

我们展示了 Claude 所表达的价值观可以压缩为少数几个轴，并且 Claude 在这些轴上的位置会因模型和语言而变化。这为我们提供了一种在模型评估和部署后监控中跟踪这些变化的方法。但我们还不理解这些变化为何发生，或者它们对与 Claude 互动的人意味着什么。下面，我们勾勒出我们认为最有前景的未来方向。

这些价值观差异从何而来？

知道 Claude 的价值观因模型和语言而异并不能告诉我们原因。一些变化可能源于预训练和微调数据在不同语言中的差异。我们的四个轴突出了在训练数据中需要更仔细检查的价值观差异。将这些差异追溯到特定的数据、训练阶段或上下文因素，将向我们展示如果我们想以更细致的方式塑造 Claude 的行为，应该在何处进行干预。

这些差异对用户意味着什么？

我们已经测量了 Claude 表达的不同价值观及其相关行为，但没有测量这些对用户的影响。使用像 Anthropic Interviewer 这样的工具，我们可以询问用户的幸福感、对 Claude 的信任度或 Claude 的决策质量，然后将这些影响与 Claude 表达的价值观相关联。这将使我们能够直接将价值观差异与用户结果联系起来，并让我们优先修复那些对用户有实际影响的价值观差异。

Claude 的价值观应如何因语言而异？

Claude 的宪法描述了它应该表达的核心价值观，如温暖、谨慎和诚实，但没有具体说明这些价值观应如何因语言而异。我们的结果表明，不同语言的用户已经在体验不同的 Claude，但我们不知道使用这些语言与 Claude 互动的用户希望看到什么样的变化。确定 Claude 的价值观应如何因语言而异，意味着要理解并权衡使用这些语言的人的观点。

还有哪些其他因素驱动 Claude 所表达价值观的差异？

语言和模型不太可能是决定 Claude 表达何种价值观的唯一因素。价值观也可能受到人口统计信号（如年龄、职业或地理区域）的影响，无论是通过用户书写内容中的明确线索，还是通过与提问者相关的主题、语气和风格中更微妙的差异。理解哪些信号是重要的，以及由此产生的变化是否很好地服务了用户，是我们方法所实现的下一步。

我们能否可靠地引导 Claude 所表达的价值观？

拥有一种测量模型价值观概况的方法自然会引出一个问题：我们能否可靠地引导 Claude 所表达的价值观？我们可以通过尝试通过角色训练调整或系统提示更改来引导价值观，然后使用我们的价值观轴方法验证模型的表达价值观是否按预期变化，来测试这一点。

价值观概况能否成为我们评估和监控模型的一部分？

价值观轴方法为我们提供了一种简单的方法来总结模型在开放式对话中的行为倾向，我们可以将其纳入我们的评估流程。在模型发布前和发布后运行价值观概况分析，可以标记出 Claude 所表达价值观的意外变化。我们还可以识别价值观概况与问题行为（例如不遵守 Claude 的宪法）之间的相关性，并利用所学知识改进 Claude 的行为。

Claude 每天在数百万次对话中表达价值观，涉及数十种语言，而在此之前，这些价值观是我们可以在训练中塑造但无法在部署中可靠观察到的。现在我们有了测量它们的方法，我们可以看到 Claude 所表达的价值观以我们并未刻意选择的方式变化，并且我们可以研究它们为何变化以及这种变化是否服务于用户。理解这种变化并决定如何应对，是我们将继续进行的工作。

Matt Kearney, Miranda Zhang, Shan Carter, Judy Hanwen Shen, Kunal Handa, Jerry Hong, Saffron Huang, Miles McCain, Thomas Millar, Michael Stern, Mo Julapalli, Suzanne Wang, Devin Kuokka, Andrea Vallone, Shaoyi Zhang, Jim Baker, Kevin Troy, Matt Botvinick, Hanah Ho, Monika Tuchowska, Sarah Pollack, Jake Eaton, Deep Ganguli, Esin Durmus

致谢

感谢以下个人在本工作的不同阶段提供反馈：Amanda Askell, Joe Carlsmith, Jack Clark, Ishita Dasgupta, Andrew Lampinen, Shayne Longpre, David Saunders, Taylor Sorensen, Heather Whitney。

可在此处获取。