支持关于人们如何使用Claude的独立研究

今年早些时候，我们进行了一项试点，让外部研究人员能够访问聚合的、真实世界的Claude使用数据。三个研究团队为我们的隐私保护分析工具Anthropic Insights设计了各自的研究；我们代表他们进行数据收集，他们则进行独立的分析。在这篇文章中，我们分享这些研究的高层结果以及我们在运行此试点过程中的收获。我们还为未来可能希望与我们合作的研究人员提供了一份意向表达表格。

确保向变革性AI的过渡顺利进行，需要理解其对人们和社会的影响。目前，关于AI真实世界交互的数据集中在少数实验室手中。我们认为，让更多数据广泛可用——面向研究人员、政策制定者和公众——将是有益的。

实验室之外的研究人员有两个选择。他们可以利用实验室发布的分析，这些分析反映了真实使用情况，但往往回答的是实验室自身的问题，而非他们自己的问题。或者，他们可以使用公共数据集，这些数据可以按自己的意愿研究，但偏向于更随意的使用，可能无法反映大多数人实际如何使用AI。对于独立研究AI的实际使用情况而言，这两种方式都不足够。

今年春天，我们试点了一个项目，让三个外部研究机构通过Anthropic Insights（前身为“Clio”）设计和运行他们自己的关于Claude使用数据的研究。Anthropic Insights是我们内部团队用来分析数百万Claude对话使用模式的隐私保护工具。我们希望未来能扩大这一项目，因此我们还对所有与第三方研究人员共享的数据进行了额外的隐私审计，以验证我们的隐私保护措施是否有效（见附录）。

我们相信，这是外部研究人员首次在AI公司自身的使用数据上运行公开的独立研究。下面，我们讨论外部团队的发现、我们在运行试点过程中的收获，以及我们在决定如何更广泛扩展该项目时所权衡的因素。我们还公开发布了每个项目的聚合数据。

我们与三个研究团队合作：斯坦福大学的社会与语言技术（SALT）实验室、牛津大学的人类信息处理实验室，以及评估前沿AI模型的非营利组织METR。每个团队都制定了各自的研究问题，并使用Anthropic Insights对2026年4月至5月期间约25万次Claude.ai或Claude Code对话进行了隐私保护分析。

我们希望外部合作伙伴尽可能独立，因此我们的合同审查权仅限于用户隐私、可能帮助他人违反我们使用政策的信息、Anthropic的机密信息以及研究准确性。除此之外，Anthropic对研究结果的内容没有发言权，研究人员可以自由发布他们的结果，即使这些结果对Anthropic不利。以下是部分早期结果。我们对这些方向感到兴奋，也期待现在数据公开后其他人会发现什么。

社会与语言技术实验室研究了人类如何与AI协作。他们考察了人们将哪些类型的工作交给AI、人类在完成这些工作时保留了什么角色，以及人机协作在哪些环节出现问题。他们发现：

完整报告请见此处。

人类信息处理实验室正在研究人们在使用Claude时的感受，以及这些感受与Claude行为之间的关系。他们的早期结果表明：

他们仍在完成报告。一旦公开，我们将在此处添加链接。

METR正在估算编码代理带来的实际生产力提升，以及这些生产力提升如何随模型代际变化。他们对Claude Code对话的分析仍在进行中，但早期结果表明：

他们仍在完成报告。一旦公开，我们将在此处添加链接。

共享使用数据在AI领域几乎是前所未有的，因此这次试点既是对运行此类项目的实验，也是以隐私保护方式支持第三方研究的一种途径。保护用户隐私和研究人员的独立性都至关重要，而我们都做到了。Anthropic Insights正是为此设计的——研究人员从未访问过原始对话，只看到经过与我们内部工作相同的法律和隐私审查后的聚合输出。然而，所有这些都使试点在AI实验室通常的研究速度下显得缓慢，且资源密集。这两个因素都对有效扩展构成了挑战。关于我们如何运行此试点的更多细节，请参见附录。下面我们讨论我们的收获以及如何应对出现的挑战。

从不同角度探讨同一问题是有价值的。我们一些合作伙伴的研究问题与内部正在进行的工作有所重叠。例如，METR的提案与我们的经济学研究“代理编码与专业知识的持续回报”类似。我们发现这种重叠很有价值：它让外部研究人员有机会检查类似数据并得出自己的结论。这些结论是否与我们的一致，我们将在他们的研究继续时跟进。我们还将METR与我们的经济学团队联系起来，发现这种联系改善了两个研究团队的工作。

内部有效的研究方法需要为外部合作伙伴进行调整。使用Anthropic Insights时，研究人员会写一个问题，例如“这个人在寻求什么类型的指导？”然后Claude对研究中的每次对话进行回答。答案随后被聚合到类别中；研究人员只能看到最终类别和每个类别下的对话百分比。由于我们依赖Claude的判断，该工具对问题的措辞很敏感；措辞不当的问题可能会将对话归入不准确的类别。由于没有人能阅读底层对话，这些错误很难被发现。

在内部，我们通过数周内多次迭代问题来管理这一点。外部合作伙伴无法做到这一点，因为在共享每个数据集之前进行重复的隐私审查会使研究不可行。相反，我们让他们在WildChat（一个公开的人机对话数据集）上测试问题，他们可以在那里对照底层对话检查答案。但WildChat偏向于随意和创造性使用，与Claude流量不同，因此一些在WildChat上表现良好的问题在应用于实际Claude对话时会产生误导性类别。我们通过提供关于如何解释Anthropic Insights输出的指导来解决这个问题（见附录）。展望未来，我们正在探索如何让外部研究人员更有效地提前开发问题和类别。

在保持对滥用的透明度的同时不助长滥用。我们合作伙伴的Anthropic Insights输出中的一些类别暴露了违反我们可接受使用政策或服务条款的行为——例如，一个寻求禁止活动指导的类别。我们认为公众应该了解我们平台上的滥用情况，因此我们分享了大部分违规行为。例外是那些描述用户如何绕过我们的安全措施而非他们试图做什么的类别。每项研究中受影响的类别和对话不到5%，在每种情况下我们都告知研究人员我们更改或删除了哪些聚类以及原因。作为标准做法，当Anthropic Insights出现此类违规时，我们会将聚合数据分享给我们的安全团队进行审查。这也是我们未来与外部研究人员合作的重要流程。

理解AI对社会的影响，仅靠AI公司自身是远远不够的。真正的监督需要外部研究人员对真实世界使用数据提出自己的问题，并独立发布他们的发现。

这次试点是一个实验：外部研究人员能否在我们的平台上进行独立研究，同时不损害用户隐私？这项工作比我们预期的更具挑战性，我们学到了很多教训，但到目前为止答案似乎是肯定的。我们的合作伙伴进行了我们不会想到自行设计的研究，每个人都告诉了我们关于AI实际影响的新信息。这是一个有希望的第一步，但还有更多工作要做。

下一步是确定我们能否扩展这一项目，既包括在上述约束下我们能支持哪些类型的研究，也包括我们能同时运行多少项。我们正在缓慢起步，以确保隐私、安全和研究质量。我们希望评估兴趣并了解研究人员想研究什么。如果您是研究人员，并且访问Anthropic Insights能让您开展目前无法进行的工作，请填写此表格。

完整附录可在此处获取。它描述了我们的项目运行方式，包括我们如何选择三位合作伙伴、我们撰写的解释项目目标和Anthropic Insights功能的研究入门指南，以及每个项目如何从提案到研究设计再到分析。它还包括我们合作协议的细节，其中明确说明合作伙伴可以自由发布发现，即使这些发现对Anthropic不利。此外，我们还涵盖了由伦敦帝国理工学院进行的第三方隐私审计，以及我们对所有发布数据所持有的隐私威胁模型。我们还包括关于如何解释我们发布的合作伙伴Anthropic Insights研究数据的指导。

Kunal Handa领导了该项目，与合作伙伴合作制定研究提案，起草研究指导和合同，运行合作伙伴的Anthropic Insights研究，帮助构建支持合作伙伴研究的技术基础设施，参与Anthropic Insights输出的内部审查，并撰写了博客文章。Miranda Zhang协调了合作伙伴关系和沟通，并为所有部分的工作做出了贡献。Gabriel Nicholas协调了第三方隐私审计、Anthropic Insights输出的内部审查，并为所有部分的工作做出了贡献。Miles McCain撰写了关于解释Anthropic Insights输出的指导，开发了支持合作伙伴研究的技术基础设施，参与了Anthropic Insights输出的内部审查，并对博客文章和隐私威胁模型提供了反馈。Ryan Heller为支持合作伙伴研究贡献了技术基础设施。Saffron Huang参与了Anthropic Insights输出的内部审查，并提供了关键反馈和讨论。Thomas Millar和Suzanne Wang为支持合作伙伴研究的技术基础设施和Anthropic Insights输出的内部审查做出了贡献。Shan Carter、Mo Julapalli、Matt Kearney、Sarah Pollack和Judy Shen参与了Anthropic Insights输出的内部审查。Matthew Jagielski为隐私威胁模型做出了贡献。Shaoyi Zhang为支持合作伙伴研究贡献了技术基础设施。Heather Whitney、Ankur Rathi、Aisling Keenan和David Saunders在整个项目中提供了法律和隐私指导。Jake Eaton和Sylvie Carr为博客文章的框架和撰写做出了贡献。Jack Clark和Michael Stern在整个过程中提供了宝贵的指导、支持和讨论。Deep Ganguli在项目的所有阶段提供了详细的指导、组织支持和反馈。

此外，我们感谢Miriam Chaum、Ishita Dasgupta、Esin Durmus、Adam Farina、Zoe Hitzig、Jerry Hong、Devin Kuokka、Hendson Lin、Maxim Massenkoff、Peter McCrory、Maryam Quasto、Nitarshan Rajkumar、Amie Rotherham、Divya Siddarth、Taylor Sorensen、Jerome Swannack、Alex Tamkin、Molly Villagra、Scott White和Charles Yang的有益想法、讨论、反馈和支持。

对于他们在本项目中的合作，我们感谢斯坦福大学社会与语言技术实验室的Vishakh Padmakumar、Yijia Shao、Jennifer Wang、Diyi Yang和Dora Zhao，牛津大学人类信息处理实验室的Tsvetomira Dumbalska、Hannah Rose Kirk和Christopher Summerfield，以及METR的Joel Becker（现任职于Anthropic）、Daniel Paleka和Parker Whitfill。

对于进行第三方隐私审计，我们感谢Zexi Yao、Bozhidar Stevanoski、Peter Romov、Euodia Dodd、Xiaoxue Yang和Nataša Krčo。