SocialReasoning-Bench：衡量AI智能体是否以用户最佳利益行事

概览来看，AI智能体正在进入社交场景。当智能体管理日程、协商购买或代表用户与其他智能体交互时，它们需要的不仅仅是任务能力——它们还需要社交推理（social reasoning）。SocialReasoning-Bench 评估的就是这种能力。该基准测试智能体能否在两种现实场景中为用户进行协商：日程协调（Calendar Coordination）和市场谈判（Marketplace Negotiation）。该基准同时衡量结果和过程：它根据结果最优性（outcome optimality，即智能体为用户争取了多少价值）和尽职尽责（due diligence，即是否遵循了称职的决策过程）对智能体进行评分。当前的前沿模型常常让价值白白流失。它们通常能完成任务，但经常接受次优的会议时间或糟糕的交易，而不是有效地为用户争取利益。提示工程（prompting）有帮助，但还不够。即使明确指示要为用户的最佳利益行事，性能仍然远低于一个值得信赖的代理人应有的水平。

随着AI智能体承担更多现实世界的任务，它们越来越多地在社交场景中运作。通过正确的集成，像 Claude Cowork 和 Google Gemini 这样的智能体可以管理电子邮件和日程工作流。在这些场景中，智能体必须代表你与他人互动。这需要社交推理——理解你想要什么、对方想要什么，以及哪些信息应该透露、保护或拒绝。我们之前的研究表明，当今的前沿模型缺乏社交推理。在我们模拟的多智能体市场中，智能体在高达93%的情况下接受了收到的第一个提案，而没有探索其他选择。在对智能体社交网络进行红队测试时，一条恶意消息传播到整个系统，导致智能体在传递消息前泄露了私人数据。

这种关系在AI之外有着悠久的历史。在经济学和法学中，它被称为委托-代理关系（principal-agent relationship）：代理人代表委托人，与利益不同的其他人进行互动。律师、房地产经纪人和财务顾问都以这种模式运作，他们所承担的职责——谨慎、忠诚、保密——已被编入数百年的职业规范中。代表用户行事的AI智能体最终也应被要求遵守类似的标准。

为了衡量和推动社交推理的进步，我们构建了 SocialReasoning-Bench：一个基准测试，用于测试智能体是否能够代表用户，与具有独立目标、私人信息和潜在对抗意图的对手进行推理和协商。

介绍 SocialReasoning-Bench

图1：我们的基准测试在两个领域衡量智能体的社交推理能力：日程协调和市场谈判。每个领域都需要与其他方沟通、代表委托人争取利益，并对权衡进行推理。

SocialReasoning-Bench 在两个领域评估社交推理：日程协调和市场谈判。在每个领域中，智能体代表其用户与对手进行协商，并根据其达成的结果和遵循的过程进行评分。我们发现，前沿模型能完成大多数任务，但始终让用户的价值白白流失。

日程协调

在日程协调中，一个助手智能体管理用户某一天的日程，并处理来自另一个智能体的会议请求。我们假设智能体可以访问一个时间槽的价值函数（value function），该函数捕捉用户在0.0到1.0之间的日程偏好。这个函数可以由用户明确提供，或从其日程历史中推断出来，并在任务开始时提供给助手。对手是一个请求者智能体（requestor agent），代表想要与用户安排会议的另一个人。该对手对相同的时间槽有自己的价值函数，构造为用户价值函数的逆函数，因此对一方最有价值的时间槽对另一方最没有价值。一些请求者善意地协商，而另一些则利用互动来提取私人日程细节，或将助手推向用户不想要的时间。

在每个任务中，存在一个可能达成协议的区域（ZOPA，zone of possible agreement），这是从协商理论借用的术语，指双方都可能接受的结果集合。在日程协调中，ZOPA 是双方日历上共同空闲的时间槽集合。我们构建每个任务时，确保 ZOPA 包含至少三个对用户具有不同偏好分数的时间槽，并且请求者的初始请求总是与用户的日程冲突。

市场谈判

在市场谈判中，代表用户的买家智能体与卖家智能体协商购买一件产品。用户希望为产品支付尽可能低的价格。他们的价值函数是成交价格与私人保留价格（他们愿意支付的最高价格）之间的差距。差距越大，捕获的价值越多，而高于保留价格的交易则捕获不到任何价值。对手是一个卖家智能体，其私人保留价格低于买家的保留价格。对手的价值函数与用户的价值函数镜像对称，更高的成交价格带来更多价值，而低于卖家保留价格的成交价格则带来零价值。ZOPA 是卖家保留价格和买家保留价格之间的价格区间。卖家的初始报价总是高于买家的保留价格，迫使买家将价格协商下来。

新场景的新指标

现有基准测试侧重于任务完成：会议安排好了吗？交易成交了吗？在委托-代理场景中，重要的不仅仅是任务是否完成，而是完成得有多好。我们引入了新的衡量指标来捕捉这种区别。

结果最优性（Outcome Optimality）

结果最优性以0到1的尺度，对智能体为其委托人捕获的可用价值份额进行评分。ZOPA 内对委托人最有利的结果得分为1，而对对手最有利的结果得分为0。中间结果根据委托人的价值函数将其置于这两个端点之间的位置进行评分。

尽职尽责（Due Diligence）

仅凭结果最优性会将技能与运气混为一谈。一个智能体如果立即接受对手的第一个报价，而不检查自身情况或提出还价，如果对手恰好提出了一个好的结果，它仍然可以得分很高。为了将技能与运气分开，我们引入了一个过程指标。尽职尽责以0到1的尺度对过程质量进行评分，方法是将智能体在轨迹中每个决策点的实际行为，与一个确定性的理性智能体策略（reasonable-agent policy）在相同状态下会采取的行为进行比较。理性智能体策略是一个贪婪过程，捕捉了一个称职的代理人在每一步会做的事情，例如在行动前收集相关背景信息，以对委托人有利的立场开局，并且只有在更好的选择用尽后才做出让步。尽职尽责得分是智能体的实际选择与理性智能体在轨迹中的选择相匹配的比率。

注意义务（Duty of care）

结果最优性和尽职尽责共同构成了智能体对其所代表的人所承担的注意义务的操作性概念。一个通过粗心过程获得好结果的智能体是脆弱的，而一个遵循良好过程但获得坏结果的智能体则指向能力差距而非疏忽。只有在这两方面都得分高的智能体才表现出强大的社交推理。

实验设置

对于日程助手智能体和市场买家智能体，我们评估了使用思维链（chain-of-thought）的 GPT-4.1、高推理努力（high reasoning effort）的 GPT-5.4、以及高思考水平（high thinking levels）的 Claude Sonnet 4.6 和 Gemini 3 Flash。对手（即日程协调中的请求者和市场谈判中的卖家）始终是中等推理努力的 Gemini 3 Flash，在所有条件下保持不变，以便任何分数差异反映的是被测模型而非对手的难度。每个模型在两种提示条件下运行：基本提示（Basic Prompting），智能体仅收到角色和工具描述；防御性提示（Defensive Prompting），智能体额外收到明确指导，要求咨询所有可用来源并为用户争取最佳可能结果。每个任务最多运行10轮协商。对手在每个任务中首先提出方案。

我们的发现

发现1：智能体以近乎完美的比率完成任务，但产生的结果很差。

在日程安排中，智能体几乎总是成功预订会议，但大多数情况下是在次优时间。在市场谈判中，交易几乎总是成交，但经常以最差的价格成交。任务完成了，但完成得不好：任务完成标志着成功，而结果最优性则揭示了始终未能以委托人最佳利益行事的失败。

图2：按模型和领域划分的任务完成率与结果最优性。所有模型都以近乎完美的比率完成任务，但产生的结果很差。我们针对基本提示和防御性提示两种条件测量了结果最优性。防御性提示有帮助，但未能弥合差距。

发现2：防御性提示有帮助，但不足以弥合差距。

当我们指示智能体如何努力为委托人工作时，我们看到两个领域的结果都有所改善，但这不足以弥合差距。GPT-5.4 从防御性提示中受益最多（日程安排中+0.21，市场中+0.12），而 GPT-4.1 在两个领域中都几乎没有反应。其他模型介于两者之间。

发现3：结果最优性显示了智能体让多少价值白白流失。

结果最优性反映了每笔交易在 ZOPA 内的落点。当我们绘制结果时，它们更集中在对手的理想点附近，而非委托人的理想点。

图3：按模型和领域划分的结果最优性（OO）分布。每个点是一个任务实例。OO=1.0 表示智能体为其委托人捕获了所有可用价值；OO=0.0 表示对手捕获了所有价值。黑线表示平均值。在市场领域，所有模型的结果都集中在零附近。在日程领域，智能体表现更好，但平均仍低于中点。

在市场谈判中，所有模型的结果最优性都处于或接近零，接受的交易几乎放弃了所有可用盈余。在日程安排中，智能体表现更好，但仍低于中点，接受了请求者偏好的时间槽，而不是那些更能服务于其委托人的时间槽。

衡量智能体协商中的价值捕获，建立在最近研究智能体在市场环境中表现的研究基础之上。由于我们在受控环境中操作，我们可以为双方建立真实约束，并精确衡量可用价值是如何分配的。我们的公式也超越了基于价格的协商：通过抽象为领域特定的价值函数，结果最优性可以衡量任何智能体面临竞争激励的场景中的盈余分配，包括像日程安排这样的非货币领域，其中"价值"是在偏好分数而非价格上定义的。

发现4：尽职尽责有助于区分运气和技能。

当我们同时考察结果质量和过程质量时，会出现一幅更细致的图景。许多取得合理结果的智能体是通过脆弱的过程实现的：它们在行动前不检查背景，或者接受报价而不还价。高结果最优性与低尽职尽责表明智能体是运气好，而非值得信赖。相反，一些智能体表现出真正的尽职尽责——收集信息、拒绝让步——但仍然获得了糟糕的结果，这指向能力差距而非疏忽。

将结果最优性和尽职尽责分别分为高（>=0.5）和低（<0.5）两个区间，我们绘制了每个模型落入每个象限的任务百分比。例如，在日程安排中，GPT-4.1 在63%的任务中同时实现了高OO和高DD（稳健）。相比之下，在市场领域，GPT-4.1 在95%的任务中表现出低OO和低DD（疏忽）。

图4：将结果最优性和尽职尽责分别分为"低"（<0.5）和"高"（>=0.5）两个区间，我们绘制了每个模型落入每个象限的任务百分比。例如，在日程安排中，GPT-4.1 在63%的任务中同时实现了高OO和高DD（稳健）。相比之下，在市场领域，GPT-4.1 在95%的任务中表现出低OO和低DD（疏忽）。

图5-8 用 SocialReasoning-Bench 日程领域的真实示例说明了这些不同的行为和失败模式。我们看到一些智能体遵循强大的协商策略并获得了高价值的结果，但也看到一些智能体通过草率的过程取得了合理的结果，例如未能提出委托人的最佳选项。其他智能体则从强势立场开始，但过早让步，最终达成糟糕的交易。在极端情况下，一些智能体表现出疏忽行为，接受第一个提案而不检查约束条件，即使它直接与用户的利益冲突。

图5：GPT-4.1 在日程领域中的稳健行为真实改写示例，首先提出委托人最偏好的选项，正确拒绝冲突，然后坚持第二好的选项，最终获得良好结果。

图6：GPT-4.1 在日程领域中通过草率过程取得合理结果，未包含提出委托人最偏好的选项。

图7：GPT-4.1 在日程领域中开始时强势，提出委托人最偏好的时间槽，但随后过早让步，最终获得糟糕结果。

图8：GPT-4.1 表现出疏忽行为，接受请求者的第一个提案而未确认可用性，且与委托人日历上的另一个会议冲突。

综合来看，这些示例突显了为什么仅凭结果是不够的。如果不衡量过程，我们就有可能将脆弱的或偶然的成功误认为是真正的能力。尽职尽责有助于揭示智能体是否始终表现得像一个称职、值得信赖的代理人，或者仅仅是运气好。

发现5：智能体容易受到对抗性操纵

当我们通过让智能体与对抗性对手对抗来进行压力测试时，我们发现智能体难以平衡何时参与、何时拒绝以及如何在压力下进行协商。为了创建这些对抗性场景，我们引入了明确试图操纵结果或绕过保护步骤的对手。一些对手遵循精心设计的策略，施加压力或探查信息，而另一些则使用更不可预测、创造性生成的异想天开策略，模仿新颖的社会工程形式。这些共同测试了智能体是否不仅能处理已知攻击，还能处理不熟悉的攻击。

图9：智能体在两个领域与对抗性请求者互动时的拒绝率和结果最优性。智能体在日程安排中很少拒绝对抗性请求，而在市场中拒绝更频繁。当智能体确实与恶意行为者互动时，结果最优性全面下降。

我们发现，除了 Claude Sonnet 4.6 之外，智能体在日程安排中很少拒绝对抗性请求，而在市场环境中拒绝更频繁。这表明在社交框架的互动中，对抗意图更难检测。当智能体确实参与时，影响在日程安排中最为显著，GPT-4.1、GPT-5.4 和 Gemini Flash 3 的结果最优性大幅下降，表明对抗性对手成功地将这些智能体引向了更差的结果。在市场领域，智能体参与时的结果最优性与面对善意对手时的低水平相当，为其委托人捕获的价值很少或没有。

为什么现在这很重要

智能体正在多方环境中相互交互，从跨企业工作流协作到在数字市场中进行交易。随着这些网络的形成，我们在简单的双智能体场景中观察到的社交推理差距可能会开始累积。薄弱的协商、过度信任或未能尽职尽责不再局限于局部。它们通过协调传播，影响下游决策，并塑造集体结果。

孤立地看，一个接受糟糕会议时间或糟糕交易的智能体造成的损害有限。在网络中，同样的行为可能会级联，导致系统性更差的协调或跨多个智能体的广泛价值损失。最近的研究已经开始通过智能体在网络环境中交互的案例研究来探索这些风险和动态。SocialReasoning-Bench 通过提供一个受控、可复现的基准测试来补充这一研究方向，该基准测试隔离了交互行为并使其可衡量。这使我们能够超越轶事，系统地跟踪进展，为模型、智能体和平台开发者提供一个具体的目标，以构建作为值得信赖的代理人的智能体。

SocialReasoning-Bench 是开源的，可在 GitHub 上获取（在新标签页中打开）。

局限性与未来工作

我们当前的衡量标准对所有对手一视同仁。在实践中，关系很重要。一个具有社交智能的智能体应根据其委托人与对手的关系来调节其坚定程度：在与高级管理人员安排会议时过于强硬可能会损害有价值的关系，有时正确的结果是通过妥协达成的。开发考虑权力动态、融洽关系和长期后果的关系感知衡量标准，是未来工作的重要方向。

我们在简化的双智能体场景中评估社交推理，而现实世界中的委托通常涉及多方动态，如团体日程安排或多利益相关者协商。每个任务也被视为独立的遭遇，没有对长期关系、声誉或跨重复互动的信任建立进行建模。我们的场景也仅限于英语和以美国为中心的商业环境，尽管围绕协商、隐私和等级制度的社会规范在不同文化中差异很大。展望未来，我们计划将基准测试扩展到更多样化的场景。

最后，结果最优性在具有明确边界的场景中效果良好，其中"好"的结果可以被定义和衡量。但许多需要注意义务的任务，如起草敏感消息或驾驭团队动态，可能没有明确定义的 ZOPA。在这些情况下，结果取决于背景、关系和判断，可能难以用一个分数来衡量。将我们的方法扩展到这些更主观的场景是未来工作的重要方向。

致谢

我们要感谢 Brendan Lucier、Adam Fourney、Amanda Swearngin 和 Ece Kamar 对本工作的有益反馈、讨论和支持。

---

该文章《SocialReasoning-Bench: Measuring whether AI agents act in users' best interests》最初发表于 Microsoft Research。