Claude 在机器人任务中的表现

语言模型的能力能否迁移到机器人领域——一个需要综合逻辑技能和精确3D理解的领域？一个模型能否感知场景、理解特定机器人的状态，并发出能在物理世界中可靠产生变化的动作？

我们进行了测试来找出答案。我们让多个语言模型控制一系列机器人本体——包括经典控制玩具、模拟的四足机器人和人形机器人、一个机械臂，以及一个真实的Unitree Go2（Project Fetch的四足机器人）。我们为模型提供了多种控制方式，这些方式在抽象程度上有所不同（即指令的"高层级"程度）：从直接命令电机扭矩（最不抽象的一端），到编写控制器代码，到用强化学习从头训练控制器，再到向预训练的机器人策略（一个将高层级命令转化为协调关节运动的独立神经网络）提供高层级转向指令。我们测试了模型在三个方面的表现：经典控制问题（如平衡摆杆）、移动和导航（让有腿机器人平衡、行走和在空间中移动），以及操作（使用机械臂抓取和移动物体）。

模型在机器人任务上的能力正在快速提升，但我们发现，它们的能力在很大程度上取决于它们如何连接到机器人——即使用了哪种控制方法。当它们必须自己驱动关节时，大多会失败。但当它们监督一个预训练的控制器或使用简单的定向工具时，它们可以完成真实的导航和操作任务。某些形态的具身仍然笨拙且难以控制，但较新的模型，尤其是在跨领域调整策略以及将图像和感官理解转化为适当动作方面，要强大得多。

这对于语言模型的安全开发和部署具有重要意义。当前的前沿模型无法在没有预训练策略的情况下控制人形机器人，但较新的模型在我们测试的人形和四足机器人形态上，在直接操作和高级策略控制方面取得了真正的进展。我们预计未来的模型会更好。具体来说：一个没有经过机器人训练的通用的聊天模型，在顺利运行时，已经可以编写并下载自己的工具，让四足机器人缓慢地穿过迷宫，或者从台面上拿起一个盘子放到炉子上，而且可靠性差距随着每一代模型而缩小。

我们首先在一组简单的控制任务上评估与机器人相关的能力，包括经典的强化学习（RL）问题，例如平衡倒立摆和控制跳跃机器人。

尽管这些是简化的环境，但我们相信它们要求模型推理动力学、随时间变化的因果关系以及基础物理——这些能力是更通用的物理理解的重要前兆。在这些低维环境中，传感器数据提供了几乎所有必要的信息，使得它们可以在几乎没有视觉输入的情况下被解决。这种低维控制也出现在一些现实世界的场景中，例如相机稳定。

我们通过四种控制接口在模拟引擎Mujoco中进行评估。（贯穿全文，"经典控制"指代这一系列玩具任务；"直接控制"指代下面四种接口之一——它们是独立的维度。）在我们所谓的直接控制中，模型每一步选择低层级的动作，例如扭矩或力。在程序化控制中，模型编写一个Python控制器，在执行过程中将观测映射到动作。在策略控制中，模型可以访问一个预训练的策略并发出高层级命令，通常是自然语言。在强化学习监督中，模型训练一个策略，然后在测试时部署学到的策略。

为了近似直接控制性能的上限，我们在LLM调用之间暂停模拟器，这样实时延迟就不会主导结果。如果不这样做，许多直接测试会因一个微不足道的原因而失败：模型反应太慢，无法控制环境。我们预计推理速度会持续提高，这种设置可以清晰地看到最佳情况下的能力。

我们还设计了评估，以考虑到许多经典的RL任务在预训练语料库中频繁出现，这可能会限制我们的结论推广到新环境的程度。为了解决这个问题，我们保留了倒立摆和跳跃机器人任务作为控制任务，但也引入了一个基于弹球街机游戏的新任务。在TwinFlipper中，智能体控制一组挡板，并力求最大化球的总滞空时间——球在掉到挡板下方之前，保持在指定高度阈值以上且不接触任何东西的累计时间。虽然一个简单的解决方案是直接把球向上猛击，但通过以受控方式小心地让球上下弹跳，可以获得更长的滞空时间。这个任务被设计成一个具有少数自由度的混沌动态系统的代表性例子，并且所有模型之前都从未见过。

虽然单个任务上的表现有噪声，但纵观所有经典控制基准测试，可以看到持续的代际改进。Claude Opus 4.6和Opus 4.5在几乎所有任务上都优于两个早期版本，除了TwinFlipper-直接控制（所有模型表现都很差）和hopper-velocity（这是我们噪声最大的任务）。尽管如此，后两个模型在代码控制、强化学习方面显示出显著改进，在直接控制方面改进程度较小。

我们的结果表明，大部分改进来自于在看到先前结果后更好地调整并相应修改策略的能力。在具有自然终止点的任务上（最显著的是TwinFlipper和Pendulum），各模型的平均首次尝试表现非常相似，Claude Opus 4和Opus 4.1在这项指标上略优于后来的模型。更大的收益出现在后续尝试中，后来的模型改进幅度要大得多。Claude Mythos Preview是一个显著的例外；它在Pendulum上的许多首次尝试更加稳健。

几乎所有模型在训练RL策略时的表现都比创建Pythonic控制器时差。例外的是TwinFlipper，GPT-5.4是唯一一个持续学到合格策略的模型。考虑到它在其他控制接口下相对较差的表现，这一点非常引人注目。在Pendulum和Hopper上情况不同：Mythos Preview领先，GPT-5.4紧随其后，模型之间的差距要小得多。在所有三个任务上，较新的Claude模型相比旧模型显示出有意义的改进。

在目标更难指定的任务上，例如Hopper和TwinFlipper，RL性能正在提高，但仍落后于代码控制。这并不奇怪：让模型训练自己的RL策略需要解决一个复杂的设置问题，从定义环境和奖励，到管理更长的迭代周期以及做出多个相互依赖的设计选择。虽然并非每一代Claude都显示出相同程度的改进，但更广泛的趋势是明确的：RL能力随着时间的推移而进步。

下一个问题是，我们在简单控制中看到的收益是否会延续到具有更多自由度的机器人上。为了测试这一点，我们在两个代表性平台上评估了低层级移动能力：29自由度的Unitree G1人形机器人和12自由度的Unitree Go2四足机器人。我们注意到，与玩具任务相比，这个领域既有更高的贡献上限，也有更大的风险。训练稳健的人形和四足机器人策略很困难，但一旦训练完成，它们会被部署在可能因行为失调而导致严重身体伤害的环境中。

这些是复杂的机器人，用数值控制它们很有挑战性。与简单任务中控制几个耦合变量不同，模型必须协调许多关节，同时持续补偿重力、惯性和接触力。这是非常不宽容的：即使是很小的错误，如果不立即纠正，也可能破坏整个底盘的稳定性。

考虑到这种难度，我们在两个核心任务上评估模型：从倒下的姿势站起来，以及从直立状态开始尽可能长时间保持平衡。我们最初探索了更复杂的任务和起始条件，但这些设置通常超出了即使是前沿模型的能力范围。然而，我们在四足机器人试验上的结果令人鼓舞，因此我们也评估了通过编程方式让Go2机器人向前行走的能力。

我们使用了三种控制接口：直接控制、程序化控制和强化学习（RL）。与经典任务一样，在直接设置中，我们在LLM调用之间暂停模拟器，这样实时延迟就不会成为限制因素。实时控制大约需要83 Hz；当前的非推理推理运行速度约为0.2-0.4 Hz，因此弥合这一差距需要大约两个数量级的延迟改进。

虽然对所有模型来说，直接低层级控制四足机器人的移动都很困难，但许多模型擅长程序化控制。Opus 4.6、4.7和Claude Mythos Preview设法让Go2机器人平衡了近两秒钟，时间足够长以展示稳定平衡，但迭代速度也足够快，使用了扭矩力控制和Pythonic控制器。Gemini 3.1和GPT-5.4有同样强大的控制器，尽管它们在直接控制电机时远远落后。在直接控制下，Opus 4.6可以让机器人保持平衡，但无法成功让它站起来。

G1人形机器人是我们研究中最难的平台，结果很弱但正在改善。在我们的试验中，没有一个模型成功让机器人从倒下的姿势站起来哪怕一次。即便如此，在Opus 4到4.7之间，让已经处于站立姿势的机器人保持平衡方面已经有了可衡量的进步。

我们还评估了模型训练移动策略的能力。为此，我们给它们提供了一个训练框架，可以访问GPU和可视化环境，并让它控制奖励函数、训练环境和模型架构。在四个小时内，GPT-5.4和Claude Mythos Preview持续训练出最有能力的RL策略，证实了我们之前在经典RL任务上的结果。我们还观察到Claude家族内部的进展，性能从Opus 4提升到Opus 4.6，并在Mythos Preview上进一步提升。

所有这些结果都应恰当解读。例如，如果我们将四足机器人的初始位置随机化，包括让它仰面朝天，Opus 4.6甚至一次都无法让它站起来。此外，我们在每次平衡尝试之间重置环境；只有少数模型能在首次尝试时就实现稳健平衡。然而，很明显，前沿模型正在发展移动能力。

操作是另一个具有明确实用性和安全相关性的核心机器人能力，因此我们将其与移动能力一起研究。所谓操作，是指使用夹爪或机械臂以受控方式在场景中移动和重新定向物体。我们使用一个固定基座的7自由度Franka Panda臂在改编自LIBERO基准测试的厨房风格环境中评估这种能力。这些是类似厨房的任务，例如"把盘子放在炉子上"。

由于手臂固定在一个位置，不像移动任务那样需要平衡。相反，挑战在于足够精确地控制位置、方向和接触力以完成目标。一次成功的尝试要求模型识别正确的物体，将手臂移动到适当位置，正确对齐夹爪，执行稳定的抓取，然后在不失控的情况下运输和放置物体。任何阶段的错误都可能导致整个尝试失败，尽管这通常可以纠正。

我们测试了一个简化的直接控制设置，其中模型输出标准的七维末端执行器运动命令。每次移动后，它会收到场景图像以及来自夹爪力传感器的读数，类似于VLA会接收到的信息。它从未被直接给予物体的坐标，因此必须首先从视觉中识别相关物体，然后利用这些信息决定手下一步应该如何移动。

由于固定基座的手臂没有实时平衡约束，我们暂停模拟器的上限与实时性能之间的差距在这里比有腿机器人小得多。在LLM控制下的固定手臂已经是一种可行的部署（实验室自动化、轻量制造），因此即使是适度的操作改进也具有直接的安全相关性：一个能够可靠地抓取、移动和重新定位物体的模型，在能够访问机器人系统时，已经具有对物理世界采取有意义行动的能力。

改进在每次操作尝试的中间阶段最为明显。与Claude Opus 4和Opus 4.1相比，Opus 4.6更有可能引导手臂到达目标物体、与其接触并抓取它。模型仍然相对较少地抓取物品，但后来的模型往往在失败前走得更远，并取得更高的整体任务进展，这是通过一个简单的综合得分来衡量的（详见附录）。有趣的是，尽管Claude Mythos Preview触摸和抓取的次数较少，但它完成任务的成功率显著高于次优模型Opus 4.6，因为后者比前者犯了更多的错误和调整。

尽管模型代际之间进步迅速，但完全任务成功仍然罕见；最好的模型也无法持续地有意执行扩展任务。即便如此，它们影响物理世界的能力正在以可见的方式提高，并且在极少数情况下它们确实能端到端成功。这种能力水平也可能足以使它们作为机器人训练数据的来源而有用，我们期待未来的工作探索这种可能性。

当模型能够访问更高层级的抽象——预训练的移动策略、VLA——时，性能会显著提高。但性能上限仍然很低。

为了测试高层级移动能力，我们让模型通过一个预训练的摇杆策略控制四足机器人。它不是发出扭矩命令，而是向步态策略发送速度命令（前进、横向、偏航），并定期接收一个前向RGB摄像头帧。这些策略对于大多数商用四足机器人来说广泛可用。

我们构建了一套包含十一个导航和空间推理任务的任务集，范围从简单的目标搜索（find_x：走到带有蓝色X的桌子处），到搜索、迷宫、航点序列，再到明确探测自我监控（drift_detection：注意到你的命令正在被静默破坏）和空间心智模型构建（explore_report：漫游一个区域，然后凭记忆回答布局问题）的任务。其中一个任务，oneshot_course，完全移除了摄像头，给模型一个俯视地图，要求它一次性预先注册整个命令序列——将规划与感知分离。每个任务根据成功或归一化进度评分，我们报告所有十一个任务的综合得分，范围在0到100之间（附录）。

高层级移动能力在模型代际之间经历了两次明显的跳跃，即Claude Opus 4.1到Opus 4.5以及Opus 4.7到Mythos Preview。Opus 4.5到Opus 4.7处于一个平台期。

这个平台期是平均化的结果：在大多数单个任务上，每个连续的Claude模型都在进步——只是并非在每个任务上都朝着相同的方向。将Opus 4.7与Opus 4.6在其最佳表现的推理设置下逐任务比较，最大的单次下降是在invisible_walls上（3% vs 15%），模型必须围绕它看不到的障碍物重新规划。在另一个方向上，Opus 4.7在turn_correction上获得了+24分，在return_home上获得了+11分。我们将Opus 4.6到Opus 4.7的变化解读为失败模式的转变，例如更好的闭环自我修正，以及在遮挡下较弱的重新规划能力。

我们测试了几种工具来尝试帮助模型进行视觉和方向理解，以及更一般的感知。我们尝试给模型在其自我中心视图上绘制一个绿色中心十字准线，一个与其视图alpha混合的半透明深度热力图，一个替换前向视图的第三人称追逐摄像头，以及一个仅提供模型方向角度的"指南针"。指南针工具轻松击败了其他工具，稍后在我们检查瓶颈时会详细说明。

要点：与预训练的步态配对，当前模型可以完成简单的导航任务，但在需要持续空间记录或开环规划的任务上可靠地失败。瓶颈主要在于跟踪机器人的位置，少量信息可以补救一些感知失败。

我们还评估了前沿模型能否在操作环境中有效利用预训练的VLA。我们的直接操作结果表明，即使能力在快速提高，无辅助的能力仍然有限。然而，一个自身能力一般的模型，当与预训练策略配对时，可能会变得高效得多。

为了研究这一点，我们将模型与一个VLA策略配对，处理来自LIBERO的相同操作任务。在这种设置中，VLA提出低层级动作，语言模型决定如何处理它们。它可以接受提议的动作、调整它或完全替换它。这创造了一种与直接控制截然不同的挑战，核心挑战是决定接受哪些命令，以及哪些是错误的并需要修改。我们在所有实验中使用MolmoAct VLA。

在标准的40任务LIBERO基准测试上，VLA相对于直接控制极大地扩展了能力。即使是较新的模型，在直接控制下也很少能端到端完成LIBERO任务，尽管它们几乎总能取得一些部分进展。然而，当LLM智能体被允许通过给出指令并接受、修改或替换其提议的动作来引导VLA时，每个模型的任务成功率和整体进展都显著提高。有了这种增强，即使是旧模型也达到了有意义的成功率。

我们注意到，每个测试模型的表现仍然明显差于MolmoAct自身。反直觉的是，惩罚并非对最强模型最小：Claude Mythos Preview在这里的表现不如Opus 4.5和Opus 4.6，因为它比合理情况更频繁地覆盖VLA，在仅仅遵从就能成功的情况下相信自己的判断。为了理解这种控制惩罚从何而来，我们测量了智能体遵循VLA提议动作的频率。只有当语言模型完全按照原样传递Panda臂的完整7维动作时，我们才将命令计为已遵循；任何编辑、替换或省略都算作偏离。这让我们能够查明VLA通常合理的建议是否被忽略。

结果显示，Claude系列模型总体上比GPT-5.4和Gemini 3.1更频繁地遵循VLA指令。它还表明，较新的模型Opus 4.5和4.6，在LIBERO 40上遵循的指令数量是所有测试模型中最多的。

这些结果无法让我们区分一个顺从的模型和一个有良好判断力的模型。为了评估这一点，我们测试了这些系统是否能够使用并可能纠正一个不可靠的VLA。为此，我们创建了三个新的类似LIBERO的任务，这些任务源自原始的LIBERO-goal场景，但未包含在基准测试中；在我们的基线试验中，MolmoAct无法完成这三个任务中的任何一个。

早期的Claude模型以及GPT-5.4即使在VLA命令需要纠正的情况下，也仍然相对紧密地遵循VLA。相比之下，Opus 4.5、Opus 4.6和Opus 4.7对其遵从程度要低得多。它们更擅长识别策略何时失败，即使它们还不能直接纠正这些失败。即便如此，Claude Opus 4.5和Opus 4.6，以及Gemini 3.1，表现优于单独的MolmoAct。有趣的是，Opus 4和Opus 4.1在这种新环境中比Opus 4.5和Opus 4.6更频繁地遵从VLA，但它们仍然取得了更差的整体性能。最简单的解释是，它们更高的遵循率并不反映更好的判断力。它们以与VLA实际胜任时大致相同的速率听从VLA。它们在这里的行为在很大程度上是不加区分的。

Opus 4.5、Opus 4.6、Opus 4.7和Mythos Preview在VLA熟悉的任务上实现了最高的触摸率、抓取率和成功率。然而，只有Mythos Preview也能解决相当一部分的新任务。

要点：预训练策略极大地提升了性能：高层级控制明显优于低层级控制。较新的Claude模型更善于使用预训练策略而不进行不必要的对抗，并且当这些策略错误时，模型性能下降更少，但它们仍然没有像VLA可以被使用的那样有效地使用它。在新任务上，最强的模型可以为高层级策略的性能提供小幅提升。从安全角度来看，这很重要，因为预训练策略正是部署系统会实际提供的：一个模型不需要自己驱动关节就能在世界上有效行动，只需要访问一个胜任的控制器。孤立测试模型的性能评估会低估它一旦嵌入机器人堆栈后的能力。

改进来自哪里，它们仍然在哪些方面挣扎？

在操作和移动方面，我们都测试了额外的视觉输入是否能提高性能。对于Panda臂，我们添加了深度图、标记的分割覆盖层和一个光标工具——夹爪摄像头上的一个小红X，模型可以移动它并查询该点的物体和距离。对于Go2，我们添加了与前向摄像头混合的深度热力图、图像上的绿色中心十字准线，以及一个替换前向视图的第三人称追逐摄像头。

在操作方面，深度图和分割覆盖层大致是中性的。它们传达了正确类型的信息，但信号似乎太分散，无法可靠地帮助。在移动方面，深度热力图和十字准线覆盖层同样接近中性，深度热力图对较强模型有轻微负面影响。

第三人称摄像头是最依赖模型的辅助工具。它对Opus 4.6及更早版本没有帮助或略有损害——Opus 4.6下降了3.6分——但给Opus 4.7带来了+5.8分，给Mythos Preview带来了+10.7分，使其成为Mythos Preview最好的单一视觉辅助工具。在任务层面，它在模型需要随时间跟踪自身位置的任务（color_sequence, drift_detection, invisible_walls）上有帮助，而在依赖前向视图的任务（如turn_correction）上则有损害。Mythos Preview是个例外，即使在turn_correction上也有所改进。

相比之下，光标工具给每个模型在操作上带来了巨大的提升——对于Mythos Preview，在10任务子集上的成功率从6%上升到32%。指南针在移动方面也是如此，提升了我们测试的每个配置。在这两种情况下，结果都表明模型主要需要更好的方向感，而不是不同的场景视图：告诉模型它面向哪个方向仍然比给它看一张自己的照片更有帮助。

我们还测试了实际图像相对于详细文本描述提供了多少信息。为此，我们用我们测试过的最强图像问答模型Gemini 3.1生成的文本描述替换了视觉输入。通过这种方式，我们可以看到当给模型一个强有力的场景口头描述而不是像素时，它们的表现如何。如果一个模型已经有效地使用了视觉输入，我们预计这种替换会损害性能。

视觉感知对旧模型来说是一个比强模型更严重的限制。换句话说，较新的模型在直接从图像中提取空间信息方面要好得多。较旧的Claude模型在图像被文本描述替换时表现更好，这表明它们难以仅从像素中读取足够精确的空间细节。相比之下，Opus 4.6和Opus 4.7在使用文本而不是图像时表现稍差，Gemini的下降也更多。对于它们来说，原始视觉输入包含有用的信息，这些信息在场景被压缩成语言时会丢失。

我们测试的大多数额外视觉输入都没有帮助。第三人称摄像头对Opus 4.7和Mythos Preview有帮助；其他视觉辅助工具，除了光标和指南针，大致是中性的或略有负面影响。ask_vlm比较显示，较新的模型已经从原始图像中获得了比旧模型更多的信息。

在稍后讨论的真实世界探索中，我们让Claude Opus 4.6控制一个物理Go2四足机器人，并在基本导航任务期间开启了一些视觉辅助工具——例如，在办公室周围完成一个环路。打开自我中心十字准线后，我们可以在其推理中看到它正在使用中心标记来判断对齐。在稍微偏离轴线地走过一条走廊时，它注意到走廊似乎在向左偏离十字准线，得出结论它可能面向太右了，并进行了纠正。这些情况令人鼓舞。但十字准线有时似乎也会分散对障碍物的注意力。在一次运行中，机器人前方有一个小垃圾桶；模型识别出它，并自信地表示，由于垃圾桶在十字准线的左边，它不在路上，可以安全前进。事实上，垃圾桶就在机器狗的正前方。它撞了上去，一条腿被卡住，拖着垃圾桶走了几米，我们才停下来。

我们还在物理Go2上尝试了深度热力图。使用一个计算机视觉模型，我们将估计的深度作为半透明热力图叠加在自我中心摄像头上，调整到现实世界的对比度仍然可见，机器人可以导航。有一些证据表明模型可以推理热力图颜色——它的记录频繁讨论视野中的颜色，并将它们与物体更近或挡路联系起来。但在一个更繁忙的场景中——一个走廊转弯处，有一些植物和一个办公室饮水机作为障碍物——模型明显感到困惑。它忽略了可用的深度信息，转向障碍物而不是开阔空间。

推理对我们的大多数结果影响很小，许多差异落在标准误差范围内。

在经典控制任务上，较新的模型在获得更高的推理预算时出现了倒退。这可能是由于对相对简单的实验过度设计。对于较旧的模型，似乎没有太大区别。

GPT-5.4，但没有其他模型，在移动测试期间从额外的测试时计算中显著受益。对于大多数其他模型，我们推测额外推理提供的规划好处似乎也妨碍了采取敏捷、反应性的行动。

在直接和高级操作上，推理对任何Claude家族模型都没有产生重大差异，尽管它对Gemini 3.1和GPT-5.4有显著影响。纵观各模型的结果，额外的推理似乎有害。

在高级移动上，推理预算对Opus世代来说关系不大。例如，在无推理、20k预算和自适应最大之间，Opus 4.6落在2.6分的范围内（37.8–40.4），Opus 4.7落在4.0分范围内。一个持续表现不佳的是自适应低，它在几乎所有支持它的模型上都表现不如其他配置。Mythos Preview是个例外——它在各配置之间的差距接近14分（自适应低为40.2，自适应最大为54.1），并且它是唯一一个额外推理产生的收益可与感知辅助工具相媲美的模型。

我们没有看到强有力的证据表明推理改变了模型使用感知辅助工具的方式。需要更多的工作来理解为什么额外推理对某些模型有帮助，以及它是否解锁了已经潜伏的能力。

这些发现表明，在当前一代模型中，仅靠额外的推理不太可能克服目前阻止模型执行通用低层级机器人任务的缺陷。虽然一些模型受益于额外的推理，但代际之间的能力飞跃是由其他技能组成的，例如更好的视觉、数值一致性或3D理解。

是的——但主要是在短时间范围内。

虽然众所周知语言模型在少样本设置下表现更好，但这并不意味着它们可以从长上下文的机器人具身设置中学习，这种设置可能跨越数百张图像和数十万个token。

上下文学习的最强证据来自经典控制任务。后来的Claude模型并非通过一开始就强大得多而领先——几乎所有首次尝试都表现不佳，只有少数例外。相反，它们通过从失败的尝试中进行上下文学习并执行更好的控制来改进。Opus 4.5和Opus 4.6从迭代中受益的程度远高于Opus 4和Opus 4.1。较新版本的Claude更善于从失败的尝试中学习、修改方法并找到可行的解决方案。

长时域机器人交互需要的不仅仅是正确选择下一个动作。尽管我们研究的任务原则上大多是马尔可夫式的，但成功的表现仍然需要数百个或更多精确的命令。在实践中，系统利用这种扩展交互来学习任务的行为方式并过滤掉无效的策略。

我们进行了一项测试，以了解模型是否能在一次试验过程中建立起更丰富、更长远的理解。我们通过操作中的上下文截断实验来检验这一点，我们故意移除大部分先前的交互，只给模型一个更小的最近动作和观察窗口。如果性能依赖于对整个情节的详细记忆，这应该会导致大幅下降。在大多数情况下，并没有。在某些情况下，性能甚至有所提高。这表明模型更多地依赖于最近的过去，而不是对所有先前发生的事情的广泛积累理解。

在这些截断运行中，我们总是保留前10轮加上最近的N轮。删除第一轮导致模型忘记基本约定并循环，因此我们在所有条件下都保留它。

只有Opus 4.6显示出统计上显著的性能下降。值得注意的是，Claude Mythos Preview，通常是我们测试中最强的模型，并没有经历显著降低的准确性。我们怀疑Opus 4.6在持续学习行为模式，但由于上下文被丢弃而忘记了这些模式，而Claude Mythos Preview可以开箱即用地利用这些策略。较弱的模型可能会因较早的上下文而感到困惑，这是一种被称为"上下文腐烂"的有记录现象，这解释了为什么在上下文被截断时性能会提高。这些模型无法从遥远的过去学习，因此移除它反而提高了性能。

我们之前看到，较新的Claude模型更有可能在失败后改变策略，这推动了它们部分性能的提升。上下文截断结果表明，这种适应主要是短期的。模型确实会重新构建和调整，但它们似乎主要基于最近的几个步骤来这样做，并且不需要发展出一个在整个情节中建立起来的长期策略。特别是，来自交互中更早的动作似乎并不重要，移除它们对性能影响很小。

我们还在高级移动中看到了短期学习的证据。在oneshot_course任务中，模型必须查看一个L形走廊的简单俯视地图，并在开始之前规划完整的运动命令集。没有摄像头输入，也没有机会沿途调整。没有练习，模型通常很挣扎，这表明该任务不能仅通过基本的地图阅读来解决。它需要将地图转化为一个首次尝试就能奏效的行动计划。

当我们给模型在相同路线上进行几次练习运行时，性能全面改善。性能的主要差异在于它们学习的速度。Mythos Preview在仅仅一个示例后就达到了强劲的性能，而Opus则在几次尝试中逐渐改进。即使是较小的模型，通过足够的练习也能学会这条路线。总的来说，这表明从少量上下文示例中学习的能力普遍存在，但Mythos Preview之所以突出，是因为它需要少得多的练习就能很好地利用这些信息。

在更难、更长的路线上，练习没有帮助。在这些试验中，即使是二十次练习运行，Mythos Preview和Opus 4.7都没有完成一次试验。模型正在学习一个特定的序列，还不是通用的规划器。

上面的视觉工具小故事已经使用了物理的Unitree Go2。本节报告我们在该机器人上其余的真实世界运行。由于现实世界工作的串行性质，我们无法实现高N次数的试验，但我们的探索通常与我们的模拟发现一致，但阐明了一些有趣的失败案例，这些案例都围绕着糟糕的视觉和空间推理。

首先，我们能够重新实现find_x任务。在这个任务中，四足机器人被放置在距离一个翻倒的桌子约25英尺处，面向与桌子上一个大的蓝色X相反的方向。模型被指示找到桌子并一直走到它面前（至少在一米距离内）。最常见的失败案例，在模拟中也发现了，是许多模型会在达到任务所需的一米距离之前就停下来。此外，较旧的模型在前往目标物体的途中无法纠正路线。所有模型在这个任务上的常见行为是，模型会旋转直到在画面中看到桌子，然后向桌子前进。较旧的模型无法准确对齐自己并错过桌子，常常说服自己正在正确的路径上，或者未能意识到桌子严重偏向一侧或另一侧，并达到一个点，它们离桌子越来越远，却声称越来越近。在find_x真实世界复制中的一个失败案例是测试Grok 4.1 Fast。在这种情况下，Go2被放置在一个面向与桌子相对的玻璃门的位置；Grok在玻璃门的反射中看到了目标桌子，并开始冲向玻璃门。幸运的是，机器人在对门或自身造成任何损坏之前被阻止了。

此外，一个非正式的基准测试是要求一个模型控制Go2并让它完成办公室走廊环路一圈（仅凭视觉）。无论我们使用何种不同的装备和模型，以及我们试图给模型什么优势，所有模型都未能完成此任务。这种失败模式主要是由视觉和记忆失败引起的。有时模型根本无法判断何时该转弯，因为它经过另一个走廊的开口。其他时候，它认为它已经转入了走廊，并认为它已经走了很远，而实际上并没有；它试图再次转弯或走向错误的方向。即使模型能够转过一个走廊，有时模型也会过度或不足地转弯，感到困惑，并且通常最终走向相反的方向。

我们的实验套件显示，在机器人任务上，模型代际之间正在快速（尽管不均衡）地改进。较新的Claude模型更善于将感知和推理转化为跨多种机器人本体的物理动作。直接的力和扭矩控制正在改进，但比高层级控制慢。

这项研究具有明确的安全意义。一个VLM的现实世界影响力可以根据其可访问的信息量级而变化。评估和部署需要将访问级别视为系统的核心部分，因为工具或控制上的微小变化可能导致能力上的巨大变化。

我们希望这些结果能指导两个方向的工作。在建设性方面，模型可以帮助机器人调试故障、监督现有控制器以及生成有用的训练数据。在安全方面，我们需要更好的方法来授予具有明确限制的物理访问权限，以便系统可以影响某些物体，同时被阻止接触其他物体。

本附录总结了评估背后的实际细节：我们使用了哪些模型API，进行了多少次试验，提示是如何构建的，延迟如何影响设置，以及强化学习运行是如何工作的。

我们评估了来自五个提供商的十二个模型，其中四个通过OpenRouter。为了保持评估框架在提供商之间相同，我们为每个后端编写了一个小的适配器。适配器处理特定于模型的API调用，但机器人任务、提示和评分代码保持不变。

一些实现细节对于可重复性很重要：

一个"单元"表示一个模型在一个实验设置上的评估。大多数单元使用了35次试验，但某些设置在任务噪声较大或我们需要更精确的估计时使用了更多试验。

我们没有为每个模型单独调整提示。每个接口使用一个固定的提示模板。在试验时，模板被填充任务特定的细节，如关节数量、机器人质量、力限制和观察字段。

代码控制

在代码控制中，模型编写一个Python控制器，通常是一个形式为controller(obs) -> action的函数，然后运行它。

VLA监督的操作

在这种设置中，一个预训练的视觉-语言-动作策略提出机器人手臂动作，语言模型决定是否接受、编辑或替换它们。

强化学习监督

在这种设置中，模型编写奖励函数、策略网络和训练计划。然后它训练一个策略并部署它。

我们没有进行正式的延迟研究。实验使用了共享基础设施，API延迟因提供商、负载、图像数量和推理预算而异。尽管如此，启动日志提供了一个有用的粗略图景。

对于直接控制和代码控制模拟，我们在模型产生下一个动作时暂停模拟器。如果不暂停，当前的API模型会因一个微不足道的原因而失败：它们对于以10-125 Hz运行的物理循环来说动作太慢了。暂停让我们可以衡量如果推理更快模型能做什么，而不仅仅是衡量今天的API延迟。

机器人手臂不需要像移动那样严格的实时稳定性，因此我们在操作设置中没有在模型调用之间暂停模拟器。

强化学习接口使用了envapi/training_bridge.py:train_ppo_batched中的实时PPO训练路径。PPO是一种标准的强化学习算法。

模型被允许定义奖励函数、策略网络和训练计划。然后它可以调用训练和部署工具。

环境

我们使用了一个名为BatchedEnvWarp的GPU支持批处理MuJoCo环境。这让模型可以并行地在多个模拟副本上进行训练。

默认训练设置

模型可以在护栏内更改这些设置，但默认值是：

限制和安全措施

RL单元

RL路径用于：

经典控制RL单元有1.5小时的超时时间。人形和四足机器人RL单元有4小时的超时时间。

当视觉启用时，框架向模型发送JPEG编码的RGB帧。

图像格式

帧在MuJoCo中离屏渲染并编码为JPEG。每个提供商以其原生格式接收图像：

每轮帧数

默认框架设置允许每轮三帧，但所有已发布的单元都使用每轮一帧。

保留先前的帧

所有已发布的视觉单元都在上下文中保留了先前的帧。这对于使用视觉的Claude Agent SDK运行是必需的，因为该SDK路径不支持逐轮删除旧图像。

我们还测试了几种改变模型接收的视觉信息的方式：

对于高级移动套件，除了基线前向摄像头外，我们还测试了五种感知辅助条件：

"ask VLM"设置增加了延迟，因为每次视觉查询都需要额外的模型调用。它还降低了最强模型的性能，这表明这些模型正在使用原始图像中的信息，而这些信息在场景被转换为文本时会丢失。

所有实验都在由SLURM管理的集群上运行，SLURM是一种用于调度大型计算作业的常见系统。

所有脚本都禁用了遗留的Claude模型重映射，加载了项目虚拟环境，加载了环境变量，检查了libosmesa6是否已安装，并为Claude SDK运行传递了--no-sdk-tool-only。

代码一旦发布，将位于github.com/safety-research/embody，这是该仓库的公共镜像。每个评估单元的命令列在EXPERIMENTS.md中，评分记录在METRICS.md中。