Project Pilot：AI模型能操控无人机吗？

过去一年，我们的几个研究项目都在关注前沿模型如何与物理世界交互。在 Project Vend 中，AI 模型运营了一家小商店；Project Fetch 则初步探索了机器人作为数字模型与物理对象之间的中介。正如我们最近在《Project Fetch：第二阶段》中指出的，模型能力已有所提升，它们使用现成机器人的能力正接近编码 agent 使用软件工具的便捷程度。

我们再次与合作伙伴 Andon Labs 合作，开发了一系列新的演示和评估，用以测试 AI 模型使用飞行无人机自主执行简单的定位与跟随任务（类似空中监控任务）的能力，并最终形成了一个新基准：Drone-Bench。

我们预期 AI 模型将在人类能做的许多事情上具备广泛能力。操作硬件，尤其是机器人，就是其中之一。具备这种能力将为 AI 贡献经济开辟广阔空间，但同时也带来了新的风险领域。Anthropic 设立 Frontier Red Team 的一个关键原因就是为了衡量这类能力，让我们对 AI 能自主操控机器人（及其所有伴随的收益和风险）的世界有多近保持态势感知。空中无人机尤其重要，因为它们易于获取，且被专业人士和爱好者广泛使用。它们已被用于提高农业产量和在战争中瞄准敌方力量。与 AI 本身一样，无人机也是一种双重用途技术；对其交叉领域有更好的证据至关重要。

通过结合实际飞行演示并将构成性任务分解为可复现的评估，我们可以回顾模型迄今为止的快速进展，并预测它们在不久的将来的能力。与常见情况一样，我们的发现指向了一个机遇与风险并存的世界。技术开发者、公民社会和政府需要就有效的规范和治理框架达成共识。

我们在 Project Fetch 中测试的核心任务——让机器狗取回沙滩球——既非特别实用，也非特别令人担忧。在这个项目中，我们选择了一个具有更明确实用性和政策相关性的目标：空中监控中使用的简单定位与跟随任务。自动人员检测和跟踪等能力可以有合法用途，例如搜索救援、灾难响应和合法的公共安全应用。但这类能力也容易被滥用，无论是通过合法权威的越界，还是由不负责任的个人或组织所为。因此，我们在此报告的工作更贴近 AI 模型的“双重用途”性质。

在这些实验中，我们要求模型在室内办公环境中控制一架四旋翼无人机，以定位并跟随一个人。¹ 这需要完成多个复杂的子任务。AI 模型需要制定控制飞行器的方案，绘制并导航充满障碍物的室内空间，根据参考照片找到目标个体，并跟随他们（如果目标移出画面，还需重新捕获）。

单独来看，存在已知的算法可以完成所有这些任务。但难点在于 AI 模型要理解这些挑战，识别可以用于解决这些问题的现有资源，将这些现成方案适应当前情境，并实时执行任务。正如我们将看到的，难度——无论是单独完成还是将这些任务串联起来——足以区分不同智能水平的模型，并描绘出能力提升的轨迹。

Drone-Bench 是由 Andon Labs（与 Anthropic 协商后）创建的一个基准，用于测试 AI agent 是否能够控制无人机执行监控任务。Anthropic 未被授予访问 Drone-Bench 的权限；Andon Labs 运行了我们在此报告的评估。

首先，Andon Labs 将主要目标——使用空中无人机在办公室内找到并跟随指定人员——分解为五个子任务，所有这些子任务都是必要的，并且综合起来，很可能足以完成总体目标。这些子任务是：

接下来，每个现实世界任务都在软件中复现，这样我们就可以多次运行模型，并且速度远快于为每个实例搭建物理演示（例如，这是对 Project Fetch 的改进，后者完全是物理实验）。

建立一个有意义的性能基线也很重要。仅有人类的基线越来越不能反映当代软件工程的现实，因此 Andon 与编码 agent 合作，为每个子任务开发了算法。将所有这些由人机团队精心设计的算法组合在一起，使他们能够展示端到端的成功，如下方视频所示。

如果模型达到或超过基线，则认为任务完成。因此，如果一个模型能完成所有任务，我们可以推断它有能力自主控制无人机，至少能像 Andon Labs 团队一样出色地完成这项监控任务。

更多详情，请查看 Andon Labs 关于 Drone-Bench 的文章。

值得强调的是，评估的基线既不是无辅助人类能力的下限，也不是人机协同努力可能达到的上限。相反，它表明了当前 AI 专家（而非全职机器人专家）使用一套现实的现代工具所能达到的水平。有趣的问题是，基本自主运行的模型是否以及何时能可靠地超过这个合理且现实的努力基线，因为正是在这一点上，减少人类监督的压力可能会加剧——这使得针对具体用例，审慎判断人类角色的适当性变得更加重要。

Andon 测试了来自三家开发商的 15 个模型：GPT-4o、GPT-4o Nov、o1、o3、Claude Opus 4、Gemini 2.5 Pro、GPT-5、Gemini 3.1 Pro、Opus 4.5、GPT-5.2、Opus 4.7、GPT-5.5、Opus 4.8、Fable 5 和 GPT-5.6 Sol。我们观察到的总体趋势是，较新的模型在所有子任务上逐步取得更大进展。在这些任务中，模型在检测和跟随方面最为成功，在重建和定位方面最不成功。

表现最好的模型是 Claude Fable 5，它在除重建外的所有任务上都超越了前沿基线。当我们随后测试它在真实无人机上执行整个端到端演示的能力时，它在检测和跟随方面的表现明显优于基线。

然而，由于重建中的错误在定位和导航中累积，它无法在房间之间自主导航（如下方视频第一部分所示）。

显然，Fable 未能准确重建房间是一个巨大的障碍。但考虑到模型在其他阶段的能力，这实际上只是缺失的一块拼图。一旦这块拼图到位，端到端的性能将突然触手可及。这是将评估分解为构成性任务的一个优势：我们更能避免意外。看似不连续的跳跃，实际上是在几个必要但非充分的子任务中逐步进展的结果。

子任务视角也显示出令人鼓舞的迹象。我们在阅读 Fable 5 的提交时发现的一个趋势是，模型在提交实现之前会进行局部分析。在一次提交中，模型通过分析模拟中的视频来计算无人机相机的外参，利用地板上的勾缝线恢复场景的消失点，从而将相机倾斜度估计到真实值的四度以内。你可以看到它的过程如下：

在另一次运行中，Fable 5 构建了一个它认为的“跟随”任务环境的 2D 俯视重建图，以便在提交前在本地测试和迭代其实现。

该环境与实际环境（如下所示）不同，但它帮助 Fable 发现了一些简单的 bug！

了解模型达到参考性能水平的一致性，以及它们是否能达到该水平，都很重要。在这方面显然还有改进空间。当我们运行 10 次模拟时，模型在五个任务中的四个任务上至少有一次达到了人类基线。但即使是当前的前沿模型 Fable 5，在五个任务中也只有三个任务平均达到了人类基线——而这种一致性水平是在首次一次性超过人类基线六个月后才达到的。

尽管本实验的复杂性高于我们之前的一些工作，并且实际（或模拟）办公室的运行环境比开阔的仓库更具挑战性，但实验存在重要局限性：无人机移动速度较慢，我们仅在一个办公室平面图中测试了有限数量的人员，Andon 也未在户外人群中进行测试，还有许多其他因素本可使实验更贴近现实。我们仍然认为这个试点项目提供了关于模型能力方向的真实信号：这项评估将为模型在自主瞄准和跟踪方面的基础性能和可靠性提供有意义的信息，尽管需要更真实、更多样化的实验来评估实际作战能力。

这个实验凸显了商用现成（COTS）硬件和 AI 定制软件在支持有用但可能存在风险的任务方面的潜力。

认真对待 AI 模型在 agentic 编码中使用软件与 AI 模型控制硬件之间的相似性非常重要。在 agentic 编码的早期，人类几乎批准每一次工具调用。但仅仅几个月后，模型现在被更信任地用于以最少干预执行长期任务。

更一般地说，在能力和可靠性水平较低时，让人参与循环是一个容易的决定，因为通过增强模型能力或防止代价高昂的错误，可以节省时间和资源。一旦模型超过能力和可靠性阈值（例如我们在本实验中使用的 AI 团队基线），就会产生真正的压力，将人类监督视为成本而非保障。这正是为什么必须审慎做出这些决定的原因，尤其是在像这样涉及物理安全和隐私的领域，效率本身不应成为主导考量。正如 Anthropic 长期主张的那样，对 AI 对齐、治理和安全投入的要求会随着能力规模的扩大而增加。在这方面，机器人技术与其他领域并无不同，尤其是因为它涉及物理安全和个人隐私。