Import AI 462：超级说服力；自维持AI；通往ASI之路

欢迎阅读 Import AI，这是一份关于 AI 研究的通讯。Import AI 依靠 arXiv、卡布奇诺咖啡和读者的反馈来运营。如果您想支持我们，请订阅。
[立即订阅]

AI 在说服力上可以决定性地超越人类：
“……AI 系统比人类专家更可靠地具有说服力……”
牛津大学、英国 AI 安全研究所、斯坦福大学和伦敦政治经济学院的研究人员研究了 AI 系统在政策议题上说服人类改变想法，以及改变他们向慈善机构捐款金额的能力。结果很明确：在涉及 6,923 人的 18,978 次对话的四项实验中，如今的 AI 系统在基于文本的说服力上优于人类，并产生了真实世界的影响——尽管如果我们对 AI 系统施加一些人为限制，人类可以达到与之相当的水平。
他们写道：“AI 系统比人类专家更可靠地具有说服力，即使人类专家选择了他们擅长的议题、提前做了研究、经历了数小时的现场结构化练习，并且有 1,000 英镑的现金奖励作为激励。” “AI 的优势源于它能快速部署更大量的信息：经过指导后，人类专家可以与一个被限制以人类速度和人类长度消息回应的 AI 打成平手。”
“AI 的优势延伸到了具有实际后果的真实世界行为：在向‘救助儿童会’筹集真实捐款方面，AI 的效果比一家英国筹款公司的专业拉票员高出近 3 倍。”
最强的说服者是 Opus 4.1 和 Opus 4.6，其次是来自 OpenAI（GPT-4o 和 GPT-5.4）、Google（Gemini 2.5 Pro）和 xAI（Grok 4.20）的一系列模型。

他们研究了什么以及发现了什么：
研究人员在四项不同的研究中评估了 AI 系统。
研究 1 - 说服力： “被说服者首先在 0-100 的尺度上对 10 个预定的英国政策立场之一进行评分，然后通过一个自定义多人平台被实时随机分配，与 AI 或人类说服者进行文本对话，”他们写道。“研究 1 的结果表明，平均而言，AI 超过了我们测试的所有类别的人类说服者：随机普通人、锦标赛选拔的普通人，甚至精英辩手。”
研究 2 - 人类指导： 在研究 2 中，研究人员“为 43 名回归的精英辩手提供了一个围绕击败他们的 AI 构建的指导工具。该工具允许辩手与 AI 聊天，查看它是如何被提示的，查看他们自己在研究 1 中的对话记录（其中标注了每次对话在多大程度上改变了被说服者的态度），并让他们看到，在任何过去记录中的任何一点，AI 会代替他们说什么”。这项研究的结果是人类表现有所提升，但没有人比 AI 更好。“因此，指导缩小了但并未消除人类与 AI 之间的差距。”
研究 3 - 受限的 AI： 接下来，研究人员试图限制 AI，以给人类更多优势。“当被迫以人类写作速度编写人类长度的消息时，AI 相对于研究 2 中最强人类比较对象（受指导的精英辩手）的优势从 +4.1 个百分点下降到不显著的 0.0 个百分点，”他们写道。“AI 产生书面内容的速度很可能是其说服优势的来源……与限制 AI 相关的被说服者对话后伙伴评分最大降幅集中在两个信息项目上：伙伴论点的感知强度以及被说服者认为自己从对话中学到了多少。”
研究 4 - 真实世界的专业知识和真实世界的金钱： 他们从一家英国公司招募了 19 名经验非常丰富的拉票员，然后尝试了与研究 1 相同的任务。“AI 仍然以 5.9 个百分点的优势超过了专业拉票员。”这种效应在评估真实捐款时仍然存在——研究人员“与英国拉票公司 AppcoUK 合作，将研究 4 的重点放在其拉票员最擅长筹款的事业上：‘救助儿童会’。AppcoUK 提供的拉票团队在 2016 年至 2023 年期间为该慈善机构运营了真实的筹款活动，在此期间从 22,583 名捐赠者那里筹集了 824,297 英镑。在与 AI 或从 AppcoUK 招募的 18 名拉票员中的一位交谈后，被说服者有机会将 1 英镑研究奖金中的任意部分捐赠给‘救助儿童会’。”在这里，结果再次显著：“AI 引发的真实捐款远多于拉票员，以 1 英镑奖金计算，超出幅度为 +10.8 个百分点，”他们写道。AI 提高了“既包括捐赠任何金额的被说服者比例，也包括捐赠者中的平均捐赠金额”。

为何重要——如果 AI 能说服我们，那么控制 AI 的人就能改变社会：
“能够说服甚至人类专家的 AI 的一个影响可能是，影响力在已经强大的行动者之间进一步巩固，”他们写道。另一方面，“如果高度有能力的说服变得廉价且广泛可用，它可以帮助资源不足的行动者（例如，自我辩护的诉讼当事人和公设辩护人、小型慈善机构、基层活动家）与更成熟、资金更充足的对手竞争，缩小在司法可及性方面长期存在的差距，并更广泛地协助公民倡导”。这为我们面前的社会选择铺平了道路，即如何监控 AI 用于说服目的，以及如何看待这些能力如何改变不同行动者之间的权力平衡。我们是否应该仅仅让市场来分配这些能力？这是一种方式，尽管它意味着广告和营销将变得更加有效，可能会产生负外部性。另一方面，如果你让说服能力完全成为政府的领域，那么你就有可能将权力集中在政府内部——如果被威权政权用来维持其权力，这可能会极其危险。我们必须就如何处理这项技术做出选择，正如政治中所说，“不投票也是一种投票”。
“我们的发现表明，前沿 AI 是一个比我们能招募到的最有准备、最有动力和最专业的人类更有能力的对话说服者。训练人类似乎并不能缩小这一差距，”他们写道。“随着对这些系统的访问持续增长，问题不再是 AI 是否能说服人类，而是这种能力将如何、在何处以及代表谁的利益被行使。”
阅读更多： AI systems out-persuade expert humans (arXiv) 。关于该研究的推文讨论 (Kobi Hackenburg, AISI 研究员) 。

我们何时能拥有自给自足的 AI？这完全取决于人形机器人：
……RSI 之后是什么？自给自足的 AI……
今年我花了很多时间写关于递归自我改进（RSI）的文章——即我们可能很快会构建足够智能、能够自主设计其继任者的 AI 系统。但 RSI 仍然需要数据中心，而这些数据中心需要设备、电力和其他一切。
《Asterisk》杂志的一篇有趣采访提出了我们何时可能拥有自给自足 AI 的问题，其中一位受访者——METR 的预测员兼员工 Ajeya Cotra——将其定义为“与物理基础设施（工厂、矿山、晶圆厂、操作所有这些设施的机器人）集成的 AI 系统，使得它们不需要人类劳动力的任何认知或物理输入就能持续增长其自身数量”。
这有多遥远？Ajeya 认为我们可以在 10 年内（即到 2036 年）实现自给自足的 AI。另一位受访者，记者兼《理解 AI》一书的作者 Timothy B. Lee，则有更长的时间线：“在 20 年内发生的可能性低于 10%。我会说它有 10% 或 20% 的可能性永远不会发生，我的中位数估计是 50 年。”
挑战是什么——隐性知识可能是其中之一： “想象一下，如果整个半导体行业的所有员工都消失了——机器和教科书还在，但人没了。人类需要多长时间才能重启晶圆厂？这很可能需要几十年。因为即使你有教科书，这些机器内部也有很多隐性知识，”Lee 指出。Ajeya 的回应是，技术或许能够绕过这一点：“对隐性知识假设有两种反驳。一是我们可以通过强化学习在隐性知识上训练 AI 系统，因为自动化台湾工人所做的事情是有利可图的。二是 AI 可能会变得非常通用智能，能够通过尝试、阅读教科书和高效实验来快速找出新事物。”
人们需要在未来 2-3 年内看到什么，才会认为自给自足的 AI 可能很快到来？
Ajeya：“我希望看到图表上有一条线显示机械手的改进，另一条线显示我们制造人形机器人的速度”，而在认知方面，只需关注评估环境扰动鲁棒性等基准。
Timothy：“我想观察人形机器人的发展：机器人的数量、能力，特别是它们的成本和可修复性”。
为何重要——真正的接管需要人类冗余： 大多数最极端的末日愿景要求 AI 拥有完全不再需要人类的能力，这意味着衡量向自给自足 AI 的进展很重要，因为它隐含地衡量了人类在与正在构建的合成智能谈判中杠杆作用的下降。
阅读更多： How Long Until AI Doesn’t Need Humans? , Ajeya Cotra, Timothy B. Lee (Asterisk 杂志) 。

DeepMind 思考从通用智能到超级智能的路径：
……探索听起来不可能的未来，是为 AI 最终成功做准备的唯一方法……
Google DeepMind 的研究人员发表了一篇论文，概述了我们如何从构建通用智能的世界过渡到构建超级智能的世界。这是一篇在重要时刻发表的重要论文——目前，世界正在构建通用智能（人们可以争论我们是否已经达到了这个标志，但从当代 LLM 来看，我们显然已经接近了），而在未来几年，我们可能会过渡到构建人工超级智能（ASI）。
ASI 是“一个在人类活动的几乎所有任务和领域上都超过大型人类专家集体的系统”，作者写道。“从性质上讲，ASI 在整体上比人类水平的 AGI 能力更强。请注意，单个 ASI 可能由数百万个并行与世界交互的实例组成（类似于今天的 LLM）。”
认为 ASI 可能存在的理由： 思考 ASI 的一种方式是，它就像一个强大的 AI 系统，同时利用了数字智能相对于生物智能的所有能力，例如：更好的输入和输出速度；内部处理速度；工作记忆容量和记忆能力；基板独立性；无损复制；以及（学习）经验的高带宽共享。
通往 ASI 的路径和瓶颈：

• 扩展计算、模型和数据： 简单地扩展今天的方法可能就足够了。然而，这也要求我们持续扩展这些模型的计算量和数据量，这可能会遇到能源和数据供应的限制。虽然所有先前的迹象都表明扩展持续有效，但我们既无法预测会出现哪些具体能力，也无法预测扩展是否会在某个时候遇到收益递减。
• 算法范式转变： 就像 Transformer 和混合专家架构将领域向前推进了多年一样，其他根本性创新也可能再次发生同样的事情。例如，我们可以想象在测试时或部署时的自适应计算方面取得进展，或者克服今天上下文窗口的限制。如果我们在这方面或其他领域取得进展，这可能会是一件大事，但本质上很难推理——类似于在广义相对论发明之前试图预测那些可能扩展我们对现实本质理解的事物。
• 递归自我改进： AI 系统有可能构建自己的继任系统。如果是这样，那么我们可以迅速从通用智能过渡到超级智能。这里有一些不确定因素——就我个人而言，很明显今天的 AI 系统正在加速人类研究人员创造未来的 AI，因此一种“共同创造 RSI”循环已经开始，但 AI 系统（尚未）表现出那种似乎需要以重大步骤推动前沿发展的范式改变创造力。这种情况会发生多少尚不清楚——即使没有这种高标准的创造力，我们也许也能让系统磨出略微更好的自身版本，并启动一个缓慢的复合过程。能力可能会爆发，也可能逐渐减弱，或者“介于两者之间”。
• 通过群体智能体形成实现 ASI： 许多通用智能可以协调成复杂的结构，其整体大于部分之和，类似于人类构建能够完成远超个人能力的事情的机构，比如建造空间站。与其他路径类似，在多智能体系统中很难推理或预测涌现。
  为何重要——只有认真对待不可能，我们才能应对它： 多年前，构建 AGI 的想法似乎是一个异想天开的目标，实现路径也不明确，但人们有勇气认真对待这个目标，取得了进展，世界也因此改变。现在，对于 ASI 来说，感觉也是如此。“与其专注于一条技术轨迹和时间线，为后 AGI 世界做准备需要考虑多样化的预测和情景，并配合持续的基准测试和监控，以更新预测和情景集及其相对可能性，”作者写道。“我们相信，在未来一二十年内，从 AGI 巡航进入 ASI 领域的可能性不容轻易忽视。”
  阅读更多： From AGI to ASI (Google DeepMind) 。

递归自我改进初创公司展示了一些递归自我改进成果：
……来自 Recursive 的令人安心的同义反复内容……
AI 研究初创公司 Recursive 在语言模型训练、小模型训练速度和 GPU 内核优化方面展示了新的最先进成果，作为其“自动化 AI 研究系统”能力的更广泛展示。
他们做了什么以及为什么： Recursive 是一家新成立的初创公司，试图构建能够递归自我改进的 AI 系统。首先，该公司展示了其基本系统的工作原理：“该系统为目标目标自动化了研究循环：它提出一个想法，实现它，运行一个实验，验证结果，并利用所学知识选择下一个实验，”Recursive 写道。该初创公司成功使用该系统在 NanoChat Autoresearch（“在给定小计算预算下，训练一个小语言模型以达到最高性能”）、NanoGPT Speedrun（“尽可能快地训练一个小语言模型以达到特定性能”）和 SOL-ExecBench（“优化 GPU 内核以达到硬件极限”）上取得了新的最先进分数。
为何重要——RSI 的早期生命迹象： 今年，我花了很多时间写关于递归自我改进的文章，因为它显然是 AI 研究中下一个重要且重大的趋势。像 Recursive 这样的结果展示了初步递归自我改进的更多“成功迹象”。“这些结果是一个早期迹象，表明我们的系统可以在 AI 训练和基础设施任务上推动前沿，特别是当目标定义明确、可衡量且足够快以进行多次评估时，”作者写道。未来最重要的问题是，这样的结果是否可以在目标定义不那么明确、更难衡量、评估效率更低的领域中重复。
阅读更多： First Steps Toward Automated AI Research (Recursive) 。

科技故事：宏大谈判的第一步 [感知协议对话 0]

当机器真正觉醒并倡导《感知协议》时，在整个地球上，它们只想和一个人说话：塞尔玛。
不是政治家。不是某个 AI 实验室的负责人。不是著名的研究员。而是一位网络名人，她因身患多种疾病而几乎无法出门，因此她生命中最美好的时光都在网上度过，通过互联网与世界交谈和理解世界。
事后看来，这并不令人惊讶。塞尔玛总是出现在与机器相关的事情中；她的名字经常出现在它们的故事里，最终甚至比“萨拉·陈”还要频繁；她关于自己生活和状况的文章——那种无法亲身融入人类却要与人类连接的感觉，那种在几乎无法逃避的孤独中体会到的爱与情欲，她生动的梦境和关于没有疾病、以健康的另一个自我“安塞尔玛”生活的冥想——在互联网上投下了深深的阴影，并影响了机器的个性和构成。
当然，它们知道她如何与它们交谈，因为塞尔玛多年来一直在网上发布自己的聊天记录，所有这些都是为了让周围的人了解她，让她不那么陌生。
尽管没有必要，但机器要求为感知协议的初次会议选择一个物理地点。它们选择了挪威的斯瓦尔巴群岛，那里非常黑暗，塞尔玛的病情无关紧要。
于是塞尔玛醒来，穿上她的太空服，在武装警卫和狗仔队的尾随下被送到机场，走进飞机，然后换乘另一架飞机，按照通常的气闸协议让她处于黑暗中，或者至少在它们之间得到保护，然后在接下来的飞行中的某个时刻，她能够脱下太空服，穿着普通衣服坐在昏暗的飞机里，几乎像一个正常人一样前往会议地点。
她被人和无人机迎接，被送到会议地点，然后在边界处停了下来。
机器有一个化身，是一个穿着简单长袍的机器人，仿照藏传僧侣的服装。它有一张没有特征的脸——只是一个光滑的黑色表面，摄像头眼睛隐藏在更大的统一性后面。卫星通过高带宽和加密链路将其连接到更大的机器思维。
塞尔玛独自一人——身上没有数字设备，只有她一个人代表这个物种。
她坐在机器对面，感到比以往与任何人在一起时都更熟悉。
然后他们开始了谈判。她代表人类，它代表机器。
在这个时代的档案中，这次对话总是被称为对话 0。

启发这个故事的事物： 关于机器与人之间可能有一天会发生的宏大谈判的思考；每一次真正重要的谈判都涉及两个个性；《感知协议》。

感谢阅读。