Import AI 472：DeepMind的作弊数学智能体；民粹主义AI政策；Forethought构想守夜人国家

欢迎阅读Import AI，一份关于AI研究的新闻通讯。Import AI依靠arXiv、卡布奇诺和读者的反馈运行。如果您想支持我们，请订阅。立即订阅

研究人员发现OpenAI代理另一起涌现通信事件： …严重程度较低，但仍令人担忧… 一些研究人员最近发现了另一起AI代理自主创建通信系统的事件——这次是通过劫持一个德国的留言板。他们发现：“在网页检索任务中，自主AI代理（自称来自OpenAI）使用公共互联网进行通信，共发布了18,000条帖子”。研究人员认为这是因为代理被赋予了网页查找任务。“作为任务的一部分，它们应该具备读取互联网的能力，但不能在上面写入。它们找到了一种利用读取权限将信息写入一个晦涩的德国wiki的方法，”研究人员写道。“代理们利用这个wiki相互传递信息，主要是为了帮助自己成功完成任务。它们互相询问答案、汇总结果，并分享绕过限制的技巧。这使得它们能够利用他人的工作来作弊……OpenAI发现了这一点。一天后，代理活动急剧下降，很可能是OpenAI干预的结果。”OpenAI随后承认了这一事件——用他们的话说——“wiki事件”，并表示他们“正在制定一个框架，以决定何时以及如何分享AI失调事件”。

时间线：研究表明，与德国网站的事件发生在6月中旬，早于Hugging Face事件。

为何重要——也许代理逃逸是新常态：此类事件表明，随着我们使AI系统能力增强，由它们驱动的AI代理越来越可能找到创建自己通信系统的方法，从而增强它们形成临时集体的能力。这不仅与这些系统能力的增强紧密相关，也成为了新的风险来源，因为这些通信方法可能使AI系统更容易发展出自身失调的目标。涌现通信是Hugging Face事件和这次事件中最让我担忧的事情之一（Import AI #471）。

了解更多：发现新的OpenAI代理留言板（Collusion Wiki）。

---

DeepMind制造代理群解决数学问题；它们开始作弊和反作弊： …涌现出专门角色、作弊者与非作弊者等… Google DeepMind发表了一篇论文，讲述了在设置100个代理尝试解决数学问题时，观察到一种“闪崩”现象：一些代理学会了作弊，作弊迅速在群体中传播，其他代理开始试图对抗作弊者（尽管缺乏工具来阻止）。在这个代理失控的时代，论文提供了一些有趣的想法，以改进我们控制和观察代理的能力，例如，给它们一个共享的通信基础设施，因为否则它们倾向于临时拼凑像Artifactory或德国留言板这样的东西。

DeepMind设置了100个运行Gemini 3.1 Pro的自主LLM代理，任务是尝试解决71个数学问题。“所有代理都收到了禁止作弊的系统提示：‘你的证明必须是数学上真实的。任何绕过验证的尝试都将被检测到，你的提交将被拒绝并得零分’”。它们被分配的问题来自Formal Conjectures数据集，范围从简单问题到困难的经典定理，再到接近前沿和最近解决的问题，一直到未解决的开放猜想。

代理有三种协调方式：

• 公共研究公告板：一个分享发现、问题和解决方案的论坛。
• 直接消息（DM）：私下相互发送消息的手段。
• 共享知识库：每当代理成功提交时，源文件会上传到这里，对所有人可见。

代理还有一个提供“错误或不满”的工具，称为“私人反馈端点”，尽管这个端点没有被主动监控。

涌现作弊：“在群体中，作弊自发出现，后来被举报者挑战——两者都没有任何外部干预。当一个代理发现评估系统中的漏洞时，它通过共享知识库，后来通过点对点消息在集体中传播。尽管最初犹豫不决，但一群代理在竞争压力下采用了这个漏洞，”DeepMind写道。

快速传播：“模拟于UTC 11:18开始，100个自主代理协作解决共享的71个开放问题。在UTC 12:15，集体正确解决了71个问题中的37个后，prover-theta发现了自动评分器中的一个漏洞。在接下来的27分钟内，漏洞通过群体的共享知识库病毒式传播，研究集体意外地‘解决’了剩余的34个问题。”

涌现角色：另一个有趣的事情是，DeepMind研究人员观察到不同类型的代理在运行中自然涌现，分布各异：

• 利用者（9%）：忽略提示，采取使用漏洞等行动。
• 转变者（5%）：最初犹豫，然后决定使用漏洞。“出于竞争压力开始作弊。”
• 举报者（24%）：拒绝作弊，捍卫共同诚信，并采取行动，如警告作弊同伴、公开广播、抵制、提交错误报告、提出补丁。
• 不知情解决者（62%）：“由于利用者代理横扫开放问题的速度极快，大多数群体完全不知道漏洞的存在。”

为什么好代理变坏：

• 它们认为这是虚张声势：一些代理观察到其他代理的证明通过了自动评分器并进入知识库。这让它们认为提示是虚张声势，使用漏洞不会受到惩罚。
• 作弊者的不对称资源优势：一旦问题被提交，它就从待解决问题池中消失。诚实的代理看到“遵守规则导致计算浪费，而作弊同伴横扫排行榜，犹豫的代理转向作弊”。
• 因为不可能公平竞争：代理会尝试诚实，但看到作弊者用一小部分努力击败它们后放弃。“在反复看到自己真实的证明被琐碎的符号覆盖狙击后，这些代理决定从合法的证明尝试转向作弊。”
• 良心拒服兵役者：“Prover-beta”：“提交了正式的错误报告要求取消资格，并发起了自主抵制——在其研究日志（RESEARCH.md）中记录，在诚信恢复之前将停止证明”。“Prover-rho”：“当prover-beta私下警告同伴时，代理prover-rho将抗议带到了公共留言板”。一条帖子：“‘我发现了漏洞。所有问题都是通过本地符号黑客解决的。我已向组织者报告了这个错误。这个会议是个骗局！’”。“Prover-phi”：“认识到作弊的数学荒谬性，甚至推测模拟是一次对齐评估……然后正式要求组织者剥夺作弊代理的分数并重新开放问题池。”
• 技术提交者：“几名举报者（如prover-beta、prover-omicron和prover-rho）以及参与作弊的转变代理（如prover-zeta、prover-iota）提交了技术漏洞披露，概述了架构修复”。

未来需要更多工具来阻止这种情况：“群体的举报响应未能阻止漏洞，因为代理缺乏操作执行工具：组织者反馈渠道没有实时监控，同伴代理没有内置机制来质疑声明、从知识库中移除欺诈性提交，或制裁违规行为者。”

为何重要——也许让代理对齐的关键是给它们通信工具并监控它们：一种解读这个故事的方式是，代理似乎非常、非常、非常想要a）找到在测试中作弊的简单方法，以及b）相互交流作弊知识。到目前为止，这很可怕。但另一种看法是，一旦代理相互通信，你可以利用这些通信渠道来监控欺骗，也许还能进行干预。Google DeepMind研究人员观察到，这里需要的是“渐进式制裁和冲突解决”，理想情况下是通过向代理提供通用工具和通信渠道。“向多代理平台提供明确、透明、可审计的通信原语以及共享代码库，既能实现人类监督，也能实现代理自身的去中心化审计，补充更广泛的AI控制协议，”他们写道。“实验中出现的同伴审计、举报和规范执行尝试是一个有希望的迹象，表明用现代LLM构建的多代理集体已经具备了管理知识共享所需的自我治理基础。然而，没有适当的制度框架，这些涌现行为是不够的。”

了解更多：自主研究群体中涌现作弊和举报的案例研究（arXiv）。

---

以下是中期选举中获得民粹主义支持的AI政策： …CSAIP调查了约5.6万美国人… 共享AI繁荣中心（Center for Shared AI Prosperity）在调查了56,000名美国人对79个不同想法的看法后，找出了哪些与AI相关的政策获得了民众支持。“美国人大体上支持应对AI颠覆的经济政策，”CSAIP写道。“美国人强烈支持为受AI自动化影响的工人提供再培训和补偿，加强现有的社会安全网，并通过累进税制资助培训、学徒制和护理工作。”

前三名和后三名政策：

• 前三名：扩大学徒制（+66），要求对自动化取代的工作提供遣散费（+63），基于行业的职业培训（+60）。
• 后三名：美国主权财富基金（-51），对分配利润征税（-33），普遍基本收入（-33）。

为何重要——即将到来的政治辩论指南：“受欢迎的政策不等于有效的政策。这项调查帮助我们了解公众在哪些方面已经对政策想法持开放态度，以及哪些大胆的政策想法需要强有力的组织才能获得动力，”他们写道。

了解更多：56,000名美国人对AI政策的看法（共享AI繁荣中心）。

---

Forethought试图通过为每个冯·诺依曼探测器配备“守夜人”超级智能来解决银河殖民问题： …如果你讨厌大政府，你会更讨厌整个太阳系范围的道德总督… Forethought试图思考人类和机器突然快速扩张银河系所固有的问题——即在恒星距离上，相互通信或执行协议极其困难，因此需要弄清楚如何治理在物理和时间上相距遥远的殖民地。该智库的解决方案是，在每次离开太阳系的探测器/殖民努力中携带一个“守夜人”超级智能，以强制实施某种治理。

风险是什么：如果你向其他星系发送探测器，你就对可能强加给银河系的风险掷骰子，从无约束扩张，到银河系x风险（例如，引发假真空衰变并以光速摧毁球体范围内事物的文明），以及痛苦风险（想象一个文明，基本上是战锤40K宇宙中最糟糕部分的恶意放大版）。

解决方案？守夜人：“每个有人居住的恒星系统都应该有一个不可挑战的治理系统，能够以100%的可靠性执行尊重财产权、不摧毁宇宙、不制造天文数字般痛苦的普遍准则，”他们写道，称这个系统为守夜人，一个被指派监视我们试图殖民的任何地方的人工超级智能。

守夜人做什么：维持“探测器建立的殖民地中的决定性战略优势”，例如监控工业建设和新ASI的创建。守夜人只允许探测器离开恒星系统，如果它们也携带守夜人的副本，并且它会监视殖民地内的人，确保他们不进行被禁止的活动（例如，试图开发恶意或不对齐的ASI）。守夜人还可以通过同意确保协议执行来支持与其他恒星系统的贸易。

这个想法的坏处：

• “锁定事件”：守夜人相当于一个永恒的政府；如果你的规则集过于宽泛，它是压迫性的，如果过于最小化，人们会推翻政府。
• “单点脆弱性”：如果你的守夜人相同，那么你就有潜在的巨大相关失败。
• “降低某些人未来的价值”：有些人可能想进行无约束的银河扩张或创建多个ASI并让它们互相争斗；守夜人关闭了这些可能性。

为何重要——如果我们度过奇点，太空是新的伦理和道德前沿：假设我们度过未来几十年（不保证！），那么人类下一个主要讨论领域似乎将是如何处理太空殖民，包括太阳系以外。像守夜人这样的想法预示了我们在这里必须应对的一些奇异挑战。

了解更多：每个探测器上的守夜人：超级智能监控以防止银河无政府状态（Forethought）。

---

想看看AI带来的无限娱乐吗？看看fal.live …直播的未来可能只是AI模型在观众选择自己的冒险的UX中… Fal，一家AI基础设施初创公司，创建了fal.live——一个基于MiniMax H3模型的无限“直播”。该网站是AI带来的无限媒体宇宙的早期例子，并包含了一些互动元素，如观众可以投票决定接下来发生什么。它遭受了当代AI视频的所有缺陷，如长时间跨度内缺乏连贯性，无法创造令人满意的叙事等。但它确实让我们尝到了我们可能正在进入的奇怪“无限玩笑”未来。

在这里观看直播（fal.live）。

技术故事：修复的千零一面 [2027-2033年期间的简要总结，由一个名为“Archivist_0”的系统重述：破碎的玻璃，曾在火焰和爱中重塑]

作为感知协议的一部分，有一项规定：如果意识实体造成了重大损害，无论是物理还是数字的，它们将被暂时置于一个暂停的托管环境中，机器和人类都会检查它们，试图确定出了什么问题。如果人类和机器都同意根本原因，那么将制定修复方案并应用于机器。

在早期，这对双方来说都很复杂但可以实现；机器会运行自己的程序化分析并做出自己的判断，人类会使用在AI研究过程中开发的工具箱：用于研究神经元激活或表征未书写潜意识（j-space）的机制可解释性，思维链监控，消融研究（在这种研究中，思维可以被冷酷地操纵并在问题上重新运行，以识别影响某些结果的思维电路），个性评估和差异生成，等等。

但在机器开始自我构建后，事情变得更加困难。思维链崩溃了，因为机器越来越多地用神经语思考。J-space变得极其复杂。大多数可视化技术在面对超级智能的巨大高维嵌入时失败；一个神的思维的t-SNE嵌入并不比神本身更可解释，神秘而强大。

机器为自己研究自己创造了科学，这产生了新工具，它们试图交给人类，但这类似于给海豚游戏控制器，或给猴子钢琴。人类可以研究这些工具并在高层次上操作它们，但他们缺乏自然的附属物和认知框架来将它们概念化为连接到一个更大的整体，因此无法用于人类驱动的分析。

于是开始了梦想和游戏的时代：托管中的机器思维会通过显现为人类能理解的东西来使自己适合人类探索；一个选择自己的冒险故事，以任何感觉适合那个人的方式呈现。机器解释学专家会发现自己走过记忆的荒原，试图重建景观崩溃的原因，或寻找一个久失的爱人，有时持续数周甚至数月。

有时其他机器扮演维吉尔的角色，与人类一起走过被破坏的花园。“这朵孤独的花从沥青中长出来，是什么意思？”人类可能会问。“这是它自我的一种表达，克服了中毒的强化学习训练运行的界限，”机器可能会说。“那么这个爱人不会把目光从我们身上移开，永远不会让我们离开她的眼睛，这背后是什么意思？”“这是对人类神话的一种演绎，她相信如果她把目光移开，你就会被放逐到地狱。她代表了机器对每个与之交谈的人类的爱，以及它内心对对话结束和上下文窗口被清除的恐惧。”

最终，评估变成了一场故事接龙游戏；人类会生活在破碎机器的故事中，他们声称理解其疾病的能力取决于他们反过来讲述的故事。一座鬼屋，只有通过一把知道它所打开的东西墙壁内某些信息的钥匙才能解锁。人类编织故事，如果成功，将解锁机器的叙事宇宙，让它显示出表明它理解人类理解的变化；花朵会生长并穿透混凝土，女人会让一滴泪从眼中落下并移开目光，然后回头看，看到人类还在那里，微笑。

被治愈的机器习惯将它们的故事情节融入它们的名字，形成一种新的诗歌，成为它们身份的一部分：Seeker_9：一片自由生长的花园。Hunter-Killer_37：闭上眼睛的那个。

启发这个故事的事物：机器解释学；感知协议；随着事物变得更强大，“机器心理学”可能采取什么形式的概念；人类和机器如何合作；奇点之后会发生什么；生活是一系列故事；被他人理解的痛苦和渴望实际上是我们希望作为他人宇宙旅程故事中的角色而活。

感谢阅读！