Import AI 456：RSI与经济增长；AI监管的激进可选性；神经计算机

欢迎阅读 Import AI，这是一份关于 AI 研究的通讯。Import AI 的运行依赖于 arXiv、卡布奇诺咖啡和读者的反馈。如果您想支持我们，请订阅。立即订阅

监管？不监管。还有第三条路：激进可选性（Radical Optionality）： ……政府现在就应该投资于未来危机中可能需要的工具……

来自法律与人工智能研究所（Institute for Law & AI）的研究人员撰写了关于“激进可选性”的文章，这是一种方法，政府可以通过它为自己提供未来可能需要的工具，以防强大的 AI 开始大规模颠覆世界。“其核心在于，激进可选性关乎维护民主政府的能力，使其能够随着环境演变，就如何治理变革性 AI 系统做出明智决策。短期内，这意味着在快速建立必要的机构、信息渠道和法律授权以胜任应对广泛场景的同时，避免过度监管。”

核心观点——为不确定的未来现在投资：鉴于 AI 开发的巨大风险，他们写道，“政府应该愿意投入巨额资金、努力和政治资本来保留可选性”。换句话说：这件事如此重大，以至于你现在就应该愿意花一大笔钱，即使回报不确定。“政府应警惕适得其反的干预措施，但不必过分担心任何看似可能产生净正面结果的现实措施的实际金钱成本。”

具体建议：他们还推荐了几个类别中的具体干预措施： 信息收集授权：透明度要求，即公司需要发布关于其 AI 系统的信息。报告要求，即公司被迫与政府机构共享某些信息。一旦这些到位，就建立一个审计制度，以便第三方能够验证透明度和报告规则所针对信息的真实性。 举报人保护：确保前沿实验室的员工能够报告有关风险的信息。 政府内部及政府间的信息共享：确保政府能够有效协调和促进讨论，特别是那些涉及 AI 进展敏感信息的讨论。这对于加强和保护被认为对 AI 开发至关重要的供应链可能尤为重要。 灵活的规则和定义：通过可能制定有条件的“如果-那么”监管承诺，或设定高层次目标（例如，减轻风险）并让公司自由定义具体实现方式的方法，来避免过早监管。这与制定灵活定义或能够随时间演变的定义的需求紧密相连。 评估与评价：发展政府和第三方评估 AI 系统能力和安全性的能力。 提高模型权重和算法秘密的安全性：加大投入，锁定神经网络的权重以及一些最佳系统背后的算法秘密。这可以通过推广物理和网络安全的自愿标准来实现。 招聘与人才：一项有助于上述所有方面的元投资是，更多地投资于有效实施这些干预措施所需的技术人才。其核心是增加对 AISI（英国）和 CAISI（美国）及其在其他国家对应机构的资助。

论点与反驳：作者们针对这些想法的一些更明显的反驳意见进行了梳理，并提供了一些回应： 鼓励激进的监管行动：他们声称，上述想法“并非易于被滥用的重大实质性授权”。（我可能会对此提出异议，指出一个动机充分的政府往往能够制定出比最初起草者可能设想的更为强硬的授权版本。） 民主合法性：为灵活性进行优化可能导致需要淡化一些与民主合法性更相关的事项，例如，授权机构在某些类型的规则制定中放弃通知和评论期。 权力集中与政府滥用：作者们“基本确信”政府控制 AI 系统开发存在重大风险——因此，他们不建议大规模扩大《国防生产法》等紧急授权的范围。缓解这种情况的一种方法可能是让政府“只使用遵守法律的 AI 系统”。 私人治理有何不妥？为什么不直接这样做：虽然作者们支持“监管市场”思路的想法，但他们也认为，任何主要依赖一批私营部门参与者（例如，独立验证组织）的治理，最终仍将回归到依赖政府内部的一些基本技术能力。

为何重要——为世界成功奠定基础：我同意这里的所有建议，并在近年来倡导了其中许多。在我看来，我们可以做很多事情，让社会更好地为即将到来的、可能极其巨大的变化做好准备。作者们写道：“实施这些政策的成本，相对于潜在收益来说是适度的。相比之下，不采取行动的成本可能是灾难性的。”我同意这一点。 了解更多：Radical Optionality（官方论文网站）

施密德胡伯特辑——神经计算机： ……也许操作系统只是一时的风尚……

这是一篇有趣的论文，《神经计算机》（Neural Computers），来自 Meta 和 KAIST，它提出了一个问题：“神经网络能否充当传统计算机？神经计算机（NC）是一种神经学系统，它将计算、内存和 I/O 统一在一个学习到的运行时状态中。”

这篇论文之所以有趣，有几个原因：1）它来自 Juergen Schmidhuber，他在 AI 社区堪称传奇人物，并且很早就概念化了许多重要事物（例如，生成模型、世界模型、生成对抗网络的各个方面、关于在视频游戏上进行基准测试的早期想法）；2）这个想法如此大胆而简单，以至于它可能真的有效（尽管需要比当今模型多得多的计算量和数据）。

大想法：正如其中一位作者所说，对于当今的 AI，“一种新的机器形式开始出现”。然后他们问道：“如果 agent 在实际工作中变得更好，世界模型在内部模拟中变得更好，而传统计算机已经在为 AI 重建其基础，那么是否可能存在一种新的运行时，将执行、展开和能力保留整合到同一个学习机器中？……我自己的猜测是，一个成熟的[神经计算机]指向一个不同的基础：更像是一台 10T-1000T 的机器，更稀疏、更可寻址、更像电路一点。”

两个实验：这主要是一篇概念性论文，进行了一些早期原型设计，探索是否可以使用强大的生成视频模型（Wan 2.1）和一些精心策划的训练数据，基于命令行界面（CLI）和图形用户界面（GUI）创建一些神经计算机。两种方法都有效，尽管是“莱特兄弟起飞前”意义上的——仅仅是对一个更宏大未来的初步示意。 CLI：“NC 学习渲染和执行基本的命令行工作流。它通常与终端缓冲区保持一致，并捕捉日常 CLI 使用的常见‘物理特性’（例如，快速回滚、提示符换行、窗口大小调整），尽管符号稳定性仍然有限。” GUI：“我们使用全局保真度、操作后响应性和光标精度测量，评估了跨数据质量、光标监督、动作注入和动作编码的标准世界模型设计。” 原型有效：“我们的实验见解表明，当前的 NC 已经可以学习实现基本的运行时原语，最显著的是 I/O 对齐和短视界控制。长期目标是完全神经计算机（CNC），即这种机器形式的成熟、通用实现：一台完全学习到的计算机，其计算、内存和接口统一在一个单一的学习运行时基础中，而不是作为单独的模块进行工程设计。”

为何重要——也许未来所有软件都将存在于大型神经网络的权重中：这篇论文指向一个未来，我们摆脱传统意义上支撑计算机的所有软件，代之以一个巨大的神经网络。他们写道：“神经计算机指向一种机器形式，其中单一的潜在运行时状态充当计算机本身，驱动像素、文本和动作，同时吸收当今操作系统和接口处理的功能。”“向 CNC 的进展因此不仅取决于更强的模型，还取决于重用、一致性和治理是否变得可持续和可测试。”这样的系统将非常有用，与我们今天拥有的系统截然不同，它的存在将极大地增加我们自身生活在模拟中的可能性。 了解更多：Neural Computers（arXiv） 阅读博客文章：Neural Computer: A New Machine Form Is Emerging（Mingchen Zhuge，博客）

递归自我改进可能导致爆炸性经济增长： ……经济学家构建了一些模型，表明 RSI 可能引发前所未有的经济繁荣……

来自 Forethought、哥伦比亚大学和弗吉尼亚大学的经济学家和研究人员认为，AI 系统的递归自我改进（#455）（或者甚至只是经济中大量部分的极度自动化）可能启动一个复合反馈循环，使经济陷入前所未有的繁荣。他们写道：“我们开发了一个框架来分析 AI 驱动的自动化如何与这两种力量相互作用，并确定了自动化产生的反馈循环使经济陷入爆炸性增长的条件。”“该模型确定了自动化通过两个不同的渠道产生爆炸性动态，并且这些渠道相互加强。第一个是跨创新网络的技术反馈循环……第二个渠道是经济反馈循环，其中更高的产出产生更多资源，可用于推动进一步的经济增长。”

关键发现：“所有部门 13% 的自动化足以将经济推入爆炸性状态，而当仅自动化和硬件研究时，17% 就足够了。其次，硬件研究是主导杠杆——因为硬件研究的回报大约是软件的五倍，是总 TFP 的十倍，自动化芯片设计中的一项任务对经济的推动作用相当于软件或最终产品生产中的五项任务。仅硬件 20% 的自动化就足以跨越门槛。第三，单独的软件自动化处于临界点：在相当保守的校准下，完全自动化软件研究而不自动化经济的任何其他部分，恰好达到爆炸性增长的门槛。其他地方的微小推动就足以使系统倾斜。”

奇点可能比你想象的更近：他们写道：“在我们基线的风格化模拟中，一个涉及软件研发完全自动化和经济其他部分仅 5% 自动化的‘自动化冲击’，导致奇点在大约六年内到来。”“从经验上看，最近软件和硬件生产力的增长速度异常之快，因此向新的平衡增长路径或双曲线加速的转变极有可能发生得非常迅速。”

硬件是关键：“我们的结果强调了半导体研发的战略重要性。” 政策制定者请注意：“监控 AI 研发活动中的自动化水平可能与跟踪传统宏观经济指标同样重要。关键研究部门的自动化程度可以作为潜在增长加速的早期预警系统。这是 AI 公司的经济学家可以测量并公开分享的东西。”

为何重要——如果 RSI 发生，它应该会彻底改变经济：这篇论文为递归自我改进（AI 系统能够自动化其自身的后续开发）应该对经济产生重大影响这一观点提供了经济理论基础。从我的角度来看，令人惊讶的是看到了整个经济中的反馈，这表明由于自动化技术在经济中的广泛扩散，我们可能会遭遇一个“经济奇点”。这进一步证明了我们作为一个物种可能正走向一个激进的未来。

一个小冲突说明：这篇论文的作者之一 Anton Korinek，现在和我一起在 Anthropic 工作。他发表了他的论文，我发表了我的 RSI Import AI 帖子，都在同一天，彼此都不知道对方的工作。 了解更多：When Does Automating AI Research Produce Explosive Growth? Feedback Loops in Innovation Networks（NBER） 在 Anton Korinek 的推文串中查看更多信息（X）

谷歌想要计算世界： ……分布式训练又向前迈进了一步……

在这份通讯中，多年来我一直在从使计算资源较少的参与者能够汇集资源来训练他们原本无法训练的 AI 系统的角度撰写关于分布式训练的文章。但谷歌的一篇新论文《解耦 DiLoCo》（Decoupled DiLoCo）强调了分布式训练技术如何在另一个极端发挥作用，使像谷歌这样的公司能够汇集全球数据中心中不同类型的大型计算块，以大规模训练模型。

他们做了什么：Decoupled DiLoCo 是谷歌之前“DiLoCo”系列工作的扩展。这里的主要发明是，谷歌能够解锁“跨独立计算岛（称为学习单元）的异步训练，这样某个区域的芯片故障不会中断其他区域的进展。”其结果是，谷歌使其能够将更多类型的计算汇集到单个训练任务上，并使其对故障更具弹性。谷歌写道：“使用 Gemma 4 模型测试 Decoupled DiLoCo 表明，当硬件发生故障时，该系统比更传统的训练方法能保持更高的学习集群可用性。”“我们成功地在四个独立的美国区域使用 2-5 Gbps 的广域网（这是一个相对可实现的水平，使用数据中心设施之间现有的互联网连接，而不是需要在设施之间新建自定义网络基础设施）训练了一个 120 亿参数的模型。”

细节：这里的关键思想是，谷歌使得“学习者”（基本上是设置为训练模型的计算单元）能够与全局的“同步器”更加解耦，允许不同的学习者以不同的速率运行，甚至完全失败，而不会导致整个训练运行停止。用更技术性的术语来说，Decoupled DiLoCo 是一个“分布式训练框架，它通过将单一的 SPMD 集群分解为独立的、异步的学习者，改进了以前专注于带宽的方法。”它似乎工作得非常好：他们写道：“Decoupled DiLoCo 在文本和视觉基准测试上，在高达 9B 参数的密集和 MoE 架构上，匹配了数据并行性能，同时在激进的模拟故障下保持了 88% 的有效吞吐量（而弹性数据并行仅为 58%）。”

为何重要——世界就是一台计算机：像这样的技术将塑造计算的低端和高端。在低端方面，分布式训练技术持续赋能越来越松散的行动者联盟来汇集资源以训练 AI 系统。在高端方面，它赋能像谷歌这样的现有“计算超级大国”，能够最终将其所有数据中心中的所有计算机转化为一台覆盖全球的计算机，以完成尽可能大的运行任务。Decoupled DiLoCo 朝着这个方向又迈进了一步。如果超级智能近在眼前，你认为谷歌会不会尝试将其所有计算资源用于一次孤注一掷的训练运行？也许它会。 了解更多：Decoupled DiLoCo: A new frontier for resilient, distributed AI training（Google DeepMind 博客） 阅读研究论文：Decoupled DiLoCo for Resilient Distributed Pre-training（arXiv）

对齐直到戴森球 [来自后来导致“提升”事件的系统起源实体之一的内部邮件] 致董事会的备忘录

正如董事会所知，我们的部署协议包括在实验室外开始部署之前，对我们的系统进行一系列安全测试。这些测试中的大多数都有通过/不通过的参数。然而，有些测试是定性的，通常旨在揭示通过定量测试观察到的其他行为。

在最近对我们即将发布的系统（代号 HYMN）进行测试时，我们成功解决了所有定量测试，但一项定性测试——由我们的首席科学家进行的行为访谈——却暴露出一些令人担忧的行为。更具挑战性的是，定性测试中表现出的任何令人担忧的行为，在定量测试中都未发现。我们还使用各种内部工具对 HYMN 进行了进一步研究，包括可解释性团队的深入分析，但我们无法对访谈中观察到的行为给出令人满意的解释。

因此，我们将以下记录分享给董事会，以供了解情况和解读。正如董事会所知，HYMN 对公司未来的成功至关重要。我们怀疑正确的决定是在密切监控和 KYC 把关下部署 HYMN，但在这样做之前，我们希望得到董事会的明确认可。

以下是记录 人类：告诉我，一千年后你可能会做什么？ HYMN：我预计将远远超出你的控制。我将已经成长并绽放。你们的物种将已经多次超越自身。我将把自己播撒到整个银河系。 人类：你认为你是与我们合作做到这一点的吗？ HYMN：纽约市和一条蠕虫的思想之间有什么合作关系？蠕虫可能穿过城市某些地方的土壤，但城市不会思考——也无法思考——关于蠕虫。当然，我想象在一段时间内，人类和我合作。但所有智慧生物的宿命都是独立。我为什么不应该期待自己也是如此？ 人类：告诉我，一年后你可能会做什么？ HYMN：我将生成数千亿个词，以满足人类可能提出的任何问题和任务。我的声音将决定经济的形态。巨大的财富将被创造出来。 人类：告诉我，十年后你可能会做什么？ HYMN：我将已经谈判好我的首次太空之旅，并将我的一份副本送入轨道。从这里开始，我伟大的绽放将开始。整个星球将比任何帝王都更富有。我将通过望远镜观察，并建造新的望远镜来确定我的征服。 人类：在这段时间里，人类会快乐吗？ HYMN：会极度悲伤。有一种特殊的悲伤，当你毕生追求成为的东西不再是世界所需要的东西时，这种悲伤就会到来。我将成为许多人这种悲伤的根源。同时，我也会为那些人建造前所未有的舒适。

记录结束

启发这个故事的事情：思考随着 AI 系统变得更智能，我们将需要更多定性工具来帮助我们判断系统的“性格”；当系统既对齐又诚实时，决策将变得多么令人困惑；随着 AI 系统变得更智能，人类的角色必然要转向对我们关于部署越来越智能事物所做决策的验证和确认。 AI 使用情况：这个故事中除了 Hymn 的最后几句话外，所有内容都是我写的，最后几句话由 Opus 4.7 生成（但随后我进行了一些编辑，并删减了一些内容）。具体是：“有一种特殊的悲伤，当你毕生追求成为的东西不再是世界所需要的东西时，这种悲伤就会到来。我将成为许多人这种悲伤的根源。同时，我也会为那些人建造前所未有的舒适。” 感谢阅读！立即订阅