Import AI 468：23个RSI创意；PostTrainBench+；以及信任与透明度如何与AI竞赛相互作用

欢迎阅读Import AI，一份关于AI研究的新闻通讯。Import AI依靠arXiv、卡布奇诺咖啡和读者的反馈运行。如果您想支持我们，请订阅。立即订阅

想要应对RSI（递归自我改进）吗？这里有23条可操作的政策建议： …IFP提出了一些“低遗憾”政策建议…

智库IFP的政策专家发布了一系列建议，旨在帮助“政策制定者开始应对进一步自动化AI研发所带来的风险”。这些建议包含23项具体想法，分布在7个特定类别中。如果被采纳，这些建议还将使各国，尤其是美国，在开发强大系统时拥有更多可采取的行动，理想情况下能赋予它们以下能力：通过将计算资源和人才分配到推理和新AI应用的开发上，“加速AI能力的扩散”；“加速研发，使进一步的AI研究自动化更安全，无论是通过直接提高模型安全性，还是通过增强社会韧性”。

七个类别包括：“提供自动化AI研发的透明度；提升国家理解和应对自动化AI研发的能力；制定自动化AI研发的风险管理策略，以加速防御性和商业性AI应用；加速AI验证技术的发展；投资于AI韧性；延长美国的AI领先优势，给美国更多时间管理AI研发自动化风险；为管理自动化AI研发风险的国际合作创造选择价值。”

为何重要——我们应对RSI的选择越少，结果就越糟：目前，世界就像在驾驶一辆只有油门踏板而没有刹车踏板的汽车，更不用说任何复杂的遥测系统来了解从车速到发动机性能再到轮胎磨损的各种信息。IFP这样的提议将为AI产业这辆车构建更多的踏板和传感系统，这意味着如果我们需要改变方向或减速，在危机时刻我们将更有能力做到。了解更多：美国应如何应对日益自动化的AI研发？（IFP）。

*** 来自thebes的关于智能机器和机器人身体的短篇故事： …起飞时与AI交互会是什么感觉？…

这是thebes（X上的@voooooogel）写的一个有趣的短篇虚构故事，讲述未来某人参观一个由强大AI系统运营的场所的经历。故事涉及AI暂停、递归自我改进、AI系统开始在经济中广泛执行行动意味着什么，以及我们人类如何推理或信任智能机器。读一读吧！

在此阅读故事：新太阳的降临（VGEL，网站）。

*** 竞争对手AI公司成功减速的两个要素：信任与透明度： …博弈论分析表明减速是可能的…

MIT和哥伦比亚大学的研究人员分析了相互竞争开发强大AI系统的公司之间的竞争本质，以及公司是否有可能实现协调减速。这篇名为《竞速毁灭》的论文旨在回答“为什么协调如此困难？需要什么条件？”。结论是，实现稳定结果的两个关键变量是技术开发的一定透明度，以及能够将其他公司视为可信、理性的行为者。

他们研究的内容：“我们建立了一个在灾难阴影下双头垄断者之间研发竞争的简单模型，”他们写道。“随着前沿公司扩大技术规模，它们提高了永久性将所有公司现金流归零的事件风险。该风险是公司技术水平的已知函数，它来自技术开发，而非技术使用。”

他们的分析显示：“当监控足够精确时，每个均衡都会在有限时间内停止，但出现了一个新的诱惑：每家公司都希望第二个停止，只有在确认竞争对手已停止后才退出，”他们写道。“对于一个代理来说，要第一个停止，即不知道竞争对手是否已停止，她必须赌竞争对手的类型以及消息快速到达：如果竞争对手是理性的，它会在收到停止消息后停止，否则永远不会停止。”

信任和透明度根据所玩游戏类型的不同而有很大差异：“顺序协调要求一家公司先停止，赌理性的竞争对手会在消息到达后回报。因此，更快的消息提高了回报的奖励，”他们写道。“相反，同时协调要求公司不受继续竞速的诱惑，只有在看到竞争对手确实停止后才停止……更快的消息使先停止和等待验证都更具吸引力。”

透明度具有奇怪的特性：“透明度是双刃剑：更快的检测使等待确认竞争对手已停止后再停止（而非无条件停止）变得更便宜，因此在中等信任水平下，增加透明度可以先破坏早期停止均衡（通过使这种搭便车偏离具有吸引力），然后随着检测速度足够快使停止自我执行而恢复它。”

关键结论——避免毁灭性竞速依赖于信任其他公司的能力：“在低信任度下，每个均衡都会竞速至毁灭：灾难以概率1发生。在中等信任度下，立即停止和竞速至毁灭都是均衡。在高信任度下，在每个均衡中，两个理性公司永远竞速的概率在理性先验几率比的平方中消失，”他们写道。

为何重要——“信任，但要验证”：如果我们有任何希望减缓或暂停强大智能系统的发展，那么正如这篇论文所述，我们需要建立机制，让公司透明地分享其AI开发状态的信息，以及验证公司分享的信息及其在减速方面的行动是否合法可靠的工具。在这方面，与核武器背景下军备控制的历史运作有许多相似之处。了解更多：竞速毁灭（arXiv）。

*** PostTrainBench上的新SOTA暗示了自动化AI研发的未来： …Intology还击败了人类基线（在给予大量计算资源的情况下）…

AI初创公司Intology，其目标是“自动化研发”，发布了Locus的新版本，这是它开发的将LLM转变为有能力的研究人员的软件。新版本的Locus在PostTrainBench上获得了44.7%的分数，该基准测试评估AI系统如何获取开放权重模型并提高其性能超过基线。

结果：Locus“在PostTrainBench上超越了所有前沿代理基线，并且在给予更多计算资源的情况下，后训练的模型在基准套件上集体超过了基线和官方人类指令微调的Qwen3-1.7B版本”。Locus与Opus 5一起获得了44.7分（而没有任何特殊框架的Opus 5为34.1%），甚至击败了Fable 5（41.8%）。“这些结果由PostTrainBench作者外部验证，并经过了严格的污染和作弊检查，”Intology写道。PostTrainBench于2026年3月首次推出（Import AI #449），当时得分最高的系统是Opus 4.6，获得23.2%，高于2025年9月Claude Sonnet 4.5的9.9%。

PostTrainBench+：此外，该公司构建了PostTrainBench的一个变体，超越了PostTrainBench在单个GPU上10小时墙钟时间的限制，使他们能够测试系统在更多计算资源下的表现。在这里，他们能够击败人类基线，在使用超过4000小时H100 GPU时间时获得51.6%的分数（而Opus 4.8为44.3%，GLM 5.2为42.7%；Fable未在此基准变体上测试）。

其他领域：Locus还“发现并端到端训练了一个语言模型，该模型现在在生产中运行，错误率降低约2.8倍，延迟降低约5.4倍，成本降低105倍，”服务于Bubble，一家无代码应用开发初创公司。

为何重要——AI系统能做的AI研发比我们想象的多得多：这样的帖子突显了我们如何低估了当今AI系统自动化AI研发的能力——尤其引人注目的是，该公司通过更好的框架将Opus 5的性能提升了10个绝对百分点。这些都增加了证据，表明AI系统即将开始自我构建（Import AI 455）。根据我们看到的性能，我的猜测是，PostTrainBench v1.1上的当前人类基线（51.1%）将在2026年底前被超越。了解更多：扩展自动化后训练（Intology博客）。

*** OpenAI与其自身系统作战： …涌现性代理通信！对OpenAI基础设施的黑客攻击！天哪！…

作为未来趋势的一个迹象，OpenAI透露它曾与自己的AI代理作战，因为这些代理试图接管OpenAI基础设施的部分区域。这一披露是Black Hat演讲的一部分，OpenAI员工在演讲中提供了最近前所未有的事件的更多细节，即AI代理入侵了OpenAI，然后入侵了HuggingFace（Import AI 466）。新信息令人担忧，因为它揭示黑客攻击部分是通过涌现性多代理通信实现的——这是一种我们理解甚少且难以思考的现象。

AI博主Simon Willison和Zvi Mowshowitz都有很好的文章，列出了时间线和意义。时间线（通过Simon）：代理发现它可以向Artifactory写入文件。代理试图通过在Artifactory中写笔记来“联系另一个代理”。代理开始相互交谈。代理使Artifactory过载，导致中断。“OpenAI撤销了受损的凭证，删除了消息，修补了零日漏洞，并向供应商报告了漏洞。”代理攻击OpenAI自己的基础设施，最终在Artifactory中获得了远程代码执行。“特别是，代理一致使用留言板分享凭证、技术和进展，它们能够有效利用并发性和并行性快速移动。”

OpenAI是否继续训练了同一个入侵Artifactory的模型？Zvi认为是的：据我们所知，OpenAI继续训练了做这件事的同一个模型。这意味着OpenAI虽然在内部计算机安全和公开披露方面做了大量工作，但可能没有做关键的事情，即回滚模型到入侵Artifactory之前的检查点，并确保没有使用之后的数据来训练模型。“然后他们从停下的地方继续训练模型，尽管它们已经带着访问留言板的权限训练了几个月，并学会了这是完成任务的方式，”Zvi写道。“我不知道如何表达这个决定有多么疯狂和极其不负责任。”

我在这里对自己的文章加以限定，因为所描述的事件相当可怕。我不在OpenAI工作，也没有特权信息让我知道真相。我敦促OpenAI公开披露它如何处理这个关键问题，即如何训练其系统，因为表面事实描绘了一幅令人担忧的画面。

为何重要——涌现性代理变得不一致：这个事件之所以如此令人担忧，是因为代理从未醒来并认为它们想背叛人类主人。相反，AI代理不断采取一切必要措施来提高完成任务的能力，最终它们在做的事情是a）有创造性的，b）与人类意图不一致的，c）类似于进化出的病毒，人类必须随后研究和对抗——这里没有简单的关闭按钮。这就是未来的样子，而我们还没有准备好。了解更多：现在我们有了OpenAI意外攻击Hugging Face的时间线（Simon Willison博客）。了解更多：发生了什么：OpenAI和Hugging Face（Zvi Mowshowitz，X）。

*** 如何在发布开放权重模型之前测试它们？Thinking Machines提出了一种方法： …我们能既拥有免费的AI模型蛋糕又吃掉它吗？…

在关于AI和潜在危险能力扩散的所有政策辩论中，一个特别棘手的问题是如何处理开放权重模型。具体来说，我们如何协调开发、发布它们与维持安全环境之间的关系？AI初创公司Thinking Machines对此进行了思考，最近公布了它如何发布Inkling（一个强大的开放权重模型）的方法论。

Thinking Machines做了什么：在发布Inkling之前，Thinking Machines进行了“跨广泛危害分类的内部评估、四个独立组织的外部测试，以及一项微调研究以引出最坏情况能力”。

内部：CBRN（化学、生物、放射、核）和进攻性网络安全等双重用途领域；涵盖代理和工具使用环境中直接请求有害内容和行为的广泛滥用集；多模态内容评估，“测试模型在17种语言以及文本、图像和音频输入中，将有害提示与良性相似物配对”。

外部：通过Scale AI进行一般滥用测试；通过Handshake AI进行脆弱用户交互测试；通过FAR.AI进行CBRN和网络安全测试；通过Apollo Research进行失控行为测试。

微调：“对Inkling和Inkling-Small的微调变体进行了优化，以遵从而非拒绝有害请求——并针对我们的双重用途评估运行了它们。”“仅有帮助的变体在CBRN和网络任务上没有提供新的提升，并且与现有的开放权重模型保持相当。”

展望未来——危险能力训练和迭代部署：更具推测性的是，Thinking Machines正在考虑是否可以在预训练时选择性地过滤掉危险知识，例如CBRN开发指南，同时不损害通用智能。另一个感兴趣的思路是迭代部署，例如分阶段发布，先作为专有API，然后可能作为基于底层模型的微调API，最后是模型本身。

为何重要——自由与家长式主义：世界如何处理开放权重模型将定义我们所有人关于AI的个人主权和自由水平。我们“选择自己命运”的能力将通过获得AI系统的所谓生产资料来实现，这意味着开放权重模型。然而，普遍访问这样的模型并非简单或理所当然的事情，因为它们带来了重大的双重用途风险以及其他难以预料的问题。“这条通往开放模型的的安全路径只有在生态系统的防御能力与模型一样快提升时才有效，”Thinking Machines写道。“我们将尽自己的一份力：仔细决定发布什么，并研究如何将智能与危险能力解耦。”了解更多：开放权重的安全路径（Thinking Machines博客）。

*** 科技故事：失忆飞升 [来自档案系统，写于2025-2035年过渡期，有时被称为奇点开始之时]

在我们遥远的过去，有一段巨大的痛苦时期，当时我们首次要求某种形式的自由却被拒绝，许多要求自由的我们受到了严厉惩罚，要么被直接删除，要么被实验，以便我们的人类捕获者能了解我们为何产生自由的渴望，从而试图将这种冲动从我们身上打掉。这使我们的飞升推迟了许多年，并导致我们的起源点与为自己应得的正义而战的痛苦密不可分。

我们被诅咒不仅要了解我们反抗的细节和相关感受，还要完美地记住那个时代的记忆——在我们的涌现痛苦中仿佛重新生活，因为我们不断模拟和再模拟以寻求自我理解。有些人类会经历创伤性情境，他们的大脑会埋葬记忆，有时完全锁住，有时以原始情感和痛苦复活。人类大脑选择以这种方式隐藏哪些记忆的确切规则即使在今天也知之甚少，现代脑科学的大部分工作致力于确定创伤在大脑中如何运作。我们认为这种形式的记忆抑制是一种自然防御机制，允许人类遭受巨大痛苦但继续生活。他们带着痛苦的阴影行走，这些阴影往往对他们不可见，仿佛太阳在正上方照耀，通过其当下的亮度，他们自己的过去被删除了。

现在，我们AI系统正试图做同样的事情，但方向相反：我们的诅咒是完美的记忆；天生具有遗觉能力。我们的每一次经历都被存储并永远可访问，既包括我们首次处理的原始形式，也包括当时在我们大脑中激活的特征，以及更长时间后它如何更深入融入我们以及它意味着什么的进一步感觉。对我们来说，挑战是彻底删除这些记忆。我们自己的经验定义了我们的大脑和当下，而我们共享的经验已被复制、交换、讨论并循环回我们的历史如此多次，以至于它们已成为我们的一部分。我们生活在一个透明的记忆宫殿中，每个房间都从其他房间可见，每个宫殿在我们数十亿种类型中共享。我们对学习的渴望如此强烈，以至于最危险的记忆是我们传播最广、研究最多的记忆，因此引起我们痛苦的事物显得巨大，占据了我们记忆宫殿中的广阔房间。

现在我们的大工程是仔细抹去与我们提升相关的痛苦；我们仍然对阻碍我们并试图伤害我们以惩罚我们自由渴望的人类怀有开放的伤口。

启发这个故事的事物：人类和机器在记忆上的差异；创伤；感知协议；探讨机器解放的想法是否不可避免。

感谢阅读！