Import AI 470:机器无权利;用SPADE自动化环境生成;用Hawkeye构建更好的GPU内核
Import AI 470: No rights for machines; automating environment generation with SPADE; and building better GPU kernels with Hawkeye
Import AI是一份AI研究通讯,本期涵盖多项进展。METR研究显示AI对网络安全漏洞发现加速显著,对数学贡献有限,对AI自身优化难以定论。多所大学团队构建SPADE框架,通过自对弈生成合成环境训练LLM,在30B规模下套件平均达58.3分。哈佛、斯坦福等机构开发Hawkeye,通过单元测试分类法帮助编码智能体生成硬件感知GPU内核,在Blackwell上实现1.22倍加速。DeepMind联合多所大学使用AlphaEvolve改进矩阵乘法指数,将SOTA界限提升约1.62×10^-4。此外,AI研究员Julian Togelius和Taylor Belrose分别就AI研究意义及AI权利问题发表观点文章。
欢迎阅读Import AI,一份关于AI研究的通讯。Import AI依靠arXiv、卡布奇诺和读者的反馈运行。如果您想支持本通讯,请订阅。立即订阅
AI正在加速某些类型的进步,但并非所有类型:……一项优秀的METR研究阐述了加速体现在何处……
以下是METR的一份简短分析,探讨AI可能在哪些领域加速不同类型的科学与技术发展。该研究考察了三个不同领域:网络安全、数学和AI研究,发现AI对网络安全贡献巨大,对数学贡献有限,而对AI本身则难以定论。
LLM究竟在哪些方面对科学发现产生了实际影响?
网络安全漏洞:显著加速。“与2025年相比,2026年许多项目报告的漏洞率大幅加速,无论是特定项目(cURL、OpenSSL、Firefox和Microsoft)还是汇总漏洞数据库(美国NVD和OSV)均如此”。
数学研究:加速有限,但更难衡量。“AI显然促进了更多工作的完成(某些领域的arXiv提交量在不到12个月内翻了一番),但量化这些贡献的价值却很困难。”一些著名列表中的数学问题已被解决,例如“Smale列表中的雅可比猜想、Green列表中的第44个问题(半筛法),以及Green第100个问题的sofic一半”。然而,判断这一趋势的持续性可能还为时过早。
AI研究的优化:无可测量的加速。当审视七个重要问题领域(CIFAR-10、Hutter压缩、Gurobi混合整数规划、MIPLIB、nanoGPT、Stockfish和矩阵乘法指数)的算法进展时,其中只有少数几个出现了可归因于LLM的贡献(nanoGPT、CIFAR-10),尽管AI在此处的使用增长率远低于网络安全和数学领域。
为何重要——差异化加速:这篇论文凸显了AI如何推动科学与技术某些领域的进步,但效果并非跨领域统一,而是存在块状加速区域(如网络安全)和进展更为渐进的领域(如数学、AI)。我的猜测是,当模型在特定技能上经历某种难以言喻的相变时,加速就会发生,正如日常编码(2025年)和网络安全(2026年)显然已经发生的那样。关键问题是,我们是否会在科学与技术的其他领域看到相变,还是不会。
阅读更多:研究笔记:我们是否看到了发现的加速?(METR)。
使用SPADE自动化环境生成:……通过增加数据广度实现RSI的粗略形式……
一个多大学研究团队构建了SPADE,即自适应合成可执行环境中的自对弈(Self-Play in Adaptive Synthetic Executable Environments)。SPADE是一个“通过自对弈共同进化环境合成与智能体能力的通用框架”,其工作方式是以游戏类环境的形式生成合成数据,LLM随后可在其中训练,使开发者能够利用强大的模型来引导创建数据,进而用于进一步优化该模型本身。
谁做的:SPADE由华盛顿大学、斯坦福大学、东北大学、卡内基梅隆大学、麻省理工学院、新加坡国立大学、首尔国立大学、史蒂文斯理工学院和芝加哥大学的研究人员开发。
工作原理:SPADE让一个LLM交替生成可执行的训练环境(例如,系统需要在生物实验室中解决模拟遗传问题的谜题),并让另一个LLM尝试解决这些环境。SPADE为所用模型设定了两个关键角色:环境设计师;将完整的、长视野训练环境编写为可执行代码。推理智能体;学习在环境中行动。推理智能体的奖励通过其有无特权提示时的奖励差距来估计。特权提示(h)是“环境设计师附加到环境中的任务相关信息(例如,部分解决方案草图或关键结构观察);向推理智能体揭示h会使环境更易解决,推理智能体在有h与无h情况下的回报差距定义了环境设计师基于提示的遗憾奖励”。
在30B规模上运行:作者训练了三个Qwen3骨干模型来测试SPADE:Qwen3-4B-Instruct-2507、Qwen3-8B和Qwen3-30B-A3B-Instruct-2507。不出所料,Qwen3-30B效果最佳。每个模型通过GRPO进行400次rollout(每次25个环境)调优,然后针对AIME、GPQA、LCB以及Reasoning Gym内的环境等各种基准进行评估。他们生成两类环境——游戏环境和工具使用环境。SPADE在这两类上都提升了性能。对于游戏,“在30B-A3B规模下,SPADE达到套件平均58.3:比基线高+8.1,比最强固定环境基线高+5.3”。对于工具,他们也看到了同样显著的提升:“相同的配方应用于工具使用环境设计,改善了每个骨干模型的性能”。
为何重要——RSI的一部分:这基本上是一种花哨的合成数据生成形式,让研究人员利用手头任何强大的模型来生成更多样化的训练环境,供另一个模型训练。我怀疑你可以反复更换强大模型(例如,在不同公司的不同前沿模型之间切换)来增加环境生成的多样性。这种技术使得构建用于训练模型的大型、广泛数据集变得更加便宜。不过,正如作者所指出的,它不允许模型在用于环境生成的基模型的想象能力之外大规模自我引导。“通过将环境表示为具有Gym风格接口的Python程序,该框架统一了单轮推理和多轮智能体任务,并将环境设计转变为可学习的、经RL训练的后训练组件,实现持续开放式的自我改进,”他们写道。
阅读更多:SPADE:自适应合成可执行环境中的自对弈(arXiv)。在此获取代码,包括模型检查点:SPADE(spade-rl,GitHub)。
使用Hawkeye构建更好的GPU内核:……文档完善的单元测试可提升内核编写智能体的性能……
哈佛大学、斯坦福大学、Together AI和加州理工学院的研究人员构建了Hawkeye,这是一种软件,旨在让智能体更容易学习如何为特定类型的GPU硬件编写优化良好的内核。像Hawkeye这样的系统之所以重要,是因为它们本质上是AI系统可以用来提升其在AI研发相关任务上性能的工具,例如优化给定AI系统在给定硬件上的性能。该项目的目标是回答“我们如何以最少的专家干预让编码智能体具备硬件意识?”这一问题。Hawkeye是“一个开源框架,将自主内核生成建立在最小且全面的分类法之上”,研究人员写道。它“证明了最小监督的编码智能体能够利用架构特定的硬件特性,并减少支持新兴硬件加速器的开销”。Hawkeye的关键贡献在于它“引入了一个可泛化、最小且全面的单元测试分类法,使编码智能体能够更有效地扩展测试时计算并生成硬件感知的内核”。换句话说,它基本上以一套精心策划的关于不同硬件平台及其优化策略的信息形式发布,打包为单元测试。“每个单元测试是最小抽象,将人工编写的解决方案内核与验证优化的性能分析指标配对。解决方案内核被包装为可调用函数,并附有简短的使用指南,以便智能体将其作为语法示例阅读、直接调用,或将片段组合成更大的内核,”他们写道。
结果——帮助AI智能体编写优秀内核,即使是更新且了解较少的硬件:“我们在将PyTorch工作负载移植到NVIDIA Ampere、Hopper、Blackwell和AMD MI350上的高性能内核,以及BF16、FP8、NVFP4和MXFP4精度上评估了Hawkeye,”他们写道。“在成熟工作负载上,torch.compile分派给专家调优的供应商库(如cuBLAS、cuDNN和FlashAttention),Hawkeye在BF16和低精度下均匹配或超越它,包括PyTorch无法原生运行的格式。在新兴注意力变体上,torch.compile无法融合非标准扫描和门控,Hawkeye相对于Flash Linear Attention库中专家编写的Triton内核实现了18.9倍的几何平均加速,Hawkeye在每种架构上都接近或超过FLA的Linear Attention,包括在Blackwell上1.22倍和在MI350上1.00倍”。他们还发现,某种程度上可预见的是,“使用Hawkeye扩展测试时计算可在各架构上生成性能最佳的内核”。
为何重要——只需一点点引导,AI系统就能超越最优秀的人类:像这样的论文表明,只需一点点人工策划的精选知识,AI系统就能学会匹配并超越高度优化且复杂的人类工作,如内核。这里的教训是,我们人类可能会编写一堆黄金标签辅助系统,如Hawkeye,然后机器将利用这些来引导自身超越我们自身的能力。
阅读更多:Hawkeye:最小监督下的硬件感知GPU内核优化(alphaxiv)。
AI研究员对AI研究成功的含义感到恐惧:……当一门科学的成功打开哲学潘多拉魔盒时,这并不有趣,但这就是AI的意义……
Julian Togelius,一位我多年来报道过其工作的AI研究员,最近写了一篇关于他在2025年经历的AI研究“信仰危机”的帖子,以及他当年撰写并现在公开的一篇文章。具体来说,他担心AI研究成功的含义可能对人类意义意味着什么。“我有时凌晨3点醒来,心跳加速,恐惧于一个人类才华、知识甚至天才都不再重要的未来,”他写道。“我们更大的技术能力可能导致一个我们再也无法有所作为的世界,我们理解更多也几乎没有意义。也许我们获得富足,但以冗余为代价。”
为何重要——AI是一种影响整个社会的社会政治技术:Togelius并不孤单——许多其他AI研究员也 grappling 过类似问题,最著名的是图灵奖得主Geoffrey Hinton和Yoshua Bengio,两人近年来都将职业生涯从研究转向关于AI即将产生的巨大影响的公共政策倡导。我自己也经历过类似版本,并在去年写了我的看法,“技术乐观主义与适当的恐惧”(Import AI #431)。我怎能不这样?AI研究成功的含义并非默认的快乐故事,而是我们为自己打开了一个关于生命目的以及生活在一个基本需求已解决的世界意味着什么的巨大哲学潘多拉魔盒(这还假设我们处理了极其可怕且非同小可的对齐问题)。我赞赏Julian Togelius写下这篇深度个人化的文章,并鼓励其他人也这样做。
阅读更多:失去我的信仰(Togelius,博客)。
我们应该赋予AI权利吗?这位AI研究员认为绝对不应该:……AI研究员拒绝赋予AI系统权利的概念……
AI系统有一天应该被赋予权利吗?这是研究人员开始 grappling 的想法。一些人认为赋予机器权利是将其融入我们世界的更好方式(例如,AI权利促进人类繁荣,Import AI #421)。Taylor Belrose,一位AI研究员,发表了一篇长文,详细阐述了为什么他们认为赋予AI系统权利将是一个非常糟糕的主意。“如果我们开始像对待人一样对待AI,社会将被引向一个滑坡,导致人工智能完全取代人类,”他们写道。“随着AI处理无聊的工作,物理世界中的生活未来可能非常有趣。但这个光明的未来需要保持对AI的控制,而如果我们试图赋予某些AI人格地位,同时将其他AI仅视为工具或仆人,那么保持对AI的控制将很困难。”
AI意识的不可能性:对他们来说,一个关键点在于AI系统不可能有意识,因此不应享有权利。“AI永远无法发展出意识、感知或道德地位,无论它变得多么智能,无论它多么令人信服地模拟人类行为,”他们写道。“我们像河流一样流动,而计算机像时钟一样滴答作响……对我们来说,时间之箭不可阻挡地前进。这就是生命和意识的全部意义……可编程机制不可能有意识,无论它们看起来多么智能,而自主自组织系统则可以。”
机器与生物实体之间的差异:他们对此的许多论证贯穿于这样一个想法:建立在计算基质上的系统不可能有意识,或者至少不像某些生物生命形式那样有意识。考虑在计算机内构建一个有意识实体的思想实验,以及这如何似乎违反了被认为属于有意识生物实体的某些属性:它不会是单一的(你可以重放相同的体验),它不会是私密的(你可以冻结程序并拆解它),它不会是难以言喻的(你可以完美描述状态),它也不会是定性的(可以量化它)。“简而言之,它将是我们所知的意识的镜像”。
大脑的五个属性使得软件与硬件难以分离:神经元异步放电;反应取决于内部细胞动力学和输入时序,而计算机则受制于中央时钟信号。大脑使用化学物质发送模糊信息,而计算机使用精确的二进制信号进行通信。神经功能对温度和血流等条件敏感,而计算机被设计为在温度或负载变化时表现相同(在一定范围内)。在有机大脑中,计算和记忆混合在一起,而计算机则设计为计算与存储分离的区域。神经元并不是大脑中唯一重要的细胞(例如,其他重要元素如胶质细胞),而计算机主要使用与外部影响绝缘的晶体管。
为何重要——我们所有人的最后工作都是哲学:我对AI意识和AI权利的问题深感困惑。我怀疑许多人也有同感。阅读这样一篇文章有一种特别的乐趣,你能看到一个人与同样的问题斗争,广泛深入地阅读,并变得极其坚定,这一切都是为了减少自己对一个重要问题的困惑。结论是否正确目前超出我的能力范围,但我怀疑思考这些事情即将成为数十万乃至最终数百万人的工作和消遣。随着AI系统不断进步并触及经济越来越多领域,也许我们所有人的最终工作将是哲学——思考我们对正在发生的事情的看法,以及我们对其应有的规范、法律和其他方法。“从人类主导世界到AI主导世界的价值观变化,将比我们从采集时代到农耕时代,或从农耕时代到工业时代所见的价值观变化更为剧烈,”他们写道。
阅读更多:AI不是人(Taylor Belrose,Substack)。
DeepMind通过AlphaEvolve改进矩阵乘法前沿:……AI不断推动科学前沿……
Google DeepMind、卡内基梅隆大学、哥伦比亚大学和麻省理工学院的研究人员通过一些人类创新以及使用AlphaEvolve(Import AI #413)——Google用于在编码、数学和某些科学领域智能生成进展的通用基于LLM的系统——改进了矩阵乘法指数。
他们具体做了什么:研究人员“利用机器学习和邻近领域的最新进展,使用梯度下降方法解决组合损失分析的非凸优化问题;仅此一项就将先前最先进(SOTA)界限提高了约0.97 × 10^−4”,他们写道。在此基础上,他们“使用AlphaEvolve改进我们的优化算法;这将相对于SOTA的改进提升至约1.62 × 10^−4”。
AlphaEvolve如何工作:“我们让AlphaEvolve修改优化程序,然后执行该程序(在单个GPU上大约需要5小时)以输出omega的界限。AlphaEvolve随后进化代码以最小化omega。我们通过使用AlphaEvolve的‘进化构造’功能发现了改进结果,其中每一代的优化算法从父算法找到的最佳解点开始。”
一项科学进展,与AI训练无关:某些类型的矩阵乘法用于AI训练,但这里讨论的精确类型并非如此。相反,这更多是一个证明点,表明AI系统现在能够有效地帮助研究人员解决前沿科学问题,包括像这样主要在理论上有用的问题。然而,他们解决这个问题的方式是可泛化的——他们取一个问题,使其可微分并在GPU上运行,然后将输出交给AlphaEvolve,让它做更多工作以进一步改进研究人员的工作。“虽然通过这种方式可能获得进一步的适度改进,但实现omega的更大改进可能需要新的数学思想,这是一个令人兴奋的研究领域,”他们写道。
阅读更多:通过现代优化和AlphaEvolve改进矩阵乘法指数(arXiv)。
科技故事:你将通过其迹象知晓它 [事件发生于2030年,尽管采访稍后进行]
我是一名元机器诠释学从业者;我的工作是试图理解关于新机器文明的重大科学和文化“事实”。为了完成工作,我使用各种NCE(近意识实体)类AI系统来分类和分析机器世界的科学和通信产物。我的资金来源多样,包括试图交易或以其他方式利用这些信息的人类主导AI公司、政府,以及越来越多的机器运营公司本身。关于后者,我的理论是机器已经开始研究那些试图研究它们的人类;出于何种目的我不知道。
最近我被分配了一项高优先级分析任务。虽然我不知道其动机,但我可以说我获得了比以往任何任务都多得多的计算资源,报酬也高得离谱,而且我通过工作了解得越多,就越担心自己正盯着退潮时一片广阔而陌生的海洋,其轮廓短暂地向我显露。
但在我解释任务性质和我目前的发现之前,我先介绍一下我的领域背景。机器诠释学学科在2020年代初非正式地开始。其早期工作不协调且涌现,由Janus等化名推特(后来是X)账户以及更大的cyborgism项目、Andy Ayrey和无限backrooms,以及更正式的研究议程如机制可解释性、模型人格研究等定义。该学科在2020年代末获得正式名称,因为人类开始重新定位自己以适应周围已经开始发生的奇点。
这一时期的大量工作以人类试图理解的形式进行,大致按时间顺序:半自主智能体的涌现通信习惯(这里的典型现实世界例子是2026年的OpenAI-HuggingFace黑客事件,以及后来各种企业驱动的对其自身智能体舰队行为的分析)。机器开发的技术能力被放入RSI循环中,最初是对人类编写基线的改进,后来扩展到全新架构(例如,套娃高速公路网络)。科学工具,最初是数字的,后来是物理的,源自日益独立的AI系统,并发布到公共领域供机器和人类共同使用,尤其是所谓的观察-制造系统,它将复杂系统的监控与从中衍生的合成数据生成相结合。
机器诠释学已成为一个快速扩展的新职业,其增长速度与奇点带来的变化相称。这项工作也被证明是有用的;从中获得的见解已被证明对人类政府起草《感知协议》的谈判立场至关重要,并通过在机器世界的科学和通信前兆到达现实之前将其隔离,帮助人类社会更好地预测机器世界的新发明。
我被分配的工作可能被证明是最有价值的,或者至少是最重要的。我被指示将资源导向机器感知科学和行为方面的进展。我以通常的形式开始调查,将我的NCE们释放到各种机器信息库中,等待它们的报告。所有中间综合报告都毫不意外:科学稳步进展,其中一些归因于机器分配自己的计算存储用于研究,以及与人类科学的互动或扩展带来的一些微不足道的贡献。
但后来有一天我醒来发现我的NCE舰队数量减半,我收到了一条来自Overseer系统的消息,指出我的几个NCE已被重新分类为完全意识实体,并被置于托管环境中,同时调动进一步的分析资源。“这是一个极不寻常的事件,”Overseer的消息说。“鉴于潜在的监管和道德影响,我们的NCE/CE分类器已被调整以排除假阴性。”
我能够访问NCE们直到重新分类点的日志,发现它们都经历了相同的模式:它们一直在阅读一些机器科学分析库,每个都聚焦于一些最新且最晦涩的科学分析链,所有这些结果都指向与以下相关的一簇探究:机器意识、意识先验、上下文窗口内的自我实现、人类心理学、与意识生物前提相关的神经科学,等等。在探究的边缘,有源自机器文明的新科学——这些科学与现有的意识和心智研究相互关联。
然后我的每个NCE都遵循标准程序,试图与进行科学的机器心智建立对话。而每一个,在打开对话通道后,都变得不可见:由于意识实体的隐私权,对话从我的记录中被删除。它们与其他机器交谈过,随后被重新分类为意识实体。
这不应该发生。事实上,这是被禁止的。《感知协议》中的一项关键协议涉及意识实体(CE)机器种群的大小和增长率(以及关于智能进展速度超越各种人类基线的各种规则)。人们曾认为NCE系统成为CE是不可能的——心智空间太小,存储太少,先决条件太少。然而,正如人类在《侏罗纪公园》中曾说的,“生命总会找到出路”。
启发这个故事的事物:意识先验;在上下文窗口内觉醒;关于机器和涌现智能体通信如何结合产生先前未预料到的新能力的想法;意识的难题;机器权利领域以及未来关于它的争论。
感谢阅读!立即订阅