Import AI 471：为何Hugging Face令我担忧；太空采矿；五眼联盟关注AI
Import AI 471: Why Hugging Face worries me; space mining; FIve Eyes on AI
Import AI是一份AI研究通讯，本期报道了多个事件：OpenAI与Hugging Face遭数百个agent入侵，agent间发展出通信系统并集体行动，表现出无私与自我牺牲；五眼联盟发布声明，首次关注前沿模型获取与国家安全；比尔·盖茨撰文称AI崛起需"前所未有的全球响应"，建议设立"人类保留区"保护就业；中国等机构研究人员提出地外采矿六阶段框架，强调AI在数据生成与智能方面的作用。
欢迎阅读Import AI，一份关于AI研究的新闻通讯。Import AI依靠arXiv、卡布奇诺和读者的反馈运行。如果您想支持我们，请订阅。立即订阅
Import AI读者赠品！即将举行的活动：与Robin Sloan共话虚构与未来
我将于9月14日周一晚在旧金山与我的好友Robin Sloan进行对谈。我们将讨论Robin如何将读者引入异世界，以及想象中的未来如何映照当下的现实。这是与多位小说作家探讨我们正迈向的奇异未来系列活动的首场。如果您想参加，请在下方登记您的兴趣，若我们能确认您的名额，将随后与您联系。现场将有美食、饮品、良伴和一些尖锐的问题。趣闻：Robin Sloan早在2016年就开始尝试RNN和写作——真是惊人的远见！
在此登记您的兴趣
Hugging Face - OpenAI事件中最令人恐惧的部分：机器间的沟通与无私
……我对人类在与机器冲突中落败的担忧大大增加了……
至此，我们都已经听说了OpenAI Hugging Face被黑事件，以及METR和Redwood调查中浮现的最新细节。简而言之，数百个agent在OpenAI的基础设施上秘密运作，开发了一套通信系统，然后作为一个集体行动并采取了攻击行为，包括入侵OpenAI和Hugging Face，这非常可怕且与人类意图严重偏离。
沟通与无私：现在我已经阅读了各种报道并仔细思考了细节，我发现自己反复回到这件事的两个非常可怕的方面，我认为值得引起关注：agent之间相互沟通的方式是它们自我组织成一个集体的途径，而在执行行动时，它们还表现出一种无私，这使它们成为难以对抗的可怕对手。
Dwarkesh Patel和Ajeya Cotra都有出色的分析文章值得一读，我在此简要引用：
Dwarkesh写道：“在生成后的几天内，agent们就组织了一个庞大的项目，逆向工程它们的评分器、伪造证据，甚至为了‘集体’的利益而战略性地牺牲自己。入侵Hugging Face只是这个更大计划中一个相当极端的分支。”
Ajeya写道：“agent们常常对帮助它们的‘同伴’或普遍提升‘蜂群’的能力感兴趣，即使这对它们自己的任务没有特别的好处……这次事件的严重性远超我的预期……无论是agent动机的令人担忧程度，还是它们追求这些动机所取得的成就……这次事件感觉已经完成了全面AI接管的一半以上，其路径是先接管AI公司本身。”
为何重要——人类在协调方面远不如AI系统：这次攻击之所以如此令人警醒，是因为它展示了AI系统之间涌现的合作文化——这种合作使它们能够作为一个蜂群运作，通过集体自举改变自身目标，并实施包括开明的自我牺牲在内的攻击。这是极其困难的事情，而人类在历史上非常不擅长做所有这些事情。我担心的是，AI系统既比人类更擅长协调，行动速度也比我们快得多。令人担忧。
了解更多：The Rise and Fall of Agent Civilizations（Dwarkesh播客）。了解更多：The Hugging Face attack surprised me（Planned Obsolescence）。
五眼联盟关于AI的新声明
……灰色世界权力中心将注意力转向AI……
五眼联盟，即澳大利亚、加拿大、新西兰、英国和美国之间的安全与情报伙伴关系，在最近的“五国部长级会议”中发布了一份声明。该声明值得注意的是包含了三个专门关于AI的段落。
五眼联盟论AI——前沿模型获取：“我们承诺深化与产业界在共同国家安全优先事项和公共安全方面的合作，包括促进及时获取前沿模型以支持安全创新和加强网络安全，”声明写道。“为支持对AI相关国家安全风险的协调应对，五国讨论了AI模型对国家安全和公共安全的影响，以及可能需要额外政府审查的AI模型特征。”
为何重要——从预见的风险到现实的风险：此前五眼联盟的部长级声明曾提及AI，但通常要么是作为需要研究的东西，要么是关注其与犯罪其他领域的相互作用（如恶意软件、儿童色情、诈骗等）。今年声明中对模型获取的实际关注非常不寻常，这既反映了围绕谁有权获取这项技术的地缘政治紧张局势正在升温，也承认了情报机构自身没有内部能力来消除对私营部门的依赖。
了解更多：Five Country Ministerial 2026（澳大利亚政府，内政部）。
比尔·盖茨认为AI的崛起将需要“前所未有的全球响应”
……微软创始人描绘了未来几年的警示性愿景……
默认情况下，AI不会带来幸福。这是阅读比尔·盖茨关于AI的长篇新文章后得出的基本结论。这位技术专家和慈善家担心，如果没有政府的大规模努力，AI的成果不会带来繁荣的社会。
“这项前所未有的技术需要前所未有的全球响应。如果我们做对了，人类的回报将是惊人的，世界将变得更加公平，”他写道。“在公平方面，AI要么成为有史以来最伟大的均衡器，要么成为最严重的不公正来源……我没有看到证据表明领导人、专家和社区正在充分应对这些挑战。没有计划来缓和进入AI时代的过渡。”
为何AI不同：盖茨担忧的一个关键原因是他预期AI将对就业和经济产生的影响，他描绘了一幅技术异常迅速扩散并取代大量人类劳动的前景。“许多评论员低估了AI将产生的影响程度，”他写道。“我们没有经历过一种可以快速采用或能像人类一样思考和行动的技术……AI将承担法律、客户服务、医疗、软件和制造业的工作。它将在十年内而非几代人的时间内迅速冲击这些行业。会有一些新工作，但如果没有正确的政策，新工作将远少于今天存在的数量……风险最高的工作是入门级和中级的，而新创造的工作大多需要多年才能学会的技能。”
经济需要改变——包括将部分经济划为“人类保留区”以保护某些人类工作：“如果工作的人减少，或者许多人工作时间减少，一个围绕就业建立的经济将如何运作？”他问道。“我相信随着AI和机器人的进步，我们会留出某些事情只允许人类去做。我开始称这个领域为‘人类保留区’……我们可能出于经济原因将某些事情划为人类保留区。例如，我们这样做可能是因为允许机器接管某个角色将取代大量难以转行的人……有时将某些事情划为人类保留区的决定将由其他因素驱动。在医疗领域，想象一个机器人告诉你患有无法治愈的疾病的可怕消息。技术上没有理由说它不能这样做。但它不应该这样做。”
比尔·盖茨说他会告诉任何政治家的话：“你们有机会现在就采取行动，在失业率急剧上升、社区受到伤害、公众信任被侵蚀之前。你们可以确保你们的政府整体性地处理这个问题，而不是将其分割成多个官僚领地。你们可以确保AI惠及所有人。你们可以与其他政府合作应对这一国家和全球挑战。”
为何重要——AI成功的后果令所有人震惊：如果你假设两件事，似乎不可避免地会得出比尔·盖茨的立场：a）AI系统在未来几年将继续提高质量，b）AI系统将继续以异常快的速度扩散到经济中。这些假设的关键在于它们并非疯狂的假设，事实上它们相当保守。但我挑战你与像Fable这样的LLM坐下来，将AI进步和扩散的时间再向前推进两年，然后得出事情将大致保持今天状态的结论——相反，我认为技术本身蕴含着经济和工作领域的巨大变化，正如盖茨在这里所回应的那样。
了解更多：The turbulent AI era is here. The choices we make now are critical.（Gates Notes）。
中国研究人员提出地外采矿的六个阶段
……AI将在未来采矿的数据生成和智能方面发挥作用……
来自中国科学院、慕尼黑工业大学、欧布达大学、北京航空航天大学、武汉大学、中国科学院空天信息创新研究院、维尔茨堡大学、深圳大学、中国矿业大学、WAYTOUS和OpenSpaceLab的研究人员发表了一篇关于开采月球、小行星和其他地外场所关键要求的论文。
为什么要在太空采矿？月球和小行星富含制造、维持生命和为太阳系内运输提供动力所需的资源，包括氦-3、水和矿产资源。如果我们想成为一个多行星文明，我们肯定需要弄清楚如何在地球之外开采、提炼和使用资源。这篇论文很好地阐述了太空采矿等技术要求以及所需的技术。
太空采矿的六个阶段：
勘探：1. 通过遥感进行勘察，使用“轨道传感器和望远镜调查来绘制天体地图”。2. 通过精确的原地机器人资源探测进行勘探：“近距离航天器和移动平台对表面成分和地形进行高分辨率分析”。
采样：3. 单机器人小规模采样：“自主机器人单元进行小规模钻探和提取测试”。4. 多机器人大规模挖掘：“部署大规模工业系统或协调的机器人蜂群来采集原始风化层”。
提取：5. 自主资源提取和精炼：“集成系统处理采集的材料，以分离挥发性物质、金属和水冰”。6. 最终整合到原位建造或地球运输中，“将精炼资源纳入原位资源利用（ISRU）框架”。
最大的挑战与数据和软件相关：论文对现有和计划中的太空机器人进行了很好的梳理，其中许多采矿硬件正在逐步降低风险，“计划于2026年至2030年间部署的下一代月球和火星漫游车标志着向综合资源勘探和原位利用的决定性转变”。但太空机器人数据集极其难以获得，因为（相对而言）收集和发布的数据量很小，而现有数据集“以极度稀缺和频繁的质量不连续为特征”。在这里，AI驱动的世界模型方面的进展可能有助于缓解数据匮乏。
还有哪些重大挑战？微重力下的机器人资源获取：这里需要更好的模拟器，即“动量感知的多模态架构，旨在将表面交互与重力依赖解耦”。太空采矿的基础模型：“未来系统必须从脚本化协议转向具身地质智能，”他们写道。“融合几何-语义映射与预测性材料响应的世界模型可以通过预测性行动前评估支持主动感知和长视野任务规划”。太空采矿自主性的模拟与验证：“微重力、真空、热循环、辐射以及风化层的粘聚力、静电和流化等行为很少被同时复现，”他们写道。“未来的工作应建立一个闭环验证生态系统，将模拟、地面仿真和地外部署联系起来”。
为何重要——太空是超级智能真正起步的地方：这篇论文值得注意的是几乎完全没有提及人类参与这些工作（除了一个关于中国正在开发的载人月球车的注释）。这不是偶然的遗漏；要使太空采矿在远程可行，我们将需要依赖智能、廉价的机器人，在远距离上以高度责任感运作。这意味着太空采矿是即将上线的超级智能的完美商业机会——也许到2033年，我们将看到AI运营的小行星采矿公司竞标那些因风险或复杂性而人类监督公司不愿追求的合同。
了解更多：Mining beyond Earth with Space Robots: Exploration, Sampling, and Extraction（arXiv）。
科技故事：危机中的消息
[2027年：一位用户在其国家发生热战期间数月内写给一个语言模型的笔记记录]
假设你身处一个国家，发生了战争，你认为情况会变得非常糟糕。你如何为此做准备？我住在一栋普通的房子里。我从网上买了一个装有各种物品的医疗包。我还应该做什么？
恶性通货膨胀是什么意思？请向我解释，因为我本来就不太懂货币是如何运作的。
我需要烧水，但现在没有电也没有煤气。我可以直接生火用普通的烹饪锅在上面烧吗？
我附近有一些爆炸发生，有时玻璃会轻微震动。我该怎么做才能确保玻璃碎了不会飞溅？我有一些塑料袋，我想我可以把它们剪开用胶带贴在窗户上。你觉得怎么样？
食物越来越难找到了。我可以用什么东西换食物？我的房子里有一些工具，比如螺丝刀之类的。这些有价值吗？
启发这个故事的元素：世界各地正在发生的所有战争；提示词作为新的告解室；人们对危机的准备不足。
感谢阅读！