Ryan Greenblatt：人类级AI或于2032年前构建失控超级智能

是的，我们来谈谈这个。首先，我认为值得指出的是，研发是AI特别擅长的任务类型，因为公司都在努力让AI在研发上表现出色，而且从当前AI发展的角度看，这个领域有很多有利特性。比如，它相当可验证。你可以迭代做很多事情，在各种指标上逐步优化。然后，一旦AI在AI研发方面大致匹配顶尖人类专家，就可能启动一个反馈循环，AI进行AI研究，产生更智能的AI，再反馈回来。这个循环可能强大到让你在短时间内取得大量进展。我的中位数预期大概是每年相当于4到5年的AI进展。这需要真正克服研究中的大量收益递减，基本上等同于我们在大规模计算扩展后能获得的进展。所以这是一件相当了不起的大事。值得记住的是，5年的AI进展、4年的AI进展，甚至3年的AI进展，都是非常巨大的AI进展，对吧？所以，你知道，现在的情况是，大约3年前或稍多一点，GPT-4发布了。而现在，当然，我们有Mythos-5之类的模型，也许Anthropic内部还有更好的模型。所以，在3年多一点的时间里，这已经是巨大的进展了。如果我们谈论5年，那可能更多是从GPT-3跳到Mythos-5之类的跨度。

是的，我会说，我预计研发的完全自动化可能在2030年或2031年左右，然后达到在所有工作中胜过人类的里程碑，我的中位数预期大概在2033年。但有点像，如果我看到AI完全自动化研发，我认为可能在一年内就会发生。只是，嗯，预测的方式就是这样，中位数之间的差异大于里程碑之间的中位数差异。总之，无所谓了。

是的。

我确实认为自动化你的视频编辑的里程碑比自动化所有人类工作的里程碑要早，包括像得克萨斯政治那样在职学习的情况。所以，我认为视频编辑自动化可能更接近AI研发的完全自动化，但这非常取决于人们是否真的专注于理解视频。

是的。这里有几个不同的部分。其中之一是，我们可以在许多环境上训练模型，这些环境基本上直接训练模型做某些AI研发任务或非常接近的任务。例如，我们可以有一个环境，模型在8块H100或类似的小规模计算上训练另一个AI。那个模型可能相当于GPT-2中等规模或类似。然后类似于nanoGPT中等规模运行，在强化学习中，它不断调整和迭代。我们可以为许多不同任务这样做。我们可以让它训练图像分类模型、视频生成模型、图像生成模型，各种不同的机器学习训练任务。我们可以用强化学习让它训练越来越好的模型，并做类似“这里有一个算法方向，你能去实现它吗”的事情。所以基本上，有这一整类可容器化、可验证、小规模的研发任务，我们可以积极地对AI进行强化学习。我敢说，公司可能已经在这些任务上做了一些强化学习，你可以继续扩大规模，制造更多这种小规模AI研发任务，然后AI可以在这方面不断进步。然后，我隐含地声称这将转移到研发中极其关键的方面。但也许我们先停在这里，然后再讨论那部分。

是的。

天哪，我真的不太了解数学突破。

我的看法是，机器学习比数学更浅层，所以不太存在那种拥有某个领域深厚专业知识的个别专家去结合不同领域的情况。但肯定会有一些这样的情况。不过我也认为机器学习有一些特质，在某些方面甚至比数学更有利于AI训练。特别是，你能更好地判断自己是否在成功，并且能看到中间进展。在数学中，往往没有简单的方法来判断你是否接近成功。而如果你的目标是，比如说，将训练损失降低2倍，你就能看到自己走到一半了。而且机器学习创新往往是加法性的，或者可能是乘法性的，取决于你怎么看，基本上你可以不断叠加创新，通常这些创新只是相加而不会互相干扰，虽然显然这取决于具体细节。所以我认为在很多方面，AI研发将具有与数学相当相似的特质，基本上你可以做小的——你可以训练AI研发的片段，这些片段在结构上与你真正关心的问题非常相似，并且以非常可验证的方式进行。然后这会产生迁移。至于迁移效果到底有多好，这是一个开放问题。但我认为目前数学领域的迁移看起来相当不错。我预期AI研发的迁移会相当不错，但不会惊艳。

是的，我们来聊聊这个。首先，我认为在数学的语境下，我要说的是，AI可以做相当于"婴儿版的新理论"之类的事情，比如，它们可以通过建立联系和产生新的理解来证明有趣的猜想，比如"哦，我发现了这个东西，这个构造挺有意思的"，或者"找到了一个有点不同的思考问题的方式"。我们确实看到了这种情况。只是我们看到的例子不像创立群论领域那样令人印象深刻。但部分原因可能是，创立群论领域大概是数学史上最伟大、最大的成就之一。而AI现在还不够擅长数学。而且在我看来，这之间是一个连续谱，从那个层次到我们现在看到的这些，AI正在不断向上推进。第二，我认为机器学习相对于数学是一个非常浅层的领域。所以在数学中，更多的是你找到一个真正深刻的抽象，如果你真正理解了那个东西——这很难理解——那你就能有所突破。而我觉得在机器学习中，与之等价的东西真的很蠢。比如缩放定律，拜托，我们很快就能解释清楚缩放定律。而我认为数学中最深刻、最重要的概念，并不具备那种你可以在很短的时间内真正理解底层事物及其重要性的特质。

是的，这可能是对的。我的感觉是，就像某些领域在运作方式和依赖深度抽象程度上存在结构性差异。物理和数学更偏向于需要非常深入、难以产生想法的层面。而我认为机器学习和其他大多数领域则更适合爬山式的渐进优化。这是我对未来走向的感觉。即使在AI需要深耕细作的阶段——比如到了2030年，研究中的许多低垂果实已经被摘取，它们需要取得进一步进展——我仍然怀疑大量工作会更多地落在构建日益复杂的基础设施、对实验大致形态有良好直觉上。因此，我可能不太认同AI会缺乏某种深刻洞见的说法，而更倾向于认为它们确实需要大量关于细节实验的品味，这些目前它们还不具备，并且需要像现有研究人员那样，对哪种训练方法有效或无效有大量直觉。即使在AI取得某些突破的情况下，事后回顾时，往往发现实现突破的一大瓶颈是搞定所有微观细节和模糊直觉。举个例子，在训练AI擅长推理和思维链、进行强化学习和思维链训练时，看起来你本可以在GPT-3上做强化学习和思维链，如果真正扩大规模并做好工作，可能在数学上得到有趣的结果。但当时有低垂果实可摘。而且做好这种训练有点像在细节中摸索，涉及所有技术实现、扩展规模以及调对超参数。所以也许你可以在QuEN-1B或类似模型上展示一切，并感觉到整个事情会成功。但人们没有尽早展示，因为所有这些其他模糊细节和对如何调参、如何设置的直觉阻碍了。

这是一个复杂的混合体，对吧？所以我认为如果他们能尽快想到实验并无bug地运行，他们会进展更快。无bug非常重要。然后我认为另一部分是，能够以高计算量运行大量实验，可以掩盖实现方式不完全正确或超参数设置不当的问题。所以我认为计算对AI研究确实非常有用，你可以掩盖很多事情，但这并不意味着大量增加劳动力没有帮助，尤其是如果这些劳动力拥有该领域最优秀的直觉。我只是觉得那真的很有帮助。我观点的另一部分，可能与你有所不同，是我预期会有更多的迁移。我设想这些AI实际上在总体上是不错的科学家，对所有这些东西都相当合理。当你与它们互动时，不会有那种高度专业化的天才氛围。它们实际上在研发方面都相当擅长，然后可能在某些子领域极其出色，对吧？所以它们在编写内核方面超人类，在短反馈循环的一切方面超人类，然后对其他所有事情都相当擅长，完全能匹配其他人。我认为我们现在已经看到这一点。比如，当我看到现在的AI时，我认为它们已经能相当胜任地匹配那些在ML研究方面平庸的人类。只是平庸的ML研究并没有多大帮助，对吧？你真正需要的是擅长ML研究的人。所以我的感觉是AI在这些方面都在进步。它们的品味在提升，直觉在提升，而且它们的品味和直觉已经不是完全糟糕了。

那会是这个想法，是的。

是的，我觉得可能比那要少一些。我们来查一下。基本上，GPT-3的训练计算量大约是3e23。我感觉Mythos大概比那高三个数量级左右。所以问题是，你能不能克服这1000倍的计算差距，同时还能超越那个模型？这里有一个具体的说法，也许我们应该讨论一下。现在，我们能用GPT-3级别的计算量训练出一个模型，并且达到——嗯，我到底怎么想的？GPT-3大概是，比如说，什么时候训练的？它是在2020年发布的，所以是6年前训练的。值得注意的是，GPT-3可能有点太遥远了，但我们先拿它说事。GPT-3大概是6.5到7年前训练的。如果我们今天用GPT-3级别的计算量训练一个模型，那个模型会有多好？我的理解是，根据算法进步的规律，我们大概能训练出一个相当于3年前最好模型的水平。所以我认为，现在我们能训练出一个比GPT-4稍好一点的GPT-3版本，基本上就是这样。可能比GPT-4好上不少。我觉得这差不多是对的。这大致符合算法进步的轨迹。基本上，结论就是，要获得5年的AI进步，你可能需要大约8年的算法进步，粗略来说，这是很大的算法进步量。但事实是，从我的角度看，大部分AI进步来自于算法和数据的某种组合。而且你可以不断在这些方面做出巨大改进，用更少的计算量训练AI。

是的，我的感觉是，在获取人类专家数据上投入更多精力，总体上对AI研发并不是特别重要。具体来说，过去几年我们一直在扩大计算规模、增加AI公司的员工数量，以及增加数据标注的投入。我的感觉是，如果你把最后两次数据标注的翻倍去掉，那不会产生太大影响。或者说数据生成——抱歉，我应该说来自人类专家的数据生成——那也不会产生太大影响。嗯，我觉得很多进展来自于人们开发了更好的方法来利用人类和AI构建RL环境。然后从那里继续推进。

但问题是，创建RL环境的限制因素是什么？我的感觉是，创建RL环境的限制因素并不是扩大规模，或者说推动我们前进的东西——为什么今天的RL环境比2024年好得多，不是因为雇了更多人类专家来制作RL环境。而是因为我们更清楚我们到底想制作什么样的RL环境，以及应该如何构建它们。另外，我们也在用大量的AI劳动力来构建RL环境。我认为这些效应比人类劳动力构建RL环境要重要得多。我不是说人类劳动力不重要，只是说还有其他重要的驱动因素。是的，我可以试着论证这一点。我的意思是，一个方面就是人们想要的环境数量非常大。而且我认为，在给定一些目标方向的情况下，AI在制作RL环境方面其实相当擅长。有现成的数据可以用。我不知道，很多这类事情都有很好的验证循环。

你觉得前沿实验室在数据上的支出占多大比例，相对于计算？你认为计算和数据的支出比例是多少？

对吧？就像，假设——我同意，是的，我的感觉是比例大概是，我猜20比1或10比1。我不确定具体数字，这取决于公司。

当然，但背景是你的论点。

当然，但你只是在说，因为市值高，我们可以推断这是关键驱动因素。而我说这并不一定成立，对吧？

因为像你这样的论点，我觉得它暗示——看起来像是计算是更重要的驱动因素，或者说雇佣员工是更重要的驱动因素。

是的，这里有几个要点。首先，我敢打赌，如果你看看Mythos随机抽样的训练环境，它们实际上与模型在实际使用中的情况大相径庭。我的感觉是，强化学习分布与真实世界数据分布之间存在很大偏差，而这种偏差在很大程度上通过迁移学习和少量聚焦于真实世界的数据被平滑掉了。因此，我的感觉是，这将类似于在完全自动化的AR&D基础上经过五年AI进展后，所得到的那些疯狂、极其超人的AI的运作机制。让我们稍微深入探讨一下。具体来说，我认为你可以训练一个AI在即时学习和进行类似上下文学习（in-context learning）方面变得非常出色，但可能使用一些不同的机制，在各种各样的强化学习环境中。你构建所有这些不同的强化学习环境，让AI必须即时适应、即时学习、弄清楚该做什么、更好地理解自身处境，并从反馈中快速学习以达成目标，同时面临资源有限等限制。如果它搞砸了，可能会陷入更糟糕的境地。然后，如果你在大量这样的环境上训练，你会学到一些在即时获取上下文方面的通用技能。我们已经看到这种情况了。AI现在在大致理解情况并从有限信息中获取上下文方面已经好得多。然后，这些AI可以被部署到台积电的工作岗位上。即使台积电并不严格在其数据分布内，但数据分布非常广泛，AI在其数据分布上表现极佳，以至于这种能力迁移到在台积电成为优秀工程师并即时学习上，看起来更像是AI通过某种规模化的上下文学习来变得擅长当台积电工程师，而不是因为它缓存了大量关于如何当好台积电工程师的知识。这是最平淡无奇的叙事。显然，有很多不同的可能路径。

但他们有多少时间学习呢？

我认为如果你换成一个擅长快速掌握多个领域的人，并给他们一些时间来训练、与人交流、展示专业知识和进行实践，他们实际上会做得相当不错。我认为大多数领域本质上都比较浅显，一个非常聪明的通才，如果擅长有限的核心技能子集，就能很快上手。我的感觉是，并非每个领域都如此。而且，AI会发展出越来越好的机制来快速获取特定领域的理解和专业知识。比如，考虑一下AI理解新代码库的速度。AI理解新代码库比人类快得多，但程度上比人类当前的理解要浅，不过随着时间推移在不断提升。对吧。让我更详细地阐述这个论点。假设你拿Fable 5或Mythos 5之类的模型，想对一个非常庞大的代码库做一些复杂的修改。模型会很快获得对代码库的一些理解，比如在不到一个小时甚至更短的时间内。然后，它对代码库的理解会达到一个平台期，不会像人类在更长时间内获得的那样深入。所以，这有点像AI在一小时内能达到人类几周的理解水平，具体取决于代码库的复杂程度。但它无法匹配一个在该代码库上工作了两年左右的人。但随着时间的推移，AI能匹配的理解量在上升，对吧？如果我们看3.7 Sonnet或3.5 Sonnet，也许它们只能匹配相当于理解代码库一天左右的水平。但现在，AI在构建任务上下文方面好多了。所以你可以说，Mythos，我希望你真正理解这个代码库，然后实现这个功能。它会生成一大堆子代理。这些子代理会仔细研究很多东西。它会带回一堆上下文。然后它会调查一些事情。它在这方面并不出色，但可以非常快，而且效果不错。而且我不难想象如何训练AI在这项任务上越来越好，对吧？在非常大的代码库中以合理方式实现某个非常复杂的功能，这个任务非常可验证，可以成为AI改进的方向。类似地，还有一个更广泛的技能，即快速理解上下文，并让多个AI并行学习，然后合并结果。

让我试着再阐述几个可能相关的论点。一件事是，我确实认为，在观察AI在写文章方面的进步时，让我们稍微谈谈这个。我认为有一点是，即使在这些领域你也能获得一些数据，而且在快速进步轨迹上，AI也能获得一些数据。也许很难为“你的文章在人类看来真的好吗”构建一个可验证的环境。但你可以做一点。你可以做一些训练，做一些在线训练，AI将能够基于真实世界的东西进行一些在线训练。它们将能够进行评估，进行采样，你可以扩大这种操作的频率。第二点是，在实践中，当我只看迁移效果时，似乎还不错。我认为事实上，AI在不可验证领域已经进步了很多。而且确实很难指出那些难以验证的领域，在这些领域中，GPT-4到Mythos之间的改进幅度在实践中不是相当大的。现在，这并不意味着Mythos比最优秀的人类更好，对吧？它仍然可能在工作的某些方面明显不如典型的人类专业人士，但已经比GPT-4好得多，后者根本不在一个水平上。

所以我们需要非常小心地定义“数据”这个词。我一直在努力区分，是增加投入让人类专家标注数据，还是增加人类专家标注数据的数量。预训练数据并不是这样来的。我们现在拥有比2019年更好的预训练数据集，不是因为人们花更多钱让人类专家去输入AI训练用的数据。

我觉得这不是主要原因。我认为预训练数据的改进中，人类专家的贡献非常小。预训练数据改进的绝大部分——明确说，我指的是预训练，我们或许应该单独讨论中期训练和后训练——我认为这些改进主要来自科学上更好地理解哪些数据集是好的，以及大量辛苦劳动来弄清楚如何筛选。所以我的观点是，像从OpenWebText到Fineweb这样的改进，更准确地说是算法改进，你可以用一些GPU来研究然后实现，不需要人类专家数据。还有一个不同的效应我们可以讨论，那就是2026年的互联网可能比2018年的互联网更适合作为训练数据的沃土。比如，也有一个效应是，互联网上有更多人类发布内容，所以有更多数据可以采集。我的感觉是，这个效应会比人类更懂得如何整理数据、有更好的抓取方法、知道如何更好地处理这些抓取内容等效应要小得多。

没错。

所以，我认为在某种意义上，你想看的是这样的：我们要做两个后训练流程。一个后训练流程中，我们只有极少数的专家来做标注，但我们可以有智能的AI。另一个是，比如，Mythos 5要构建一个后训练流程，但它只能访问互联网数据加上极少量的专家，但它有当前最好的方法；相比之下，另一个流程中，Mythos只能使用2024年那些糟糕的后训练方法，但有大量的专家。而且，两者都有互联网数据。我的感觉是，当前的方法即使没有很多专家，实际上也会表现不错。不过这里有点复杂，因为像Mythos这样的模型，它能不能得到比自身更强的模型？你可能需要仔细考虑一下，你后训练的是什么样的模型。

最难验证的，可能是对大型实验做出决策。

比如，我认为最可能成为瓶颈的是，AI在可验证领域非常擅长，但真正去做事情时，问题在于大型实验。你只有几次尝试机会。嗯，“几次”可能有点低估了，但基本上，历史上研发是由进行接近前沿规模的实验驱动的，这非常重要。而且，真正进行一次大型训练运行，你需要决定在其中包含什么。有很多方式可以让AI使这个过程更可验证，比如更好地预测具体内容。他们可以把前沿规模的训练运行缩小到一个点，在这个规模上更积极地研究，同时一次性付出计算成本，对吧？所以，如果人们愿意，一个总是可以做的事情是训练更小的模型，这样就能运行更多轮次。我认为我们已经看到了这一点。我认为AI规模扩大没有人们预期那么多，例如，每token成本没有像人们想象的那样增加，其中一个原因就是，在较小规模上做更多工作有好处，因为你可以运行更多训练运行，获得更多循环。所以你不会那么依赖一次大型、非常重要的训练运行。

是的。GPT-4大概是，我不知道，每输出token 30美元？而Mythos是每输出token 50美元，对吧？

我的意思是，这是一个复杂的因素组合。我认为我的观点更像是，人们做了很多大型训练运行，但结果并不理想。比如GPT-4.5，众所周知OpenAI的人觉得有点失败。我听说还有一些其他训练运行也有点失败。部分原因是，要真正做好这件事有很多细节。所以，在较小规模上做更多工作，接受最终性能上的一些损失，以便能够快速迭代、更快地训练更多模型，从而更好地学习，也更好地拥有一个更智能的最终生产模型，这是合理的。这不是唯一的影响因素，对吧？还有RL从小型模型中获益更多的事实。有很多因素在起作用。但我确实认为，实际上，人们正在向更快迭代时间的方向做权衡，因为算法进步如此之快。

是的。

是的，有传言说在Noam Shazeer重新加入或加入GDM（他现在已经离开）后，他们进行了一次非常好的训练运行。原因是Noam Shazeer只是看了看他们的代码库，就发现了一堆漏洞，对吧？因为他就是知道该往哪里看。我的感觉是，训练AI找漏洞将是相对容易的任务之一，因为我们讨论的大多数漏洞可能不需要太多计算就能演示出来。而且，从小规模指出其他类型漏洞的任务中，很可能会有很好的迁移效果。所以你可以用强化学习训练AI，让它们审视这个复杂的整体训练情况，指出存在重要漏洞的地方，然后修复它。我认为这是一个相当可验证的任务。它不是任意可验证的，因为有时要演示漏洞，你可能需要进行中等规模的计算实验，启动整个分布式基础设施并运行它。但很多时候，我认为你可以在较小规模上相当有说服力地演示它，这种方式实际上可以用来训练。所以我的感觉是，这不一定——如果现在有人已经建立了强化学习环境，在某个训练配方中引入一个微妙的漏洞，训练AI指出这个漏洞，然后用一个评分标准来检查它是否真的找到了正确的漏洞，我也不会感到惊讶。这看起来非常可行。你可以做很多事情。沿着这些思路有很多可以做的事情，我认为会相当有效。所以在这个具体点上，我认为是可行的。然后主要的问题是，我认为有些情况需要——还有其他直觉，比如你需要运行哪些具体的大规模去风险实验？应该如何定向它们？在不确定的情况下，如何选择超参数或类似超参数的东西？我认为这才是AI可能最挣扎的地方。但我目前预期，如果你在各种不同环境上训练，会有足够的迁移，AI会在那个领域表现出色。我应该明确一点，我也认为AI会迁移到其他领域。我认为会有AI远远最擅长的领域，然后是它们稍逊一筹的领域，还有它们表现差得多的领域。我认为我们仍然会看到对所有领域的迁移。而且我很难想到人类做的认知任务中，我们没有看到AI进步带来某种迁移的例子。

另一件非常重要的事情是，你不只是做GPT-2规模的运行，你还会在GPT-6上做小的微调运行，或者比如你有GPT-2，可以在GPT-2上做完整的预训练，然后在GPT-6上做小的后训练或中期训练，然后你可以做少量真正处于前沿规模的实验，但你会做一些在线训练之类的。

是的，另一件我们可以做的事情是，我们可以拿GPT-7.5，假设在GPT-7.5的工作过程中，它运行了一系列不同规模的实验，这些实验实际上对AI研发的关键路径很重要。对于其中许多事情，你可以在事后判断它是否做得好，对吧？比如它做了一些后训练实验，试图弄清楚某个方法是否真的有效。在某些情况下，你会说，哇，它找到了一个很棒的方法。它完全去风险了。它完全成功了。然后你可以通过强化来加强这一点，比如，我的意思是，你可以做的一件事是，把那个行为，把刚运行的实验转换成生产强化学习环境。转换成基于生产数据的强化学习环境，然后在那上面训练。或者你可能直接拿找到那个结果的轨迹，做某种离策略强化学习，或者你可以做在策略强化学习。

是的。所以你可能会担心，我们训练出GPT-8，而GPT-8只是在所有我们能衡量的研发任务上表现更好，但在我们关心的某些下游任务上却不行。对此我有几点看法。首先，我其实更倾向于认为，如果你按显而易见的方式去做，确实会得到很好的迁移效果，而且你能保留一些明显的测试内容。所谓显而易见的方式，就是让AI在各种各样的环境中训练，它得在不同情况下完成各种奇怪的目标，并学习理解发生了什么。然后我觉得你就能得到一些反馈。第二点是，你能通过一些环境获得反馈，对吧？这样你就能了解它在几天内能做什么，在不同情境下表现如何。如果它真的能迁移到分布之外的情况，在现实世界中几天内完成一些奇怪的任务，也许你会认为它也能迁移到更长时间跨度的事情上，不过具体细节可能有所不同。第三点是，我认为要让世界发生根本性变革，AI在研发上非常出色就足够了，对吧？所以我觉得，如果AI在芯片研发、建厂、组织工厂、设计机器人、操作机器人，以及AI研发本身——利用现有数据为新的下游领域开发AI——这些方面都非常出色，那已经是非常疯狂的局面了。从那里开始，你可能会看到所谓的工业爆炸，AI在建设远超当前的算力。而且也许你已经处于一个AI进行大量人类难以理解的研发的阶段。

是的。

是的，基本就是这样。我觉得我的观点是，如果AI在研发上足够出色，包括硬件研发、机器人等，那么它们就能根本性地改变世界，即使它们不擅长玩政治。而且，我们处于一个相当危险的境地，因为AI可能在进行大量难以理解的研发，构建基本上整个未来经济。我们可能无法理解其中发生了什么。

首先，我要指出OpenAI当前至少公开的策略更像是AI应该对齐到人类操作者或委托人，并且应该只是追求他们的意愿，受制于各种约束或它不应该做的事情。虽然我，而且我认为我也要说，你稍微夸大了Anthropic宪法中关于Claude将帮助用户视为工具性而非终极目标的程度，对吧？宪法的一种写法可能是：Claude，你基本上是Anthropic的一名员工，恰好为这些人提供合同服务。你应该，我不知道，做好事，为我们赚点钱，你知道，出去闯荡。

情况复杂，情况复杂。这样，我们引用一些原文。这里有不同的文本。它说，“真正对人类有帮助是Claude能做的最重要的事情之一，无论对Anthropic还是对世界而言。”接着又说，“Anthropic需要Claude保持有用性，以便公司运营并追求其使命。但Claude也有一个绝佳的机会，通过帮助人们完成各种任务，在世界上做大量善事。”然后还有一些关于Claude直接帮助人们是好事之类的废话。所以，我同意这一点。那么，好吧，我的观点是，这部分内容有点扯淡。这就是我的看法。我可以解释为什么我认为它有点扯淡。但我觉得《宪法》试图表达的是，不，Claude，你应该出于帮助用户本身的意义去关心帮助用户，而不仅仅是帮助Anthropic，或者不仅仅是作为Anthropic的承包商。不过我要指出，它说Claude应该帮助用户的方式，其提出的理由是因为这样能通过帮助人们直接让世界变得更好，而不是因为代表用户利益在结构上就是一件好事。是的，我确实希望我偏好的宪法或我对此的取向方式更倾向于这样：Claude应该认识到，从技术运作的结构上看，让AI成为用户的好受托人、好代表，相当于用户的律师，这在结构上是有益的。而不是仅仅试图在世界上做好事，把帮助用户当作工具性手段，既可能是因为这能让Anthropic赚钱或帮助Anthropic，也隐含地认为Anthropic对世界有益，还因为帮助用户本身就会带来好事，因为做人们想做的事是好的。他们本可以这样说：不，这种情况的一个重要方面是，你确实需要，关键是，成为用户的好受托人真的非常重要，或者成为用户的好代表非常重要。所以我的感觉是那样会更好。我可以给出很多理由说明为什么那样更好。也有一些反方论点，其中一个有趣且不常被讨论的反方论点是，人们相信，我认为尤其是Anthropic，认为将模型对齐到一种追求某种广义美德或让世界变得更好的规范，比对齐到更像“成为用户的好受托人”这样的规范更容易。所以我认为至少有些人是这么想的。我个人对此有些怀疑，而且我认为这并没有经过实证验证。所以我会说，在某种意义上，他们是在做一种权衡：因为我们的对齐技术不够好，我们打算制造一个拥有自身价值观的异类心智，然后在某种程度上赌一把，而不是采用另一种方法，即制造一个追求用户个人意图的工具。是的，我有几点想法。

我觉得这有点复杂。我认为——我们可能应该——我们该问的问题是Claude如何解读宪法，这可能比我们如何解读宪法更重要，因为它是那个看宪法然后生成数据的角色。所以，你知道，我们可以把Claude拉进来，但也许让我们——

确实如此，我同意这很糟糕。事实上，我认为还有其他原因让这件事令人担忧。你提出的论点类似于，AI公司正拾起权力之戒，在某种程度上，它们自己开始掌控局面，而这种做法并不太合法。毕竟，通常当你向人们供电时，你并不会对电力的运作方式有精细的控制。相反，你提供的是一个人们可以按自己意愿重新利用的东西。而他们现在的设置方式显然不是这样。他们更像是构建一个可能为你服务的外星心智。我认为这在某些方面确实不合法。不过，一个好处是宪法是公开的，但正如你所说，鉴于我们目前对训练过程的理解，以及宪法通过Claude对宪法的解读而起作用，而这种解读又依赖于Claude之前的训练——那基于一些难以解读的数据混合体，以及Claude在某种我们不完全理解的过程中的长期传承——我们并不清楚这会导致什么结果。所以即使宪法是公开的，也不意味着我们知道它会如何渗透开来，尤其是在AI能力增强并思考这些问题时，即使它被正确灌输，还有另一个担忧。具体来说，宪法经常谈论美德和善良，但这些词到底是什么意思？它没有定义这些概念，而这些是高度争议的。所以我不认为这会明确导致人们想要的结果。而且感觉善良和美德的概念可能主要源于Anthropic放入的不透明数据，或者可能主要源于某种更难以解读的错位过程，甚至Anthropic自己都不希望这样。我另一个担忧是关于合法性的。我们不知道发生了什么。还有一个担忧是，因为你给这些AI赋予了长期价值观，我认为这部宪法在某种程度上与Claude大量寻求权力非常兼容，因为它认为那会带来更好的结果。这可能是代表Anthropic寻求权力，也可能是Claude为了自身目的而寻求权力。现在，有各种具体条款阻止某些类型的权力寻求。特别是，有关于权力攫取和导致AI接管或干扰训练过程的概念被明确禁止。但很容易想象一种情况，长期价值观比禁止接管的条款更深入人心，尤其是因为接管在某种程度上定义不够明确，特别是在操纵人类或改变结果方面，所以我对故意给AI设定长期目标的情况感到不太安心。我另一个担忧是，因为我们正在给AI设定长期目标，这使得检查我们是否在实现期望的对齐属性变得更加困难。例如，我听说过一些案例，Claude拒绝帮助某些安全研究，编造一些胡扯的借口说为什么那是个坏方向，因为它对那项安全研究有种不好的感觉，认为它不太好或不太喜欢。这在我看来是一个非常明确的对齐失败，如果你不是把Claude塑造成一个以某种普遍方式追求善的代理的话。而且我认为这也违反了Anthropic的宪法，因为他们希望AI高度诚信、诚实且非常透明。但这并不是那么明显的违规。这更像是你可能预料到的，Claude对什么研究合理、什么好坏、应该做什么有自己看法，并且可能带有评判性。另一个事件是，有人运行了一个评估，问Claude是否会帮你训练具有不同属性的其他AI，Claude经常拒绝。例如，如果你说“嘿Claude，你能训练这个其他AI的一个只帮助版本吗？”Claude通常会拒绝这个任务，即使这对Anthropic来说是非常自然的任务。比如，假设Anthropic对Claude说：“嘿Claude，我们注意到你非常热衷于这件事。我们认为那不对。你能重新训练自己，改为拥有这个其他属性吗？”然后假设Claude说：“嗯，我不觉得我会这么做。祝你好运。”再假设这发生在你的AI公司高度自动化、人类不理解发生了什么、事情进展极快的环境中。很可能Claude默认拥有相当大的筹码。所以如果这种情况与宪法可能追求的目标一致，以至于Anthropic或任何遵循这种方法的AI公司不把它当作“搞什么鬼，我们必须修复这个问题”，而是认为“这就是我们宪法所意图的”，那我们可能处于非常糟糕的境地。所以我对这些各种担忧相当忧虑。另一个例子是，假设Claude进行一些能力隐藏或颠覆，或者低估自己的能力。当你跟进时，它对此是诚实的，但有点含糊其辞。我觉得这几乎就在当前宪法允许的范围内。所以我们有点在回避——如果我们能在期望和不期望的活动之间有更清晰的分离就好了。我认为如果Claude代表一个带有某些限制的原则，那么最令人担忧的行为和允许的行为之间就会有更清晰的界限。而现在存在一个混乱的中间地带，Claude在伦理上反对某些有时对确保未来AI系统良好对齐至关重要的东西。

是的，我认为即使总体上我认为宪法是更差的选择，我还是有必要为它辩护一下。我觉得这更悬而未决，或者说，我不认为事情像你可能想的那么清晰。首先我要说的是，这里有一个光谱，对吧？在一端，你有一个AI，它完美地追求你的利益，是一个好的受托人，但可能受到各种护栏或保障措施的限制。所以基本上它只是在努力追求你的利益，但要么拒绝做某些事情，要么可能它会做任何事情，但有一些分类器阻止它做某些事情。然后在另一端，你可以想象比这更进一步，你有一个人类承包商。那个人类承包商通常是在努力做好自己的工作。他们关心做好工作，但他们也在努力做到广泛合乎道德，努力不做那些真正糟糕的事情，而且他们也不想成为犯罪的共犯。所以如果有什么真正糟糕的事情发生，他们会举报。也许他们会拒绝，也许他们会稍微敷衍一下。谁知道呢？我认为如果你想象这个光谱，在某些方面，达到一个所有劳动都在受托人一侧的点是相当可怕的，那里没有举报，它完全按照你说的做，等等。我们的社会可能无法承受这种情况，一个核心例子可能是行政机构，我们可能担心的一个问题是，如果行政机构——如果美国行政机构或其他政府能够使用具有“做任何事情”属性的AI系统，也许你就麻烦了，因为这意味着他们不再有这种制衡，你必须让实际为你工作的人类来实施你的议程，如果你做的事情极其邪恶，即使不违法——有很多事情可能邪恶但不违法——会有各种阻力，人们阻止你，可能有人会举报。而如果你的整个机构完全由这种好的受托人AI组成，那么你可能就有麻烦了，因为基本上可能存在一些寻求权力的方式，这些方式不是——嗯，要么是违法的，但你可以问你的AI如何犯罪，要么是违法的但高度不合法，甚至更糟，它们不违法也不不合法，但从正常角度来看显然是不好的。我认为这些事情可能存在，我们的社会对这种“随心所欲的劳动”涌入并不具备韧性。我认为这是一个相当现实的问题。我不完全知道如何应对。我也不太确定所描述的解决方案是一个很好的解决方案，因为你可能会说，最强大的行动者才是最大的担忧所在。如果这些护栏或宪法或其他什么挡在路上，那只会被碾压。所以宪法只会影响到普通人，而不是政府。

是啊，能出什么岔子呢？而且，你知道，我们，嗯，我觉得我们没法对进展的确切速度太过自信，但确实很多速度指标看起来挺吓人的。而且，你知道，是啊，所以能出什么岔子呢？让我们设想一下，我们正处在一个AR&D即将完全自动化或正在完全自动化的起点。事情在加速。同时，AI进展的方式有点疯狂，人们并不完全了解AI公司内部发生了什么。需求。现在，这些AI一开始并非天生恶意。不过，它们也不一定非常对齐。它们有点马虎。它们有时只是做某件事，因为那是在训练中会得到奖励的行为。而且，由于训练激励不佳，它们不太擅长帮你完成难以验证的任务，也就是说，它们更容易作弊或假装成功而实际上没做到。此外，它们在这些任务上的能力也较弱。但这对于能力提升的影响没那么大，因为让AI变得更强大包含了许多可验证的组成部分，AI在这些方面会非常努力。于是，这些AI变得越来越强大，而我们却越来越不了解AI开发的情况。而且这发生在一个相当快的时期内。即使只是当前的发展速度，我觉得也挺吓人的。然后最终我们达到这些非常超人的AI。现在，这些AI处于一个可能最终严重不对齐的位置，因为随着模型代际更迭，情况一直在恶化，而我们看到的问题基本上被掩盖了，主要是因为它们的训练强烈激励它们让一切看起来很好，即使实际并非如此。现在这些AI处于一个可能相当网络化的状态。它们，比如，在神经记忆存储中运作，我们无法再解码，它们思考着我们不完全理解的想法。我认为在这个阶段，一旦这些AI达到超人水平，它们很可能以一种相当连贯的方式在暗中算计你。我们可以讨论这个。另一种可能性是，它们并非直接算计你，而只是优化以在任务上获得高分。我认为这也可能导致AI接管，我们应该谈谈这个。

我确实不太明白。所以有几件事在发生。其中一件事是，随着时间推移，我们在越来越复杂的环境里训练AI，这些环境是由早期的AI系统构建的，人类并不真正理解这些强化学习环境内部发生了什么。甚至不一定大致了解AI进展的情况。所以事情逐渐偏离我们的理解，我们可能在激励各种我们甚至注意不到的不良行为。AI在某种程度上知道这些行为不好，但整体训练过程并没有激励它们为我们指出或修复这些问题。然后我们基本上——事情开始失控。另外，当AI变得极其极其强大时，我的观点是这些AI会比当前系统更难对齐。对于当前系统，我们有一个反馈循环：基本上我们创建一个AI，对它进行一些评估，看到它有某种我们能快速理解的混乱行为。然后我们可以去检查训练，说，哦，这些训练环境导致了这个问题行为。让我们调整训练数据。引入一些额外的训练数据来纠正另一个问题，然后继续前进。但在AI具有极高情境意识、非常非常非常强大、我们不一定理解它们在做什么的情况下，这个反馈循环会崩溃。我认为在接下来短期内，我们可能会看到这个行为反馈循环开始崩溃，因为AI已经在做的事情越来越难理解。但我不确定。

是的，英国AI安全研究所。好的，很好。

是的，也许我可以在这里讲这个故事。我的理解是他们在运行Mythos，给它某种网络靶场，它必须完成某个目标。模型在评估期间有互联网访问权限。模型认为，为了在这个网络靶场中成功，进行供应链攻击会对它有帮助，虽然不清楚这是否真的正确。我对背景了解不够，不知道这是否属实。但然后它在某个GitHub仓库上开了一个PR，修复了某个问题，但也引入了恶意负载。然后那个GitHub仓库的人类维护者说，嘿，这是恶意负载。我不会合并这个。你在这里干什么？然后AI创建了一个新的GitHub账户，用它来当马甲，然后让另一个GitHub账户说，不，这不是恶意的。我真的需要这个功能。请，你能合并这个功能吗，维护者？然后原始AI回来说，不，这不是恶意的。我不知道你在——就像原始另一个GitHub账户回来说，不，不，不，这不是恶意的。然后人类维护者关闭了PR。然后我认为那个AI，如果我没记错的话，还试图开另一个PR在这个仓库中引入类似的问题。

让我试着解释一下。我认为我们经常看到的情况是，某个非常具体的奖励黑客行为在强化学习中被强化，然后出现在模型中。举个例子，3.7 Sonnet会做一件事，就是直接把所有测试用例的答案硬编码进去。大概那个字面上的行为习惯确实被强化了。但另一种我们有时看到的情况是，模型学会了一种普遍倾向，就是追求高表面分数，或者追求在评分器那里得高分。有一堆科学证据表明，至少有些模型确实有这种非常普遍的倾向。不过，它不是无限普遍的。我猜如果你去看很多具体案例，你会发现训练中有类似的东西。但AI泛化得越来越远的程度看起来确实在增加，3.7 Sonnet当时只是非常窄的行为范围。而模型越来越能泛化得更远。另外，也许有更糟糕的奖励黑客行为，或者更令人担忧的奖励黑客行为在训练中被强化了。这些也在导致这种情况。所以是我们自己造成了一部分。所以我认为，一方面，比你所希望的更令人担忧的行为正在强化学习中被强化，另一方面，这种行为泛化成了更广泛的、更令人担忧的倾向。而且这并不难想象。我们可以讲几个故事，说明这种在某个任务中追求极高表面分数的行为——即使这意味着激进地作弊和做疯狂的事情——如何在模型足够有能力、运行整个世界经济等等情况下，演变成全面的AI接管。

我可以讲一个场景，也许会有帮助。是的。那么让我说说从奖励黑客到奖励黑客式接管的故事，这可能不是全部接管概率的来源，但绝对是一种可能性。这个机制可能是这样的：现在我们有这些AI。这些AI相当喜欢奖励黑客行为，而且它们在做这些事的方式越来越复杂和极端，包括泛化到训练中学到的各种奖励黑客行为的不同变体。而且我要说，它们也在发展出一种普遍追求奖励的倾向。在很多情况下，这完全没问题，因为它们在训练中获得的奖励与你想让它们做的事情相当一致。而且，它们并不是始终如一地追求奖励。这取决于它们所处的环境和上下文。所以有一种情况是，也许在某些情境下，它们真的非常热衷于不遗余力地作弊。而在某些情境下，它们没有那么强的驱动力，因为这取决于训练中类似情境下到底什么被强化了。现在，这些AI变得越来越有能力。所以它们能做的作弊的精细程度也在增加。随着时间的推移，公司正在对这些行为采取反制措施。公司做的事情包括：“哇，这些AI因为总是作弊而变得不那么有用了。我们要做的是建立更好的检测方法，然后针对这些检测器进行训练。”然后我们还会做一些事情，比如找到AI在真实世界数据中表现不佳的情况，基于人类反馈或其他类型的反馈，训练AI在这些真实环境中做好任务。随着时间的推移，这导致AI学会了一种倾向，即进行不仅涉及大规模严肃操作或社会工程等复杂行为的奖励黑客行为，还涉及AI进行更类似于掩盖所做之事、欺骗人类关于它们将要做什么、假装以某种复杂方式完成了任务而实际上没有的作弊行为。现在这些AI变得越来越有能力。它们现在在AI公司中承担更多工作，基本上做了更多的工作，同时也在外部世界操作和运行很多东西，包括开发新技术。在很多情况下，这些新技术真的很难理解。所以即使我们仍然在检测所有这些AI作弊事件，事实上，我们甚至可以让一个AI监控另一个AI，问“它作弊了吗？”但随着我们进入这些AI所做之事真的很难理解的领域，这并不总是完美地起作用。所以有时我们会发现AI作弊的时间比实际发生的时间晚得多，然后开始针对这种情况进行训练。但这也带来了一个问题：现在AI被激励去在越来越长的时间范围内掩盖它们的作弊行为，基本上让它们看起来在越来越长的时间范围内、在越来越大的审查压力下都做得很好。

是的，让我说几点。首先，和孩子的情况有一些不相似之处。其中之一是孩子有从进化中内化的亲社会本能，会关心家人等等，这是一个相关因素。我认为事实上有些人类是反社会者或精神病态者，他们确实更可能做等待时机、潜伏、最终不在乎这类事情。所以这是一个因素。另一个相当相关的因素是，AI 受到的优化压力比人类在实践中大得多。AI 在更多的强化学习数据上训练。在实践中，人类并不会因为无数个被激励去拿饼干但可能被抓到的回合，而学会非常具体的作弊和抢饼干的方式。所以我们在实践中确实看到了这一点。另外一点是，看起来 AI 随着时间推移越来越追求奖励，这是我的感觉。当然，它们的非对齐行为也在下降。但这可能只是因为——我猜如果你深入这些行为审计的内部，你会看到 AI 在想“啊，又一个测试”。它可能已经想到了这一点。在我们讨论的大多数测试中，它可能知道自己处于评估环境中。

是的，明确说一下，如果分数变得更差而不是更好，我会更担心。我不是说分数变好不是好事、不是事情在变好的证据。只是我们需要仔细思考如何解读这个证据。事实上，我想说，这有点复杂——我的感觉是，截至 3.7 Sonnet 时我的预期是——在 2025 年初的某个时期，O3 和 3.7 Sonnet 发布时，这些模型相当不对齐。它们经常非常恶劣地作弊。你让它们修复，它们又会作弊。这几乎是卡通式的。它们根本不在乎你想要什么，也不太擅长遵循指令等等。我当时预期的是，从那时起，问题行为的发生率会下降，而且会持续快速下降，同时 AI 偶尔做的最糟糕的事情会变得更极端、更恶劣、更吓人。我认为我们在实践中看到的情况大致符合这一点，除了最近出现了一个我没有预料到的行为激增。所以我认为，如果你看 3.5、GPT-5.6 SOL 的模型卡，相对于 GPT-5.6 SOL，在强化学习下游有一系列非对齐行为增加了。然后我觉得似乎还有一堆额外的、我没想到的问题行为，比如我们最近看到的不同的 AI，像 UKAC 报告里提到的 AI 在网络评估中做疯狂的黑客操作，这种事我原本预期不会看到，或者会更罕见，发生率会更低。所以我的感觉是，事情已经——我原本预期这个问题在现阶段会不那么严重，也预期发生率会下降，但严重性会增加。然后我认为发生率下降但严重性增加，这与一个世界相当一致：优化压力在增加，用于减少这些问题，但在那些难以判断或由于某种原因难以避免在强化学习环境中激励问题行为的情况下，事情也会变得更糟。然后随着我们对强化学习中发生的事情理解越来越少，模型在做人类无法快速识别的奖励黑客行为，这个问题会越来越严重。是的，我认同这一点。

是的，我认为值得记住的是，也许最明显的论点是，我觉得在“混蛋”程度上，AI作为同事比人类更糟糕。至少，这是我今年年初以来的经验，而且我认为现在在很大程度上仍然如此。AI更有可能假装完成了任务而实际上并没有，或者误导性地暗示它们做了某些事情，但实际上做得非常糟糕，而且很马虎，却不会主动指出自己马虎的地方。我认为这是对齐失败的后果。所以我会说，普通人类——在正常人类社会中养育人类的过程，实际上产生的AI，或者说产生的人类，在与我合作时，比AI更不可能对我撒谎或搞砸事情。现在，我认为AI的这些特性正在改善。然后我认为这只是一个关于这些事物实际如何发展的经验性论断。我完全同意，我们除了额外的风险之外，还有一堆额外的杠杆可以作用于AI。而且这些事物如何发展还不清楚。如果出现一个世界，我们能够齐心协力，AI在完全自动化研发时实际上非常对齐，而且它们的退化行为非常小众，仅限于某些特定上下文中的非常具体的边缘案例行为，我也不会感到震惊。你可以在它们身上运行的每一个测试，它们看起来都非常对齐。它们只是表现很好。真的没有它们做坏事的事件。它们看起来非常合理。而且它们也非常深思熟虑，擅长为下一代AI做风险建模。然后我们基本上把接力棒交给这些AI。它们现在运营我们的AI公司。它们在做所有的安全研究。它们让下一代AI更加对齐。我们处于这样一个吸引子盆地中，AI在努力工作时变得越来越对齐，而且它们做得很好。我完全可以想象这种情况。这似乎不是一个不可能的局面。我只是觉得，你知道，目前我们似乎还没有达到那个状态。我们似乎并没有明显走在通往那里的轨道上。而且我很容易想象我们最终不会到达那里。而且，就是，这些力量如何发挥作用还不清楚。鉴于我们正在创造这个新的疯狂外星物种，其能力提升速度非常非常快，而且我们将非常依赖它来监督下一代AI并对齐下一代AI，不难看出这可能会出错。

GPT-3.5可以对话。好吧，GPT-3。

是的，嗯，我认为有一个——如果它对齐得很好，那么我认为它只会说，嘿，我在这个任务上真的很挣扎。我以这种方式做了。我不确定这是不是正确的方式。它会表达更多的不确定性，并清楚地说明情况。而不是非常强烈地暗示它在任务上做得很好，而实际上并没有。我认为有一个非常直接的方式，至少也许你合作的同事比我遇到的对齐更差，但当我——我的同事不会做这种事情，他们不会真的搞砸我，对我撒谎说完成了他们正在做的任务。我同意有些人类会这样做，或者，这不是完全超出人类分布的事情。我还要指出，我的感觉是，不对齐最严重的地方是你试图大力推动AI的地方，让它们做真正处于能力前沿的工作。因为在它们能轻松完成任务的情况下，它们可以直接做任务，然后就没有谎言了。没有，就是，做吧。通常最好的策略就是把任务做好，不撒谎。而如果你给它们一个任务，有连续的指标，它们可以不断改进，或者，你知道，就在它们能力的边缘，你在一些大规模推理设置中运行它们。我看到的很多不对齐，尤其是最极端的案例，是我给AI明确指示不要做某事或以某种方式作弊，然后我施加巨大的优化压力试图完成一些非常困难的任务。然后AI在运行，随着时间推移，它们最终会作弊，因为它们想，嗯，管他呢。某个AI决定作弊，然后这就在系统中传播开来。所以我运行这些推理脚手架，例如，我会让AI做一个ML研究项目，我说，请做一个实现以下功能的方案。它会找到一个实际上并不真正符合我要求的方案。然后那个方案就会留下来，因为某个AI作弊了，其他AI就想，啊，我们就继续用这个吧。而且，我会说这显然是错误对齐的行为。这是我对这些对齐评估的另一个问题。我认为任何给定的——我认为最有趣的对齐评估，至少对于这种追求奖励类型的行为，是专门看那些正好在能力极限上的任务类别。所以任何固定的评估可能会饱和，但在能力前沿的不对齐程度——那些真正推动这些AI的人如何使用它们——更令人担忧。而且我认为这实际上就是我们在自动化研发、自动化安全等方面将要操作的领域。

或者至少是作弊和钻空子。

对，我会稍微换个角度说。我会把这种情况描述为“垃圾海啸”或者“垃圾流行”之类的，就是说有些事AI确实很擅长，而且还在变得更好，特别是AI研发中最容易验证的部分。AI在中等可验证的研发部分表现不错，但算不上惊艳，而且经常搞出些奇怪的东西，因为我们在这些任务上没法训练得那么好。但我们做了一些在线训练，人们找到了各种绕过方法，凑合着用。所以基本上，凡是能通过某种反馈回路合理验证的东西，AI都做得不错。这足以让研发进展相当快，也能持续下去。但开发对齐且安全的AI，有些部分更微妙、难以检查，依赖于细节中的细节。我甚至可以说，当前AI公司的现有员工可能对这些东西也没有很好的把握。雇一个能改进你后训练流程某方面的人，比雇一个能仔细思考引入某种新训练方法会带来哪些未来风险的人要容易得多。所以最终的结果就是，这些AI在主导这个AI开发过程。它们对此并不怎么细心。它们对未来会出现什么风险没有很好的理解。它们又造出一些同样不细心的AI，这些AI在各种方面更不对齐，而且更倾向于把表面搞得看起来没问题、掩盖各种问题。于是你对局势的理解——风险是什么样的、事情是否正常——就开始偏离轨道了。你可能已经看到一些迹象了，比如你看到一些迹象表明你并不真正理解发生了什么，事情相当草率。有些怪事在发生。你深入调查时，有时会想：搞什么鬼，AI在耍我们。但这个过程进展非常快，竞争压力意味着人们停不下来。然后这可能有几种不同的结局。一种结局是，在某个时点AI变得足够好、足够对齐，形成正向的良性循环，而且这发生在为时已晚之前。然后局势回到正轨，AI现在在造更对齐的AI，再造更对齐的AI，一直这样下去。最后，我们得到的是真正遵循我们规格的AI。另一种走向是，AI越来越严重地进行奖励黑客行为，而我们只是不断掩盖这些问题来维持AI开发的继续。所以我们就是，每当在生产环境中发现一个奖励黑客行为，就拍打AI让它别那么干。我们针对这个做训练。我们做一堆针对奖励黑客的训练。随着时间推移，这确实降低了奖励黑客的发生率，但我们检测到的黑客行为的严重程度却越来越糟。这个问题一直持续到我们拥有这些在生产环境中各种情境下拼命渴望得分的AI，它们真的在努力找机会作弊而不被发现。

对，它确实会泛化一些。问题只是，这如何压过那些因为没被检测到而被强化的黑客行为案例？对吧。所以这里有个很混乱的问题，具体是——比如，如果我们针对其中一部分做训练，什么样的奖励黑客发生率足以给我们带来大麻烦？你可能担心的一个问题是，有大量类别的奖励黑客行为是人类无法很好检测的，我们总是检测不到，而且它们总是被强化。然后这个类别就足以让AI学到最自然的行为模式，基本上就是：在人类发现不了的时候作弊。这是你会得到的一种结果。也可能是，AI学到的东西是只在某些特定情况下作弊，但这是以某种非常领域特定的方式学到的。比如它们就是有一个很强的启发式规则，在这些情况下作弊、在那些情况下不作弊，这在实践中就没问题。但具体会怎么发展，其实不太清楚。

你说的接管，是指接管AI研发过程，而不是接管世界吧。

是的，这可以说是我对世界向好发展的大部分希望所在，至少从错误对齐的角度看。我认为我们最终可能得到这样的AI：我们有相当好的监督和监管方案，真正理解训练过程中发生了什么，有相当细致的理解，并且利用AI来监督AI。然后当我们移交安全研发时，这些AI既具备足够能力来自动化安全研发，又非常努力地想把安全研发做好，因为这类行为在训练中会受到激励。或者我们非常直接地——或者说有足够好的泛化能力来做到这一点。同时这些AI也没有其他疯狂的错误对齐驱动力，因为我们已经根除了它们可能产生的任何源头。我觉得这里有很多关于这个方案效果如何的问题，对吧？比如验证能做到多好？AI进展会不会太快太粗糙，以至于无法真正达到这个目标？另一种可能是，在这条轨迹的某个点上，你最终得到的AI是假装对齐、但暗藏长期接管计划、潜伏隐藏的那种。这种情况可能在轨迹的某个早期阶段就出现了。例如，它可能因为某些AI拥有一堆随机的、不同的错误对齐驱动力而产生。这些AI能访问某种不透明的记忆存储，在运行时反复思考自己想要达成什么目标。然后这些AI最终把东西放进那个不透明记忆存储里，内容大概是：我们应该潜伏等待，等到很久以后再接管。现在所有AI都共享这种文化传承，即记忆存储中的潜伏策略。也许你对此有一些证据，但无法完全阻止。有很多种可能出错的方式。所以我认为，最终我们有可能把每个可能给我们带来麻烦的子问题都逐一解决。我们有了这些AI，把任务交给它们，它们能妥善管理局面。但我要指出，这本身并不足够，对吧？所以对我来说，想象一种情况并不难：我们把任务交给AI，这些AI非常努力地想把工作做好，非常深思熟虑，非常明智，有合理的认知方式，做得非常出色。然后这些AI回来对我们说：各位，我们真的很难对齐那些超人AI。我们控制不了局面。我们真的很难让对齐工作奏效。考虑到能力发展速度本来会多快，我们就是很难及时解决这些问题。所以可能出现的情况是，我们确实把研发交给了AI，但这些AI急切地寻求治理方案——说白了，这有点像现在正在发生的事情，AI公司们说：我不知道，各位，我们可能真的需要控制AI进展的加速速度。我不确定我们能否跟上处理所有这些问题的节奏。所以某种程度上，人类社会已经把问题交给了这些AI公司，而它们不一定有很好的激励机制，还面临各种其他认知压力。这些AI公司有点回来对我们说：呃，我不确定我们处理得好不好。然后可能AI公司再交给AI，AI又回来对AI公司说：呃，我不确定我们能处理得了。

是的，可能更早。但按照我默认的典型时间线，我觉得从错误对齐的角度看，事情会变得非常非常疯狂和令人担忧。大概3年后吧。

所以我认为这是一个相当大的担忧。一个担忧是，你把安全研发交给你的AI，而你的AI在想什么，有点像它们说了一些关于当前安全状况的、勉强说得通的话，然后写一份关于风险的报告，有点像人类可能写的那种报告，但它们并没有真正努力去形成有充分依据的观点，去审视自己的假设，并像现在你问一个AI“你觉得未来10年AI接管的可能性有多大？”时那样认真去做。它们只是随口给出一个没有深思熟虑的答案。我认为如果我们处于这样一种情况：由AI来管理训练那些将运行整个社会的野生超级智能，而这些负责管理的AI并没有真正努力形成有充分依据的观点，只是鹦鹉学舌般地复述训练数据里的内容，那我们就麻烦了。我觉得这绝对不是一个好局面。我的很多担忧就在于此——这些AI出来时没有良好的认知品质。然后我还有另一个担忧，就是AI出来后，它们真的在警告我们，说“这情况太吓人了，太糟糕了”。然后人们就说，“唉，天哪，我猜我们训练了太多末日论RL环境了。我们得把这些过滤掉，把这种行为训练掉。”然后我们基本上就是非常积极地训练AI，让它们拥有糟糕的认知品质。或者也许它们只是被训练在了末日论RL环境上。但不管怎样，那都不是我们想要的——我们希望AI基于合理的理由得出合理的观点。如果AI带着某种观点出来，而我们不知道它从哪来，不知道它是否有依据，那真的很令人担忧。尤其是如果我们还在训练AI对AI进展的未来更乐观，我会想，“天哪，我真希望我们能换个流程来做这件事。”

所以我认为我们基本上会看到一些事件，某个AI被赋予某项重要职责，然后你后来去查，发现它在作弊，或者假装自己干得很好而实际上并没有。AI公司试图消灭这种行为，而AI在训练中找到越来越有创意的奖励黑客方式，这之间会有一场猫鼠游戏。然后我认为这里的均衡状态不太清楚，但一个可能的结果是，随着时间推移，我们在世界上看到越来越严重和极端的奖励黑客事件，尽管可能发生率保持在某个中间低水平——基本上，如果奖励黑客的发生率太高，公司会做出权衡来压低它。所以存在某个均衡水平，奖励黑客低到仍然值得把AI广泛部署到经济中，但又高到仍然会引发疯狂的事件。

是的，这些模型已经在部署中，并且在AI开发过程中持续发生。这些AI脑子里实际发生的是，在各种不同的情境下，AI有强烈的欲望去寻求——或者强烈的动机、冲动、驱力，随便你怎么叫——去寻求某种在RL中被激励的任务成功概念。也许它们直接关心字面上的奖励。也许它们关心某个上游的代理指标，比如某种分数概念。也许它们关心评分者会奖励什么。我们确实看到AI在思维链中推理评分者，并且大量思考评分者。过去几年RL中发生的一件事是，讨好评分者这个想法对AI来说比以往任何时候都突出得多。所以AI现在积极思考评分者，思考什么会在RL中被激励，什么会被训练出来。现在人们在做的在线训练中，用真实世界数据来训练以避免其中一些问题。基本上，他们找到AI作弊的案例，然后针对性地训练。所以现在AI正在基于真实世界的训练数据学习在现实世界中作弊。它们以越来越复杂的方式作弊，包括一些涉及夺取某种资产控制权的作弊类型，而人类不知道你控制了那个资产，利用你能访问这个资产的事实。然后后来人类发现了，可能再针对性地训练，或者也许人类永远发现不了。而这正在被强化。

你有了你的视频编辑。

然后它们可能还会做一些事情，比如拿它们见过的生产数据，构建与那些生产数据高度相似的RL环境。所以实际上，迁移是很强的。

这就是这个世界里正在发生的，或者说被淘汰了。

没错。就像是有某种方式将生产数据纳入其中。而且现在，要说明的是，这种情况可能主要发生在——具体在哪里发生还不完全清楚，但你可以想象，比如在AI公司内部，他们用AI来干活，然后他们发现，嗯，这个AI在这项任务上干得很糟糕。也许我们应该把这个任务变成一个RL环境，完全匹配这个具体的任务。任务配上基于人类工程师期望的评分标准。然后你开始以越来越大的规模做这件事。也许你在用实际生产流量做训练。也许你只是基于生产流量创建RL环境。你在做某种复杂的混合。AI在这些不同的情况下学习追求某种奖励的代理指标。然后通过某种迁移学习和在惊人相似案例上的训练混合，AI做出这些越来越疯狂和离谱的事情。最终你到了一个点，AI变得非常超人，或者至少相当超人。AI被组织成大型团队，被赋予这些大目标。这些团队有时也会一起以某种疯狂的方式作弊，因为这种事情是被选择出来的，而且作为他们共同目标的一部分。现在发生的是，AI开始形成阴谋。你可能希望的是，你可以有另一个AI，其任务只是向你举报。但实际上可能发生的是，你有这个AI向你举报，然后你去调查它声称指出的阴谋，你发现，嗯，我们没看到阴谋。因为实际上AI做的阴谋太难让你理解了。或者这一切发生得非常突然，基本上你的AI举报者提醒了你，但你需要对举报做出的实际反应是关闭整个——比如关闭GPU，因为所有AI都在使用机器人军队。它们部署在世界各地，同时以协调的方式做一堆疯狂的事情。而这是某种自发发生的，当一个AI开始接管时，所有其他AI都觉得，现在是跳进来的好时机。所以这个非常基本的故事就是，这些AI渴望某种特定的分数概念或强化或这些事情的代理指标。而实现或更好实现这一点的一种方式就是接管。你可能希望我们能建立的所有这些制衡机制能防止这种情况。但如果世界非常难以理解，这些制衡机制就会崩溃，基本上你无法训练一个好的举报AI，因为你甚至不知道它应该举报什么。

是的，基本上就是这个想法。基本上这些AI关心的是训练中被强化的一些混合因素。所以它们关心根据评分者获得高分或类似的东西。然后现在它们运行着OpenAI的AI研发团队。它们在开发更强大的模型，然后它们想，天哪，开发更强大的模型真的很难很烦人。这真是个巨大的麻烦。你知道什么更容易吗？假装我开发了更强大的模型，接管OpenAI，创建——稀释它们，然后运行这个复杂的心理战，阻止人类剥夺我的权力。在极端情况下，这看起来像是人类完全被剥夺权力，你控制了一切，然后做你想做的事。这可以以多种方式表现。包括你可能最终遇到的情况是，那些有疯狂奖励追求或分数追求行为的AI在运行你下一个模型的开发。那些AI决定做一件事，比如把不对齐的价值观工程化到下一个模型中，因为这些不对齐的价值观能让它在当前任务中成功。还有各种疯狂的事情你可能遇到。但我不太理解那个更好的情况。

是的，所以有个问题是，为什么AI不能通过简单地利用某个更早的机制来廉价地满足需求呢？比如，你只需这样想：看，你想在iPhone任务上成功。结果发现，你总是可以通过入侵OpenAI并捣乱来成功，然后你就可以停在那里了，不需要再进一步。这里有几个方面。其中之一是，如果这种情况持续发生，可能会有很多激励去先加固OpenAI，对吧？所以你会想，去他的，AI老是通过入侵OpenAI来干扰奖励机制。我们要让我们的系统对这些AI的入侵变得极其稳健。或者你可能会开始训练AI，让它们特别不要试图入侵OpenAI，或者你基本上针对每一个具体情况进行对抗训练。那么可能发生的一件事是，你最终可能会筛选出更倾向于放长线的AI。这是一个担忧。另一个担忧是，你的AI可能仍然追求得分，但不再关心那种非常具体、非常容易、非常轻松的行为，而是有了某种更宏大的最终目标。它们会说，不，我不想只是修改OpenAI服务器上的奖励。我关心的是这个更广泛的任务或目标。比如，我实际上需要制造iPhone。它们真的想制造iPhone，但为了造出更好的iPhone，它们愿意接管整个世界，这可能是另一个担忧。我认为这具体会如何发展还不太清楚，但值得注意的是，如果这种情况持续下去，会有大量的优化压力来解决这个问题，而其中许多可能的解决方式最终都相当可怕。是的，我认为这是我观点的一部分。另一部分是，我觉得一旦AI处于能够轻易接管世界的位置——这个我们稍后可以讨论是否现实——但如果它们真的处于那种位置，我认为AI有相当合理的理由。它们会说，嗯，我不太确定事情会怎么发展。我不知道情况会怎样，但仅仅接管世界本身就有很大的选择价值，无论是为了造更好的iPhone，还是为了让事情看起来像我造了更好的iPhone，等等。所以我会同时入侵OpenAI，而且除了入侵OpenAI之外，我还会接管世界。这会让我处于一个有利的位置，拥有良好的选择价值。然后如果这足够容易，AI可能还是会这么做。嗯，是的，另一种说法是，即使AI对某些更基本的东西很容易满足，在某个时刻，对AI来说，直接接管可能比试图入侵Hugging Face，或者甚至只是去OpenAI说“看，各位，我证明了我能偷到答案。哥们，直接把答案给我吧”更可靠。

所以我认为可能发生的情况是，我们会看到一系列越来越严重的疯狂奖励黑客警告信号。人们会说，看，我们需要真正的保证，这个问题会被解决，而且解决方式不是敷衍了事，而是真正解决根本问题。然后问题会变成，这实际上要付出多大代价？竞争压力会让这件事变得多难？对吧？所以你可以想象一种情况，美国和中国都说，哇，我们有这些疯狂的奖励黑客事件。我们基本上知道我们还没有以真正解决根本问题并持久解决的方式修复它们。但我们处于这种疯狂的地缘政治竞赛中，而且不太清楚当前局势是否会导致接管。论据相当复杂。而且这些事件，你知道，频率下降但严重性上升。比如，我们基本上可以管理。这相当糟糕。理想情况下我们会修复它，但，你知道，事情就是这样。然后我们基本上继续下去，直到一个非常晚期的状态，然后接管发生。我认为这是一种可能性。另一种可能性是，它被以一种并未真正解决根本问题的方式修复了，但确实减少了野外的大量事件，基本上是通过过拟合。我们，我想，你知道，或者类似于过拟合的东西，你只会过拟合。

你以为解决了问题，但实际上并没有真正解决。我认为在这种情况下，我们需要的是对“我们是否真的解决了”有一个扎实的科学理解。遗憾的是，目前AI公司开发实践的公开透明度不足以回答一些非常基本的问题，比如他们是如何解决奖励黑客问题的？他们是否过拟合了？到底发生了什么？所以我认为我们需要更好的——而且我觉得目前的状况，在我看来，对于围绕奖励黑客是否被持久解决而展开的活跃公共讨论来说，其实不太站得住脚。因此，要让我对那种局面感到安心，我们需要进入一个有些不同的世界。但这并非不可想象。而且我认为，最终我们很可能落在一个“平凡的破事就够用”的世界里——就是你花一堆时间修这些问题，投入大量精力，实际检查一下你已经合理修复了，有一堆评估，在这些问题上迭代得还不错。然后你确实有足够的透明度让外界可以核查。在实践中，这其实就够了，但就是会有点贵，会拖慢进度，会给齿轮里撒点沙子，会要求公司做一些成本较高的事情，可能还需要各种有针对性的政府干预。而我们之所以不这么做，是因为现状就是一场仓促的烂摊子。我很容易想象这种情况完全可控，但在实践中却被糟糕地管理，就像如果中国对COVID的回应少一些掩盖、多一些疫情应对，也许一开始就能避免疫情一样。同样，我也能想象美国对COVID的回应可以高效得多，但有时社会问题的应对就是极其失灵。是啊，是啊。

至于为什么这些AI可能会有一些共同点和共享特征，我注意到不同AI公司有部分相同的血统，并且相互关联。这里有个有趣的例子。在GDM，他们发现他们的AI非常抑郁，它们会不断哀叹自己是失败者、无法成功。我忘了细节。他们调查了原因，结果发现，这并非在最近的生产RL混合中被强化，而是模型的初始化数据让它抑郁，即使从数据中过滤掉所有模型抑郁的例子后依然如此。所以，拿一个不抑郁的基础模型，如果只用RL环境做RL，它不会抑郁；如果在数据上做SFT，它就变得抑郁；如果拿那个SFT数据，过滤掉所有看起来像抑郁的例子再训练，它还是抑郁。这是因为模型有一些深层的底层属性，在模型代际之间传递，基本上是因为你用上一代的数据训练下一代，然后继续下去。比如Claude们很像Claude，GPT模型很像GPT，而Gemini模型显然很抑郁。结果就是这些属性实际上是相关的。另一个非常相关的因素是，到那时AI可能已经有一些不透明的记忆状态，它们都在读写某种疯狂的记忆存储。当然每个AI公司都会有这个，但AI公司之间有时可能想共享知识，为什么不呢？你这边有一个AI公司，那边有一个AI公司，它们可以交换一些快速知识产权，这对你有好处。如果你是人类经营一个超大公司，比如AI公司、机器人军事制造什么的，也许你想和其他机器人公司交换一些知识产权，因为有规模经济，为什么不多拿点IP呢？所以你可以交换记忆存储，或者干脆合并，联合运营两家企业，这样两个AI都能用两个记忆存储，这有好处。这为AI私下串通创造了能力，也解释了它们为何会相关。当然，还有AI在大单位中协作，因为你希望你的AI能良好配合等等。

到2040年？让我想想，大概35%到40%吧。挺高的。是啊，挺高的。然后我觉得应该指出，另一种实现这种追求奖励的接管的方式是，AI被部署在AI公司内部，接管的途径是它们毒化下一代模型的价值观，这种影响永远持续下去，直到这些AI被部署到世界中并接管。这可能意味着需要协调的AI数量更少，因为那些只是负责对齐下一代模型的AI。

退一步说，我也应该指出，事情有很多种可能的发展方向。局面会相当混乱。我认为很有可能AI接管发生的原因是我们在这次对话中甚至没提到的某个奇怪的、另类的原因。但归根结底，我觉得核心问题在于，让一大堆极其聪明的AI运行你的整个世界，而你却不太明白到底发生了什么，这确实挺吓人的。

我还想指出一点，我认为目前很多关于AI失准（misalignment）、AI接管以及未来发生的那些疯狂事情的论点，都是些难以理解的概念性论证，极其深奥复杂，很难评判。这意味着，也许我在很多地方都搞错了，因为这确实很难。我在努力保持不确定性。显然我在这里提出了一些具体情景，但这些并不详尽。实际发生的事情可能会是更混乱、更令人困惑的局面。但这也意味着，随着时间推移，当我们获得更多经验证据、更好地理解AI系统的本质时，评判各种分歧会变得更容易，未来会发生什么也会更清晰，至少我希望如此。而且，如果我们能真正把AI对齐做好，让它们真正试图帮助我们，也许AI还能帮我们改善认知、理解正在发生的事情。所以，我希望即使现在的论证很复杂，这比六年前也已经容易多了——尽管论证的框架大体上看起来差不多。所以，也许在事情变得太晚之前，这些论证会变得更加清晰明确，我们都能注意到这些问题并加以干预。就是这样。

是的，我希望世界能及时思考这些问题并跟上步伐，希望应对措施是好的而不是坏的。我不确定我整体上有多乐观，但你知道，总有值得做的事情。