下一个重大突破将是AI在工作中学习

所以，这是所有实验室都在押注的一个重大研究方向。他们认为，如果我们训练AI在数千个不同的强化学习环境中完成数百万个可验证的任务，那么基本上就构建出了AGI，因为这种训练将创造出一种能解决问题的智能体，一种能够在面对错误、失误和模糊性时，连续数周在开放式任务上取得进展的东西。而对这个愿景持乐观态度的人会说，我们当前训练范式中的所有根本缺陷，比如这些模型的数据效率低下，或者它们缺乏持续学习能力，这些问题都可以通过进一步扩大训练规模来碾压，就像自然语言处理中的所有基础研究问题在向LLM投入足够算力后都迎刃而解一样。所以，在上一篇文章中，我谈到这些模型的样本效率只有人类的百万分之一。而支持当前训练范式的人会说，看，这可能是真的，但这只是在训练阶段。训练是一次性成本，可以分摊到模型将经历的数十亿次会话中。真正重要的是模型在会话中的智能程度、通用性和样本效率。而随着我们进行更多的RL训练，这一点显然在改善。AI智能体能够解决越来越复杂的问题，时间跨度也越来越长。任何用过这些模型写代码的人都知道这一点。同样，人们会说，看，持续学习——我一直强调的这种能力，即模型根据部署中学习到的内容更新权重——可能根本就没必要。因为如果上下文学习在越来越长的时间跨度内变得如此出色，那么你就不需要把模型在工作中学到的一切都蒸馏回权重中。人们常说，员工通常需要工作六个月或更长时间才能产生净效益。所以，在线学习显然是胜任工作的必要条件。但如果你能把那六个月塞进上下文窗口呢？已经有大量架构创新大幅增加了Transformer可以存储的信息量或上下文量。为什么不能认为，再经过几年的进步，我们可能会拥有近乎无限大的上下文窗口呢？好了，在进一步讨论这个研究方向之前，我想退一步，问一个完全不相干的问题。我觉得这个问题关于当前AI进展的本质，非常有趣且令人困惑。为什么计算机使用领域的进展比其他领域慢得多？计算机使用显然是可验证的。你可以问这样的问题：我在Etsy上订购的商品是否已送达？我试图组织的活动的场地是否已预订？我的税是否已提交？那么，计算机使用的进展比编码、数学和其他可验证领域慢得多，这难道不奇怪吗？我相信原因有很多，其中之一当然是模型在预训练期间接触的高质量多模态数据要少得多。但我认为有一个原因被很多人低估了，而且我认为它揭示了AI进展这条河流只能缓慢侵蚀的峡谷壁垒：一个领域仅仅可验证是不够的。它还必须非常“可打磨”，也就是说，你必须能够针对一个确定且可重放的模拟器运行大量并行回滚，并且这些回滚必须从相同的起点开始。如果你想让模型在编码方面变得更好，你可以定义一个容器，其中包含一个缺少某个功能的软件仓库，并让AI创建该功能，然后让1000个并行智能体去解决这个问题，每个智能体都拥有该容器的相同副本。但这在计算机使用中行不通，至少不是那么简单。你不能让1000个智能体都去尝试亚马逊上的同一个结账流程来提高使用网站的能力，因为安迪·贾西会发现你的机器人并把你封掉。你可以通过克隆Slack、Gmail以及其他所有常见的应用程序和网站来解决这个问题。但至少目前，这是一种非常劳动密集且不可扩展的构建环境的方式。当然，一旦AI在编码方面足够好，能够以极高的保真度构建这些克隆，那么我相信计算机使用的进展会比现在更快。而且，这种过程还能一石二鸟，因为让AI从头重建整个应用程序本身也是一个很好的编码RL目标。所以，尽管计算机使用本身可能很快就会被解决，但它目前的迟缓告诉我们：除非你能为一个领域构建一个非常可重放的训练目标，否则模型将难以取得进展。而之所以如此，当然是因为模型在训练期间的样本效率极低。这是我在上一篇文章中提出的观点。所以，对于计算机使用，我们或许可以通过构建这些可耕种的确定性模拟器来弥补样本效率的不足。但对于我们需要AI拥有的许多其他不同类型的技能，我们根本无法做到这一点。我们如何训练AI变得非常擅长从零开始建立一家企业？如何在法庭上赢得案件？如何在市场上进行盈利的一天交易？如何帮助候选人赢得选举？这里的回滚需要与现实世界互动，你无法仅从数据中心内部重现它。这里的外循环验证可能需要数月甚至数年的现实世界行动才能引出，而且你无法通过稍微扰动模型在数千个并行回滚中的行动来精确隔离模型到底做了什么才真正有效。现在，处理这种无重置、非平稳的环境是RL中一个已知的开放问题。我并不是在指出什么新东西。但我确实想强调，由于世界上大多数领域的数据具有特殊性和稀疏性，你需要样本效率才能变得熟练。如果AI要发展人类拥有的所有技能，甚至人类没有的技能，那么它们需要能够从非结构化、不可验证和模糊的方式中，通过稀缺的现实世界互动所揭示的信息中学习。因为在许多领域，相关的训练信息根本不存在于其他形式中。要制造一个像林登·约翰逊一样擅长政治，或像埃隆·马斯克一样擅长建立太空发射业务的AI，其RL环境是什么？实验室们押注RLVR会泛化。也就是说，如果你在足够多的容器化、可重现的环境上进行训练，你将开发出一个非常通用的智能体，它可以在单个会话中制定和执行计划，从新信息中快速学习，甚至掌握新技能。如果你把这个经过无尽RLVR训练的AI丢进1948年的得克萨斯州政坛，它能在赢得参议院席位方面给你比LBJ更好的建议。如果你在2002年给它1亿美元并让它自由发挥，它就能为你建立SpaceX。现在，RLVR能否如此好地泛化是一个经验问题。如果实验室从在RL环境上花费数十亿美元增加到一万亿美元，你会得到那种在上下文窗口内完全像人类一样的通用智能吗？Dario在我们一起做播客时给了一个很有启发性的引述，我认为这暗示RLVR的自动泛化并非无限强大。当他在解释为什么模型在长上下文下性能往往会下降时，他说，有两件事。

或许我有些过度解读了，但他似乎在说，短视界的强化学习训练并不一定能泛化到长视界的强化学习表现。如果你无法从短视界泛化到长视界，那么智能体又怎么能从一堆白领任务的训练中泛化到被丢进现实世界、像山姆·沃尔顿那样从零开始创业呢？即使经过足够的上下文内经验，AI 能变得像亨利·福特或阿尔伯特·爱因斯坦那样，但如果无法将这些学到的内容回传到权重中，那一切也只是昙花一现、白白浪费。实验室大约 30% 到 50% 的计算资源用于推理，而这些计算目前对帮助改进模型没有起到任何生产性作用。这看起来是巨大的浪费，而且实际情况比听起来更糟，因为只有在部署过程中，模型能够学习到的最有价值的信息才会真正显现出来。比如，我在被使用的组织中实际发生了什么？他们用我来做什么？我在现实世界中容易犯哪些错误？我们有一个天才的研究生，却从未被允许进行真正的实习，而我们却不断以环境中的强化学习训练形式给它提供越来越多的课堂案例研究。这太奇怪了：我们已经有了广泛部署在经济中的 AI，它们参与了各种不同类型的任务，接触了大量领域和组织特有的隐性知识，却无法利用这些信息。但这种持续学习需要回到权重上。AI 不能随着从更多用户学习而不断堆积越来越大的知识库缓存。这根本不可扩展。人类也不是这样做的。我们大脑中参数和激活之间没有清晰的分离。而且，随着你一生中学习更多东西，你的头骨也不会不断膨胀。当我们学习时，显然存在某种压缩。这有助于我们的泛化和顿悟。事实上，有些人类拥有自闭症学者型的能力，能在多年后回忆起随机的数字表或无意义的音节，基本上就是模型在上下文中拥有的那种保真度信息。而这种庞大的信息量会削弱这些人理解抽象概念和隐喻的能力。人类的持续学习更多是关于将正确的直觉和大局知识雕琢回权重中，而不是把所有观察都挂在嘴边。但一旦你进入权重，就必须放弃上下文学习的样本效率。因为梯度更新的样本效率极低，所有成功上线的在线学习模型都必须在数百万用户身上学习完全相同的东西。例如，CursorTab 模型每天通过预测完全相同的目标来进行在线学习，处理超过 4 亿次请求。这里的目标是哪些编辑最终被用户接受了。至少到目前为止，我们还没有看到模型为不同用户在线学习不同类型的东西，因为虽然单个会话可能产生足够人类学习的数据，但不足以训练一个更强大的 AI。当前的在线学习只能适用于非常有限的用例，但持续学习的核心在于世界非常复杂。每个工作、公司和问题都不同，你需要你的智能能够学习与特定部署相关的具体信息，而这些信息根本无法塞进某个共享的训练运行中。当我们谈论在职学习时，指的就是所有这些事情。比如，你组织中的一切如何运作和配合，如何与所有基础设施和周围的人合作以推进某个更大的项目，常见的失败模式是什么，以及许多其他类似的事情。随着播客的发展，我不得不处理越来越多的运营开销。以支付账单为例。过去，承包商每隔几周就会通过电子邮件给我发发票。我翻遍收件箱，创建一个包含所有账单的文件夹，然后手动支付每一笔。但现在，我直接给每个人一个直接发送到我的银行平台 Mercury 的电子邮件地址。每当有人向该地址发送发票时，Mercury 会自动下载、扫描并提取所有相关信息，比如承包商姓名、地址、付款金额、发票编号和到期日，然后利用这些信息创建付款草稿。Mercury 会存储这些草稿列表供我审核。我只需浏览这个列表，仔细核对账单是否正确。我不需要自己追踪任何信息或输入任何数据。Mercury 为你企业的所有基础事务处理得非常好，并将它们集中在一个地方。如果你想了解更多，请访问 mercury.com。Mercury.com。Mercury 是一家金融科技公司，而非 FDIC 承保的银行。银行服务由 Choice Financial Group 和 Column NA Members FDIC 提供。这样看来，样本效率和持续学习实际上是深度关联的问题。模型在工作中可用的数据相对较少。要从这些数据中学习，需要样本效率，而模型可以在上下文中做到这一点，但使用的是由注意力机制即时构建的快速权重，这虽然实现了样本效率，但在内存方面扩展性很差。因此，我们需要架构上的创新，以允许某种中间表示。我之前提到过，我们已经有很多不同的工作思路来解决这类问题，从稀疏注意力到 KV 缓存压缩。每周都有人发布新论文，提出某种其他架构优化。在我看来，架构并不是持续学习的根本瓶颈。那么，瓶颈可能在于损失函数。我们如何根据从某个特定会话中学到的信息来更新权重，也就是如何改进模型本身？即使在这里，天真地看，似乎也有很多应该可行的想法。最近很多人都在讨论一种叫做在线策略自蒸馏的技术。如果你想了解更多，我几周前和 Sasha Rush 用我的 iPhone 录制了一个即兴黑板讲座，链接在描述中。但简单总结一下，这个想法是鼓励基础模型在尝试解决某些现实问题时，做出与经过长时间会话积累所有上下文后的模型相同的预测。这个过程的全部意义在于，将会话中学到的内容蒸馏回权重本身。这比 RL-VR 有两个优势。第一，OP-SD 不需要我们有一个外部循环可验证的奖励。我们只需要一个能在上下文窗口内学到正确东西的模型。只要我们有了这个，就可以训练基础模型去匹配积累了会话中所有经验的老手教师模型。第二，OP-SD 提供了比朴素 RL 更密集的监督信号。它不是将单个奖励投射到整个轨迹上，而是可以训练每个 token 的概率差异，即教师和学生之间的差异。对于持续学习，OP-SD 也优于监督微调。你能想象到的最简单的 SFT 版本，就是训练基础模型预测会话中观察到的所有 token。但如果你把它当作学习目标来思考，这毫无意义。你提升工作能力的方式，不是完美回忆每天发生的每一件事的记录，而是整合那些真正有助于你提升工作的少数洞见和知识。RL 训练不会出现这种失败模式。RL 擅长将更新集中在与获得正确结果相关的部分。这就是为什么在 RL 训练步骤中，实际上只有很少的参数被改变。这对于持续学习来说是一个非常重要的特性，因为当你在职学习时，你不想覆盖和遗忘基础模型知道的所有其他东西。我几个月前写过一篇文章，认为 RL 每个样本学习的信息比监督学习少得多。但这可能是一件好事，而不是坏事。你只改变模型绝对必要的那部分，以实现结果，不多不少。OP-SD 保留了监督学习的这个特性：它不是像监督学习那样弹射向教师分布，而是只提取你在实际现实任务上实现与教师相同结果所必需的知识。OP-SD 是解决样本效率问题的一种方法。你获取稀缺的现实世界经验，将所有信号压缩成一个微小、有针对性的更新。但还有另一个更具推测性的想法。我们称之为“做梦”。如果 AI 能够构建一个良好的现实模拟，用来排练新技能或尝试替代策略，并强化实际有效的东西，那么 AI 在相同的挂钟时间内就能体验到数量级更多的模拟样本。让我们回顾一下历史。DeepMind 发布 AlphaZero 几年后，一组研究人员训练了一个名为 EfficientZero 的模型，这个模型的核心目标是数据效率极高。所以，如果这个模型和一个人都有 2 小时时间与一个他们从未见过的 Atari 游戏模拟器对弈，这个模型实际上可能会击败新手人类。这是否意味着模型比人类更样本高效？嗯，这是训练的目标，但这取决于你如何衡量样本效率。因为在真实游戏的每一步中，EfficientZero 都在脑海中玩了几十场模拟游戏。类似地，未来的 LLM 可能能够消耗更少的现实世界数据，同时在自己构建的环境中进行无尽的练习。当然，最大的区别在于，构建整个世界的模拟比模拟围棋游戏要困难得多。这就是为什么我说这是一个更具推测性的想法。如果它有效，它将与预训练、RL 和推理时计算一起，成为第四个扩展轴。你可以称之为测试时训练或做梦。模型花费计算资源编写 RL 环境，然后针对它们进行训练，并排练所有将在生产中为特定用户实际使用的技能。所以，与其在 Codex、Cursor 或 Claude 中按 /compact 来触发少量计算生成摘要，给你一种持续学习的假象，不如按 /dream，这会消耗大量计算来构建并针对模型在现实世界中观察到的内容的视频游戏版本进行训练。那么，到 2027 或 2028 年，持续学习可能是什么样子？我们如何达到那里？这里有一个场景。所有这些 RLVR 训练正在产生一个智能体，当它被扔到一个不熟悉的问题上时，能够找到方向，尝试不同的策略，并在遇到障碍时迭代。这是 RLVR 给你的关键东西：一个至少足够胜任的 AI，如果你能从中学习，它就能开始获得一些现实世界经验。一旦你有了这个，你就把它送到现实世界去做真正的工作，即使是那些偏离训练分布的项目。现在，假设此时有效上下文长度已经扩展，使得 AI 可以与你一起连续工作整整一周的挂钟时间。一周结束时，你给它一个赞或踩，给它一个工作评价。如果你给了赞，基础模型就会蒸馏 AI 在会话中学到的一切。它可能使用 OP-SD，可能使用做梦，可能使用我们甚至不知道的其他技术，或者结合使用以上所有方法。这样，AI 的技能、知识和能力的范围可以远远超出模型在部署前最初训练的、可验证的领域。正如预训练创造了一个足够智能的基础智能体，通过足够的 RLVR 可以成为称职的智能体一样，RLVR 也创造了一个足够称职的智能体，可以真正广泛部署到世界中，并且一旦持续学习的训练配方真正到来，就能从这种广泛部署中在职学习。到那时，AI 提升的主要方式不再是它们在发布给公众之前接受的训练。相反，它们将从广泛部署在经济中并参与各种不同任务中积累的所有经验中学习。每次你与 AI 交互时，它都会变得更聪明，不仅因为它从你之前的会话中学习，还因为它从与世界上所有其他用户的交互中学习。这非常令人恐惧、兴奋，并且与当前 AI 改进的方式截然不同。这是我博客文章的一个迭代版本，也发布在我的网站 dwarkesh.com 上。如果你想阅读所有脚注，或者想注册以便在我发布下一篇博客文章时收到通知，请前往那里。否则，我们下期再见。