AI中心的数据黑洞

那么，对智能的一种定义是样本效率。也就是说，在某个特定领域，你需要多少数据才能流畅且胜任地操作？实际上，过去几年我们在训练样本效率方面取得的进展并不明确。似乎更多的是，我们只是极大地拓宽和改进了数据分布。AI 变得更好的主要方式就是添加更多、更优质的数据，并扩展处理这些数据所需的算力。显然，强化学习（RL）是实现这一目标的主要途径。你可以把 RL 看作一种合成数据生成方式：你投入大量算力，配合一个验证器或评分标准（如果你用大语言模型作为评判者），从而找出哪些是优质数据。然后，你训练模型去预测这些正确的输出序列，就像训练模型预测互联网文本中的下一个词一样。要让这个过程奏效，模型必须至少具备一定的先验概率来预先猜测出正确答案，这就是为什么你需要海量的人类专家轨迹数据，覆盖你希望模型最终胜任的每一个领域和技能。这些人类专家数据的任务特定性和定制化程度之高，怎么强调都不过分。如果你想有个直观感受，我建议你去看看 Merkur 或 Surge 网站上的职位描述。那里有招聘“Word 专家”的，负责将旧文档转换成精美的 Word 文件；有招聘“法律专家”的，负责撰写逼真的并购尽职调查或证券申报文件；还有招聘“管理顾问”的，负责撰写模板化的市场调研报告。不仅数据必须如此领域特定，而且数据量还必须非常庞大。每一项技能都对应着至少数百名人类专家，他们负责生成示例完成结果、编写评分标准并解释他们的思维链。这个数据产业——生产这些专家标注和构建能让这些精心编录的技能固化的 RL 环境——每年能赚取数十亿美元的收入，很快将达到数百亿。现在想象一下，如果你需要花几十年的时间，跟着数百位教授上课，完成数百万个练习任务，才能学会如何美化一个 Word 文件。即使只看任务数量的差异，也低估了这种差距，因为模型必须处理数量多得多的任务，而且每个任务都难得多。人类学生可能练习一个课本问题一两次，而使用 GRPO（分组相对策略优化），这些模型每个任务要生成数百到数千次输出序列，它们必须这样做才能解决信用分配问题。是的。看待这些模型的正确方式，不是把它们看作一个学会了你所见的各种技能的人类。它们更像是一个弗兰肯斯坦式的怪物，由数十亿个精心构建的示例图缝合而成。Epoch 最近报告称，开源模型落后最前沿的模型约 4 个月。我认为开源模型和之前的落后者相对容易在几个月内追赶上最前沿的原因是，数据才是进步的真正驱动力。数据可以很容易地从公开 API 中蒸馏出来，而超参数、训练技巧和架构优化则不行。如果后者是进步的主要驱动力，那么追赶起来会比我们观察到的要困难得多。我们很容易忘记这些模型是在多少数据上训练的，以及这比我们人类一生中看到的数据要多多少。我们把这些 AI 看作一个充满能力的星系，但在它们的中心，肉眼看不见的地方，维系着所有星座的是一个难以想象的巨大数据黑洞。这里有几个比较点，可以帮助你理解这个差异有多大。第一个比较点：假设一个人平均每小时看到和听到 2000 个词（这已经是很慷慨的估计了），那么从出生到成年，他们大约会看到 2 亿个 token。相比之下，这些前沿模型是在数万亿到数十万亿个 token 上训练的。这接近百万倍的差距。另一个比较点：如果你想的话，你可以在几小时内学会远程操控任何随机的人形机器人或机械臂。如果我们能让 AI 也学得这么快，机器人技术将成为一个价值数十万亿美元的产业，你就能拥有无穷无尽的 Unitree G1 机器人在世界上做各种有用的工作。但我们做不到的原因是我们的 AI 学习效率远低于人类。即使我们已经收集了数百万小时的演示数据，这也不足以让它们执行复杂的开放式任务。最后一个比较点：一个青少年大约需要 20 小时的练习就能学会开车。即使算上他们 16 年的成长经历、理解世界运作方式以及建立物理直觉的过程，这仍然比 Waymo 和特斯拉用来训练自动驾驶汽车模型的数据量少 3 到 4 个数量级。现在，我想谈谈人们对这类比较的一些常见回应和反对意见。有人会说——我认为 Karpathy 来我播客时也说过——对人类来说，数十亿年的进化基本上是在为我们做预训练。所以，当我们比较我们一生中看到的数据之少，与这些从完全随机初始化开始的冷启动大语言模型必须学习的数据之多时，是不公平的。我认为这不是正确的思考方式。我们的基因组只有 3 GB 大小，其中只有 1% 到 2% 是蛋白质编码序列。这根本不足以存储这个据称由进化预训练好的网络的参数。我认为更接近的类比是，进化找到了正确的超参数和正确的损失函数，而在我们的一生中，我们仍然是从零开始构建大脑中的连接组。也就是说，这类似于神经网络本身的权重和参数。即使你同意这个比较，并说，是的，这些模型预训练所需的数百亿个 token 类似于追赶进化，但这仍然无法解释为什么你想给这些模型增加任何新的边际能力都需要如此多的数据。所以，一旦你受过教育，你不需要 100 个不同的教授来教你如何学习一门新的编程语言。但这些 AI，即使已经预训练完成，仍然需要海量数据来学习下一个边际技能，以及再下一个边际技能。对这种比较的另一个反对意见是，我们没有把我们在生活中看到的多模态数据算进去。所以，把我们从出生到成年看到的所有感官信息都算进去，那大概是数百亿到数千亿个 token 的数据。我对这个反对意见的回应很简单：失明和失聪的人，尽管被切断了所有感官信息，仍然拥有通用智能。这告诉我，所有这些数十亿的感官 token 并不是让人类变聪明的原因。事实上，那些无法听到任何 token 的聋人，只能通过手语和阅读来获取信息，他们摄入的信息可能远少于我们之前粗略估计的 2 亿个语言 token，这表明我们之前计算的百万倍差异可能还是低估了。好了，人们提出的第三个常见反对意见是，我们只是规模还不够大。我们有这些缩放定律（scaling laws）。它们告诉我们，更大的模型样本效率更高。我们知道人脑大约有 100 万亿个突触，而我们目前的前沿模型大约有 5 万亿个参数。所以，也许我们只需要把这些模型再扩大 1 到 2 个数量级，就能达到人类水平的样本效率。这个反对意见之所以不准确，原因其实很有趣。如果你看看缩放损失方程的工作原理，它们会告诉你，参数项和数据项是独立地加到损失函数中的。所以，假设你有一个模型，你以计算最优的方式训练它，然后你说：我想要样本效率高。我想用尽可能少的数据，我会投入尽可能多的参数来实现这一点。那么，以 Chinchilla 缩放定律论文中的常数为例，即使你把参数数量增加到无穷大，为了保持相同的损失，所需的数据量也只能减少大约 10 倍。而人类的样本效率比这些模型高出数千到数百万倍。因此，仅仅扩大当前模型的规模根本无法弥补这一差距。这确实表明人类处于一条完全不同的缩放曲线上。我一赚到钱就想把它用起来，但我也需要为即将到来的开支和预估税款之类的事情存钱。所以，为了精确算出我需要留出多少钱，我会问 Command。Command 是内置于 Mercury（我的银行平台）的 AI。由于我已经在使用 Mercury 来运营我的整个业务，Command 可以访问它完成工作所需的所有信息。我只需告诉 Command 我感兴趣的日期，剩下的它来做。它会获取我的当前余额，并加上截止日期前到期的所有发票。然后它会查看我过去 6 个月的交易记录，以便减去我的月平均支出以及任何定期付款。如果有什么相关的事情即将发生但还没有录入 Mercury，我可以直接标记出来。比如，“注意，7 月份有一笔 12,000 美元的承包商付款。”这也会被包含在最终输出中。因为这一切都在聊天中发生，而且每个答案都链接到底层数据，我可以轻松地复核 Command 的工作。一旦我确信无误，我就可以告诉 Command：“好的，看起来没问题。把多余的钱转到我的个人账户吧。”它会立即起草转账请求让我批准。Command 现已上线。请访问 mercury.com/command。Mercury.com/command 了解更多信息。Mercury 是一家金融科技公司，不是 FDIC 承保的银行。银行服务由 Choice Financial Group 和 Column NA Members FDIC 提供。AI 生成的回复和建议的操作可能有所不同，且不保证有效。好了，抛开所有这些书呆子气的比较不谈，你可能会问，我们为什么要在乎样本效率？这对实验室实现他们的两个总体目标——一是自动化白领工作，二是自动化 AI 研究本身——是否真的必要？实验室对白领工作的赌注是，软件工程师、分析师或会计师需要完成的常见任务是常见的。因此，你可以很容易地将它们纳入训练分布。如果你看看这些实验室过去几个月的收入曲线，确实表明即使我们无法复制人类学习的特殊之处，将这些常见任务纳入分布也能带来巨大的价值。训练 AI 做这些任务可能比训练人类效率更低，但那又怎样？人类的寿命根本不允许进行这些模型所经历的那种数量和广度的训练。如果你作为人类有一种奇怪的学习障碍，需要阅读 GitHub 上的每一个公开仓库才能成为一名称职的软件工程师，那么训练你根本就是没有意义的。你会在教育初期就靠社会保障金生活，而且即使你被训练好了，你也只能同时做一个项目。但 AI 可以通过一次投入千兆瓦级的训练来学习这些技能，而且它们学到的东西可以分摊到数十亿次会话中。所以，我们在训练它们时可以极其低效，但仍然能获得巨大的收益。那么还有一个问题是，白领员工需要做多少无法提前训练的分布外思考？这与其说是关于 AI 研究的问题，不如说是关于不同工作性质的问题。这也取决于你谈论的是哪种工作。有些工作非常机械和可预测，我们在现代 AI 时代之前很久就能将其自动化了。是的，比如银行出纳员或旅行社代理。但还有其他工作，需要每天处理与数据分布相差甚远的问题。我认为软件工程可能就是其中之一。这是 AI 被认为会首先取代的工作，但我愿意打赌，到 2027 年，对人类软件工程师的整体需求会比现在更大，这主要是由于 AI 的互补性输入。实验室对后一类工作的计划是，首先自动化 AI 研究，然后让自动化的 AI 研究人员解决样本效率问题。那么问题就变成了：不具备人类水平样本效率的 AI，能否仍然解决那些阻碍实现类人智能和学习的剩余研究问题？这是一个非常复杂的问题，我必须在未来一篇更长的博客文章中讨论。但先透露一点，我认为目前人们对智能爆炸的思考方式非常笨拙，因为要么人们完全否定 AI 加速 AI 进步的可能性，要么他们假设某种神祇会从另一端蹦出来。他们没有仔细推理，如果出现一个 AI 进步比平时快得多的时期，但这种情况发生在 LLM 以及 LLM 所代表的特定智能类型之上，会是什么样子。不过，这个留到下次再说。与此同时，如果你想阅读这篇博文或我写的所有其他博文，或者想在我写新博文时收到提醒，请访问我的网站 dwarkesh.com 订阅我的新闻通讯。好了，下次见。再见。