走进模型工厂 — Eiso Kant, Poolside AI

好，我们现在在录音室里，和 Bullseye 的 Aizokan 以及 Dibu 一起。

谢谢。感谢邀请，各位。

很高兴能来。是啊，刚下飞机。你给我发消息说，嘿，我正在去旧金山的路上。我当时想，你现在就在飞机上对吧？就像，嘿，你知道吗，我给你发完消息后，我意识到你大概会带着严重的时差过来，今天可能会带来一些有趣的体验，但咱们就这么干吧。我觉得我会告诉嘉宾的是，他们其实不需要准备太多，因为如果你真的每天都在做这件事，那么即使是你模糊记得的东西，对很多不生活在你的日常世界里的观众来说也会是新鲜的，对吧？所以10年前你在 Google Slush 做过一个关于 AI 民主化的演讲。而现在你在这里，开源了一个我们即将讨论的令人难以置信的新模型。但我想知道，是什么让你开始关注 AI 民主化的？这从你的 LinkedIn 上可看不出来。

不，完全看不出来。实际上，我觉得我走到这一步的缘由并不明显。我能进入这个领域要归功于 Andrej Karpathy。2015年，他写了一篇文章，叫《循环神经网络的不合理有效性》。我读了那篇文章，然后一夜之间把我当时的创业项目转向了研究 RNN，后来又转向 LSTM 和 Transformer 模型，目的是让它们能写代码。如果你去看那篇文章并往下翻，你会开始看到，这其实是后来语言模型的前身。至少是他那个字符级语言模型的前身。我们开始真正预测字母了。他那里有个例子，有个小小的 Paul Graham 生成器，你可以读一读，文本看起来有点道理，但又不太对。再往下翻一点，还有个代码的例子，写着莎士比亚什么的。出于某种原因，我读了这篇文章，然后就一头扎进了学习关于 RNN 和 LSTM 的一切，对吧？那是在 Transformer 论文之前。我当时产生了一种完全不合理的信念，认为神经网络应该能泛化到任何事物，语言也应该能泛化到很多智能的东西，包括写代码的能力。于是我开始创办 Sourced，这是一家完全开源的公司，试图构建我们当时所谓的“代码上的机器学习”，也就是代码上的语言模型。我们花了大约四五年时间，一直到2019年底。这在今天听起来很酷，但当时没人关心，对吧？根本没人关心。我们当时在黑暗中摸索。我们一路做了很多事，尝试把卷积神经网络应用到代码的结构上。当 attention（注意力机制）出现时，我们把它用到了 LSTM 上，然后 Transformer 论文出来了，但当时并不明显。在整个过程中，我们错过的是：我们其实走在正确的轨道上，但我们应该继续扩大规模。而今天，对我们所有人来说，scaling laws（规模定律）和扩大规模似乎是最显而易见的事。但在我花了四五年时间研究代码语言模型之后，这并不明显。我非常尊重 Google、OpenAI 以及其他公司的人，他们带着那种信心继续前进。我们最终在当时失败了，这可以说是我职业生涯中最大的失败，对吧？你烧掉了1200万美元的投资人的钱，这在当时是一大笔钱。

没错。

我们投入了大量资金，并且花了数年时间，带着大约40人的团队，一心扑在这个问题上。后来人生轨迹发生了变化，家庭成了重心。我基本上埋头工作，老实说，接下来的两年里根本没怎么关注语言模型。考虑到接下来几年会非常精彩，这算是个不小的失误。然后ChatGPT问世了，这几乎是一种验证。人们开始给我发消息，我翻出了以前的工作文档和那些旧演讲。在整个过程中，我们当时有一个非常坚定的观点：当你构建更强大的智能时，它应该是开放的、开源的。但当我们创立Poolside时，情况完全不是这样。我想坦诚地说，一开始我们有两个前提。第一，这项技术的能力不会停止增长。对大多数人来说，今天这显而易见，但三年前我们起步时，大多数人还在争论这些模型是不是随机鹦鹉。第二，强化学习将成为提升LLM能力的主要驱动力。今天这很明显，但三年前，无论是OpenAI、Google、Anthropic还是其他公司，都没有持有或推行这个观点。所以人们有点看不起我们，觉得这真的能行吗？于是我们开始埋头解决问题，再也没有考虑过开源。我们从头开始构建知识体系，不是从现有实验室里孵化出来的。我们拿起论文，开始写代码，摸索前进。直到今年年初，我和联合创始人Jason才重新拾起开源这个话题。如果你去看我们网站早期的内容，非常直白：我们想实现AGI，支持一个富足的世界，并成为第一家做到这一点的公司。但今年年初我们开始讨论，因为世界的发展方向开始让我们感到不安。这不是一夜之间发生的，而是一点一点地，我们看到世界在走一条路。在这个过程中，我常用一个类比。回想2015或2016年，我们正在做这件事。我从书架上拿起一本科幻小说，讲的是2035年AGI实现，故事跨越接下来的几十年。第一章是大家都在摸索，第二章是ChatGPT问世，然后到了世界面临分岔路的章节，它选择了由三四家或少数几家公司创造所有未来智能的道路。当我想到这个故事时，感觉像是一本反乌托邦的科幻小说，而不是乌托邦的。而实际上，我是个乌托邦科幻迷。所以我们退后一步，问自己：我们能在这里扮演一个角色吗？对我们来说，这样做很容易，因为我们不在前沿。如果我们在前沿，我不认为我们能改变想法。我不是说当下，而是因为涉及太多资本和期望，你已经积累了很多东西。我们是个小团队，只是在不断改进。我们知道现在可以做出这个决定，但越接近前沿、赶上其他人，就越难改变。我们做了很多反思和对话，最终认为这是有道理的。即使还有很多未解之谜，比如用开源基础模型怎么建立商业模式？这是个我们还没完全答案的大问题。到什么程度你不再想发布开源模型，因为滥用可能带来真正的风险？政府会如何应对开源？但我觉得归根结底只有一件事——我这就结束独白——那就是我宁愿生活在一个有100家基础模型公司的世界，而不是只有5家，即使我是那5家之一。为了让100家存在，我们能做的最小、最有意义的贡献就是现在开放我们的研究和权重，并在这个过程中摸索如何做得更多。

是的，我觉得过去三年里，这一点变得更加真实了。你是现在人们称之为NeoLabs群体中的一员。就在今天，Thinky发布了他们的新模型，而你在他们发布的一些基准测试上表现更好，对吧？他们还没有达到那个水平。这说明实际上这个领域确实有多个玩家的空间，你看到了一点未来，可能更像是20家，而不是100家，但你是那20家之一。

我真的希望如此。我对他们的发布感到兴奋，也对每个人的发布感到兴奋，因为最终选择和竞争会推动进步朝着正确的方向前进。而且，虽然我们都在同一个数据池里汲取，但我们确实在模型中引入了非常不同的行为和偏见。有些是有意为之的，有些是完全无意的。如果我们在一个开放模型将成为代币经济一部分的生态系统中发展——我认为这已经毫无疑问了——那么我们希望生活在一个公司、国家和个人可以选择的世界里，说：嘿，我最认同并信任这个提供商来处理这些事情。

是的。

不，我很感激。我认为这实际上是最有意义的贡献，对吧？权重（weights）是二元的，我们就直说吧。是的，我们可以修改它们、改变它们，但把权重给别人并不能让他们最终复现你所做的事情，对吧？所以现在发布数据集有挑战，发布某些东西也有挑战，但能够分享你的研究——比如，我们是怎么做到的？我们花了成千上万次实验算力学到了什么教训？我非常认同这一点。不过有一个更正，Vibhu，我这么说是因为这件事困扰我们好几年了。实际上我们从第一天起就是一家美国公司。是的，他们搬到了法国。所以这个故事一劳永逸地说清楚很简单：我们一开始就是一家美国公司，我们一直都是美国公司。早期我们做了一个非常明确的决定：我们不在湾区招聘任何研究员，而是在全球其他地方寻找人才——从美国中部、西雅图，到塞尔维亚、台湾、新加坡等地。这是因为我们当时认为这将成为一场人才争夺战，而这些年也确实如此。三年前这还不完全明显，但今天已经非常明显了。我们还意识到，世界上一些最有能力、最有创新想法的人并不只在这里。所以我们创建了一家完全远程的公司，最终在巴黎、伦敦等地开设了办公室。我们有很多团队在美国，也有很多在海外，但我们一直秉持这样的观点：我们是一家美国公司，但如果想要最优秀的人与我们合作，就必须放眼全球。现在我们硅谷也有人，公司发展壮大了。但我觉得，有一件事一开始拖慢了我们的速度，现在却加快了我们的步伐，这也是为什么你们看到我们模型的进展和发布节奏——因为我们不是从现有实验室起步的。我们当时并没有很多这里自由流动的信息，只是抱着这样的观点：好吧，我们就解决问题，读几篇现有的论文，自己搞明白。这些年我们在模型训练中犯了一些可笑的错误，尤其是头12个月。有几个错误至今让我心有余悸。我们稍后会谈到这些。但这在团队中培养了一种韧性和坚持。这些年很少有人离开我们，这告诉我们：我们能行。当我们第一次完全从零开始编写训练代码库时，它不是任何开源项目的分支，就是从头构建。我记得有一次，我们花了三周时间解决一个优化器（optimizer）的bug——训练就是无法稳定下来。我们痴迷于此，甚至怀疑自己是不是错了，也许应该直接fork那个仓库。但当我们解决它时——当时公司只有5个人——我们意识到：哦，我们能行，只要我们愿意努力。我认为这种文化，加上强烈的工程导向，帮助我们走到了今天。所以关于开源、人才这些概念，我想我们只是从不同的起点做出了不同的决定。我们很幸运，我确实想强调这一点，但也是团队大量努力的结果，现在开始体现在成果上。

既然我们可能不会再回到这个话题，而且如果有人知道答案，这是个有趣的招聘挑战——那个bug是什么？我们不会说解决方案，但——

我想我能回忆起来。如果你看Adam这样的优化器，分母里有一个epsilon。原生美国权重？对，在分母里。当时，如果我没记错，你看早期的Llama论文之类的，人们把epsilon调得相当高——比如加e-4或类似的高值。如果你在训练中思考这个问题，这有点奇怪且反直觉：我们通过在分母里加一个随机数来给优化器添加噪声，对吧？就在小数点后面。我不记得确切的bug了，但我记得的是，一旦我们解决了它，我们就不再需要像Llama论文和其他地方那样选择epsilon了。那是一个关键时刻：我们相信了那篇论文，觉得“哦不，必须这样，epsilon必须这么高”，但直觉上这毫无道理。为什么必须这么高？如果你只是想避免除以零，为什么不能让它非常小？那一刻你意识到：从零开始自己摸索能建立更好的直觉，因为模型构建中你很快会学到一件事——你最初的直觉会被狠狠打击。这是一门实验科学，那些看似显而易见的事情，你很快会发现自己错了，希望你能找出原因。有时你甚至找不到。

是的。所以，你知道，当你发布新模型时，Vibhu非常兴奋。我是说，每个人都很兴奋，但Vibhu主导了我们的Paper Club讨论它。你们显然也看到了。也许谈谈其中的一些教训，只要你能透露的。我们可以聚焦在Model Factory之类的东西上，你觉得从哪开始合适都行。

所以我想说，我们从公司成立初期就认为，模型构建最终90%是工程问题。我认为业内都明白这一点，因为如果你看看每个研究人员的时间都花在哪里，他们都在写代码，对吧？看数据、写代码。所以我们当时就说，好吧，三年前的状态是，用bash脚本、Slurm和拼凑起来的代码库来训练，数据管道也是东拼西凑的。我们看着这种情况说，模型构建本质上是一个流程。你从原始数据开始，对吧？比如预训练的原始材料、网络数据等等。你要做大量的过滤、清理、转换，现在还要做分析。这比三年前复杂得多。然后你训练一个模型，这实际上是一个大型分布式系统问题，对吧？跨硬件运行，虽然现在硬件可靠多了，但当时非常不稳定。而且每一代新硬件都会带来新的挑战。然后你进入下一阶段，对吧？当时还没有中期训练，但你有后训练和强化学习。所以我们看着这个流程说，这看起来像一个工业化流程。这是一个端到端的流程，每个部分都有自己的机制，对吧？比如大数据管道、网络爬取和摄入、大规模分布式训练，然后还有可靠性问题。我们说，为什么不把我们认识的一些世界上最聪明的分布式系统工程师请来，让他们从零开始参与研究过程，而不是事后才补救？于是就有了我们的模型工厂。我们的模型工厂最初只有几个组件，现在有成千上万个组件。我试着打个比方：如果你想想富士康早期的人，如果他们在接下来的十年里一直待在那里，他们就能重建富士康，因为他们见证了构建那个系统的每一个决策和所有复杂性。如果你我今天走进富士康，根本不可能，对吧？因为我们没有那些决策的传承和历史。所以我们从一开始就组建了一个团队，他们真正理解，我们优化的指标是：从研究人员的想法到可信的实验结果，再到成为下一次模型训练的一部分的速度。因为这是一门实验科学，最初没那么复杂时，你可以凑合着解决，对吧？但现在，任何基础模型公司都在运行——我们团队很小，对吧？我们只有不到70名研究人员，另外35名工程师。我们每月运行——我没看最新数据——但远远超过1万次，可能1万到2万次实验。天哪。所以看看这个规模，每次模型运行，你都需要能够信任它。这是一个基础设施问题。经过多年努力，我们已经非常擅长这一点。通过不断工作、改进和痴迷于这些端到端的决策，我们现在做到了。这意味着，看看我们发布的Laguna XS2，从预训练开始到发布只用了5周。我们今天要讨论的模型，从预训练开始到发布用了8周。我们昨天就开始了下一个模型，因为我们已经完成了下周发布（或本期节目播出时）的模型所需的后训练。我们把算力转移到了现在正在训练的更大的Laguna-M模型上。所以模型应该是一个流程的产物，它本身不应该是一个独立的东西。我们对待它的方式，就像看待SpaceX的工厂一样：是的，第一枚火箭很难造，但更难的挑战是建造工厂。现在火箭不断下线，没人再考虑下一次发射了。它只是又一次发射，又一枚火箭下线。这就是我们在模型构建上试图做到的。而一个没有从零计划、但一直埋在我们心底的想法是，当你建造了一个真正优秀的端到端模型工厂，配有很好的API和工程系统时，它最适合什么？它最适合智能体，因为智能体现在开始在我们的模型工厂中接管越来越多的工作。

是的。

所以当我走过屏幕时——我们每月有一次线下聚会，我会走到人们身后，和他们聊天。默认情况下，他们的屏幕上运行着各种智能体，它们在写代码、启动任务、评估模型运行返回的结果。它们在做出修改。我们仍然在驾驶座上，仍然在提出想法，仍然在帮助调试，但越来越多地——这在数据管道方面（预训练、后训练和合成数据管道）已经非常显著——也开始出现在架构方面。你开始看到RSI（递归自我改进）的雏形。坦率地说，所以当谈到你关于我们模型的问题时，我真正想说的是模型工厂。我最喜欢的例子是，当我们启动一次新的运行——无论是预训练的大规模运行，还是后训练（比如发布前的10个后训练版本之一）或许多实验——在任何时刻，某人前一天做出的、有实验结果的修改都会进入这次运行。没有90天前的截止日期，而是从那一刻起，因为我们现在足够信任机器。你还需要投资于可靠性。所以关于Laguna S，我最喜欢的指标之一是，没有发生过需要值班处理的事件，对吧？完全为零。实际上，据我回忆，今年一整年都没有发生过需要有人半夜起来处理的有意义的事件。不过有一个例外：通常在启动新模型运行的头6个小时内，会有东西出问题，因为你配置错了，或者犯了个小错误。所以通常会有一些干预，但那总是在工作时间内，对吧？不是值班时间。我认为这正在产生复利效应。所以我们现在发布的这个模型，我很喜欢，它很棒。但我们已经在进行下一个了。我认为这才是应有的方式。

我们习惯了这样。

对，我们会把论文链接放上。

但我喜欢——我喜欢原则。我觉得这是讲一些故事的好起点。也许我们可以逐一过一下这些原则。我先提一下，Dexter刚被Prefect收购了。

是啊，还挺有意思的。

不过，其实我对Dexter很熟悉。有没有什么能触发故事的点？

嗯，我觉得实验这一点很明显，但我最喜欢的一件事是——我不知道具体在哪——早期的时候，而且我现在仍然认为很多基础模型公司都是这样：人们准备好训练数据集，打包好，然后复制到训练集群，分发到所有节点上，接着开始训练。我们三年前看到这个做法时就想，这完全不合理。你浪费了大量时间，因为一旦你需要重新生成数据——比如要修改、修复某些东西——你就得重新打包，对吧？分词、重新打包、移到集群、再分发到各个节点。集群越大，你甚至要用上类似torrent的算法来分发数据。那为什么我们不把数据流式传输到训练中呢？这在基本的计算机科学原则里很常见，比如“即时”原则。我认为这是解锁模型工厂的关键之一，因为一旦你开始思考：一个训练任务——不管是大规模的主运行还是小规模的后训练实验——每秒消耗一定数量的token，对吧？从数据传输的角度看，其实并不多。所以我们说，我们有训练集群，还有类似AWS那样的内部设置，可以构建这些强大的大数据管道。我们可以配置好一切，底层用Spark之类的工具。

但你说AWS，其实不是真正的AWS，是你内部的AWS。

对，是我们内部的，就像运行我们自己的基础设施。我们的东西跑在AWS账户或任何硬件上，对吧？一旦我们转向流式数据到训练中，突然发现很多事情都解锁了，因为现在你不需要等整个数据集生成完毕。当你做数据混合实验时，它只是一个配置项——因为你有这些数据源输入，我们有个叫Blender的服务（报告里有提到），然后你设置：这次运行我要20%来自这个源，10%来自那个源，要这么多重复轮次，要以某种方式打乱。你的训练任务可以在其余数据还在生成时就启动。另外，因为底层所有东西——对我们来说，我们把数据层当作不可变数据层来处理，这非常重要。比如，实验即代码，不可变数据层意味着你总能回溯，精确理解到每个token在哪个代码版本、哪个游标位置进入的。这花了一段时间。我承认，Poolside的第一年，我们明白工程必须做好，但还没意识到这最终是为了支持严谨的科学进步。我们当时人很少，很多想法和运行都是“YOLO”式的。我们为YOLO运行建了很好的基础设施。但一旦我们意识到把数据当作不可变的、代码总是版本化的，并且能完美追踪每个实验的端到端过程，就能完美复现一切，对吧？我有完美的可复现性。我现在还能复现两年前的运行，如果我想的话。这实际上推动了科学进步，也就是科学过程。我觉得我们大概花了公司成立后的一年到一年半才想明白这一点。我们也有一些很棒的招聘，比如联合应用研究负责人Nikolai，他从Yandex加入我们，从2020年代初就开始做语言模型。他把这种严谨性带进了公司，说：嘿，我们要更严格。然后，当我们有了越来越强大的平台，让人们能做更多事，同时又保持不可变性，我们就能真正开始：每个实验都是真正的消融实验，我们必须理解它。我认为过去几年我们在科学上变得更严谨了，底层基础设施也支持了这一点。然后还有一些有趣的东西——

对。

而且，我们长期以来一直认为，写论文这件事我们还没资格去做。你得先站在前沿，才有资格花时间发表研究，因为在此之前你只是在追赶，这个行业里的每一分钟、每一小时都很重要。我不仅纠结于从想法到结果的墙上时钟时间，还纠结于每天浪费的时间——这些时间会拖慢我们追赶的步伐。但这次我们决定，给自己——我想我们给了团队大概三四天时间，同时还要完成日常工作——把所有东西都写进去。就像你之前说的，如果你熟悉自己的东西，写出来很容易。所以还有很多东西我们想在未来讨论，我们肯定会开始做。随着我们获得更多资格，而且现在我们的使命也增加了——我们希望有更多基础模型公司存在——你会看到我们更主动地分享。我们会继续分享一路学到的经验，帮助其他人加速。

另外，我也想澄清一点，我们确实从其他机构公开的研究成果中获益良多。没错。你提到了中国的研究机构，我认为重要的是，来自每个国家、每种文化和背景（包括像我们这样的西方公司）都能推出不同的模型，让人们选择信任。但我觉得我们必须给予应有的认可，对吧？那些出色的中国实验室在分享研究成果方面做得非常出色。我们确实从中受益良多。所以，当你成为受益者时，我认为也有义务回馈。

你有没有特别欣赏或觉得被低估的中国实验室想提一下？大家都在提 DeepSea。

这是个好问题。

Muon 显然，原因很明显——

对，对。你看，我觉得最近大家都在谈论智谱的 GLM 5.2。但大多数人没意识到的是他们起步的时间。没错。他们在 ChatGPT 出现前好几年就开始了。只是后来改了品牌名。所以我记得，在全世界还没兴奋起来之前，做这些事情有多难。因此，我非常尊重那些在 LLM 还不是热门方向、相信它甚至会被人嘲笑时，就致力于改进模型的人。我记得 2016 年，我们用一些模型做所谓的代码机器学习时，人们直接嘲笑我们，说这毫无意义，为什么要浪费几百万美元去研究这个？所以，我认为他们值得被提及，不仅因为他们的最新模型很好，更因为他们一路奋斗才走到今天。我觉得每一家基础模型公司都需要时间才能走到这一步，对吧？我们花了三年才做出即将发布的模型。而现在模型之间的间隔时间已经缩短到以周计算，不再是月或年。但这件事本身很难。如果我们能让后来者轻松一点，就应该这么做，因为如果不这样做，在模型真正影响递归自我改进、让追赶变得几乎不可能之前，我们只有很短的时间窗口。我们应该在这个窗口期内，鼓励尽可能多的 NeoLab 或类似机构起步。所以我目前的一个使命或担忧是，我想鼓励任何认为自己能解决这个问题的研究人员，离开并成为我的竞争对手。去创立另一家基础模型公司，欢迎，因为我认为我们需要这样。否则，我不想只成为第五或第六家胜出的公司。我想看到一个充满多种选择的世界。

嗯，好吧，这其实是个过度简化，我总会加个星号，因为它可能让人产生误解，但我真的认为，95% 的模型构建可以归结为两件事：改进数据或提高计算效率。我知道这对于那些才华横溢、技术精湛的人来说感觉像是过度简化。但如果你仔细看，我们在做什么？我们在看数据、生成新数据、改进数据。而唯一的方法就是去看数据，对吧？这是基础模型构建的重要部分。另一方面，我们在推理、架构和新的注意力机制上取得了惊人的突破。但它们真正在做什么？它们在提高计算效率。当然，多年来我们确实有一些突破，让模型能力更强。但极限情况下，如果你能训练一个足够大的模型，并且有无限算力，我们可能明天就能达到 AGI。对吧？其实不是。而且，无限算力还需要无限快的网络，因为网络往往比算力更成为瓶颈。所以我认为，这些就是主要的事情。要意识到这是工程问题。我觉得这一点越来越明显，但过去几年里，人们一直把基础模型公司、研究人员等捧上神坛，认为他们在做不可思议的魔法或火箭科学，只有诺贝尔奖得主物理学家才能做。别误会，确实有一些非常难的问题需要解决，但我们日常做的大量工作并不是坐下来解数学定理。我们做的大量工作只是把基础做对：写好代码、看数据、改进数据、跑实验、看图表、试图形成直觉。其实有更多人能成为高水平的研究人员。我觉得这对他们来说似乎很遥远，但我在自己公司里看到，工程师变成了研究人员，因为 Model Factory 降低了他们跑实验和尝试的门槛。我们团队里有个一开始是构建 agent 的工程师，现在成了真正的强化学习研究员，取得了实际进展。这发生在六个月内。这在几年前，我想大多数人会认为不可能。

对。我觉得一个有趣的时刻是，当你能够自我托管时，比如，如果是一种编程语言，如果你能用这种语言编译它自己，那么等价的就是你能用自己的工具，对吧？你有 Pool CLI，有自己的模型。当然你不可能只用自家模型，但随着时间的推移，这个比例是多少？

这是我们发布的第一款能够真正为我们的工作做出有意义的贡献的模型。它还不是最先进的模型，Fable 和其他能力很强的模型都比它强，但 Laguna-S 确实很有意思。我直接引用一段话吧。彭明，我们应用研究的联合负责人之一，在模型大约十天前发布时说了些话，效果比我们坦率地说所希望和预期的要好得多。他说，我有种感觉，Laguna S 的很多提升不是来自更高的智能，而是来自不同的行为——更多的验证、不把一切视为理所当然、不早早宣告胜利、更加坚持不懈。老实说，这些特质在某种程度上比原始智能更能预测人类成功。这是他在7月5号星期天写给我的，从那以后就一直印在我脑子里，因为 Laguna S 模型，你会看到它为什么在基准测试上表现这么好，为什么在日常使用中这么出色，就是因为它极其执着。它推理很多。我确实要指出这一点。我们在让它更高效方面还有工作要做，在提供不同的推理模式方面也有工作要做，但这个模型已经能做到我从未想过它能做到的事。一个1180亿参数、80亿活跃参数的模型，不算很大。它能装进一台 DGX Spark，在 Spark 上还能以每秒30到40个 token 的速度运行，却能独立解决 Erdős 397 问题。它能完成复杂的编程任务。今天早上我让它给我写一个 Mac 上的 Wi-Fi 扫描器，不用任何外部库。它就不停地尝试理解核心的 WLAN API，在没有网络的情况下坚持不懈。而且我越来越喜欢做 vibe check。过去十天里，我大概每天花8到10小时和这个模型在一起。我没夸张。昨天我坐了11小时的飞机，花了10小时读模型的轨迹和日志。我从中得出的结论，正是彭明说的。我们将能从较小的模型中榨出比我们行业之前想象的更多的潜力。因为，没错，更大的模型更智能，这一点毫无疑问。我们应该继续扩大规模。但是，那种真正坚持不懈、在出错时能回溯、懂得如何与环境互动的行为，告诉我们能从模型中获取更多。这让我在过去几天里心里产生了一个疑问。想想我们今天在什么地方用模型，对吧？我们用模型做知识工作。这占全球经济的25%，大约25万亿美元的工作。随着我们扩大模型规模，它们变得更智能，我们很兴奋能用它们来推动科学前沿。如果你看看科学前沿，比如真正的科学突破，在很多地方它们都与更高的智能相关。爱因斯坦推导出广义相对论，能把别人无法联系起来的想法整合在一起。我认为智能的众多维度之一就是这种能力。我们清楚地看到，随着模型变得更大、能力更强，它们能整合更多想法和线索，而较小的模型做不到。我们在医学、生物等领域开始看到这样的例子。但如果你想想我们做的大部分知识工作，包括构建软件——我骨子里首先是个软件开发者，虽然我可能不能再这么说了，因为我好几年没写生产代码了——让我们变得优秀的，其实是我们的坚持。是我们遇到问题后回溯，说“我需要去搞清楚这个 bug”、“我需要去研究这个”、“我需要去看文档”、“我需要尝试五种不同的方法看看能不能解决”。但这不一定是把三个来自完全不同领域的想法整合在一起。所以，如果我们现在看到——我认为 Laguna S 就是一个例子——我们能让一个相对较小的模型变得比我之前预测的、或者任何之前这个规模的模型的基准测试所显示的都要强大得多，甚至比更大的模型在某些编码任务上还强，那是因为行为。所以现在我的问题是，我没有答案，我知道在极限情况下，也就是无限大的模型，对吧？极其大的模型。运行那个模型的成本会非常高。我们知道这一点，对吧？所以更大的模型有投资回报率问题。我知道在极限情况下，我不会有一天用世界上最大的模型——万亿参数，不管多疯狂——去做一个基本的编码任务。今天我已经开始为某些任务选择更小的模型了。这意味着存在一个最优值，意味着有一条曲线，随着模型规模在知识工作上增加，在某个点我们会达到峰值。在那之后，用更大模型的投资回报就不划算了。现在我认为的问题是，以前我会觉得那个峰值非常遥远。这个模型对我来说是第一个信号，也许那个峰值就在万亿、5万亿、10万亿参数。也许我们就能从这些模型中榨出更多东西。我不再认为我们需要把最大模型扩大两三个数量级才能解决知识工作——会计、法律、我们写的代码。如果这成立，那就是模型商品化的论据。是开源能在这个世界获胜并成功的论据。当然，这是一个利己的论点，也是一个充满希望的论点，但理论上在极限情况下是成立的。我们只需要在未来几年去发现还能榨出多少。不过，我要加一个大大的星号。这并不意味着我反对扩大模型规模。我认为我们最终只有把模型规模扩大到和竞争对手一样大才能成功。我不喜欢，我认为我们不应该把头埋进沙子里说“我们要做开源小模型之王”。我认为坦率地说，那是一种逃避。是想在自己的小王国里称王，却没意识到世界其他地方在做什么。我们所有人都宁愿用更聪明、更快、更好的模型，但这算是一种希望的信号。所以我不想过度强调这是个好模型。我们离最先进水平还有很长的路要走。但希望人们在使用这个模型时能体会到的是，它内部的行为让它变得远更强大，而不只是参数数量。

这主要是后训练的结果吗？对吧？

完全是后训练。

我们在预训练上还有什么可以改进的吗？预训练结束了吗？

没有。好吧。

所以我想先聊聊预训练，然后再谈后训练。

预训练还没结束。我的意思是，你看，预训练有一部分就是处理技能问题，对吧？模型技能的每一个新量级，你都会遇到需要解决的新问题。这些最终都是工程挑战。我有一个，我可以说，不太常见的观点。强化学习会越来越早地进入预训练阶段。

对，中间训练。

甚至不是中期训练。如今的中期训练，如果你看看——我们已经在这方面研究了好几年。我记得第一次在公开场合看到它是在 DeepSeqZero 论文里。那大概是一年半以前，如果我没记错的话。当时，模型在早期阶段，当它刚开始具备使用语言等能力时，就可以诱导出推理。所以我的问题是，我们有这个数据集，也就是互联网。可以说，互联网上以不同形式编码了人类知识的全部，但质量差异极大，从垃圾数据到最伟大的科学论文、最好的博客文章、最好的转录文本等等。一旦你审视预训练数据，你真的会对互联网的本质感到谦卑。所以现在我们正在努力解决的问题，也是我们投入大量工作的地方——这方面可能不如其他领域那么开放，但我们会逐渐更加开放——我们已经花了几年时间研究如何将互联网不仅仅用于下一个 token 预测，而是作为一种在训练早期教会模型思考的方式。我认为那里有大量的金矿可挖。我认为目前行业里有一些“毒品”。一个是蒸馏，另一个是更多环境。它们很棒，让我们感觉良好，让模型变得更好，我们都沉迷其中，会以各种方式使用它们。但归根结底，我认为我们仍然只是勉强从互联网中榨取了我们本应得到的东西。我认为预训练中仅仅使用下一个 token 预测是不够的。所以我认为我们还会看到一些非常有趣的事情发生。而训练后的 RL 用于诱导行为、改进事物——我认为全世界现在都知道怎么做了。我们正在扩大规模，每个人都在做。但我在想，我们是否真的需要像今天这样在环境上走这么远。我还不确定——

你是说走得太远了？

我不确定通往 AGI 的道路是否只是更多的环境。

我认为从互联网中是有可能实现更多泛化的。但我也很受鼓舞，比如当我看到 Laguna-S 时，训练后阶段在那里产生了巨大影响。我看到，等等，仅仅通过让某些行为变得更好，我们就能从中获得更多。这稍微改变了你思考智能的方式。

对，对。

只是数据更好，对吧？我的意思是，中期训练——我喜欢我们发明这个词的方式。它实际上就是第二阶段，一个用非常笨拙的方式做课程学习的预训练第二阶段。但最终你想要的是一个从 token 0 到 token 30 或 40 万亿 token 的课程，那才是模型学习的最优课程。但中期训练本质上是一个两阶段的互联网课程，因为我们没有足够的算力去消融掉完美的课程。所以我很确定，很快你会看到人们开始谈论另一个术语，比如阶段二或阶段三，因为我们现在就是这么做的，对吧？我们谈论阶段二、阶段三、阶段四的中期训练。但归根结底，我们只是在试图为已有的互联网数据分配一个课程，让模型学得更好。我认为在某个时候，随着算力增加、模型运行成本降低、下一代计算出现，这会变成一个更连续的谱系。另外，我认为中期训练以及阶段二、阶段三之所以存在，也是组织上的原因，对吧？这是我们在模型工厂中真正试图避免的事情。中期训练之所以存在，是因为现在有了一个中期训练团队，对吧？有人或有人决定专注于中期训练的工作。但你真正想要的是工程和实验技能，能够实现一个更连续的谱系，让你有无限多的阶段。现在我们还没到那一步，算力不够，组织设计也不够。但我觉得我们会达到的。几年后回顾，我们会说，天哪，我们当时用这么天真的方式做预训练数据，真是可爱。我们几乎没怎么排序，在构建课程方面做得并不好。行业会解决这个问题的。

我可以确认，当我跟一些研究人员交流时，这确实是目前很多工作的重点：预训练如何改变？除了下一个 token 预测，下一个目标是什么？我猜你没有答案，但有一些想法。

我们有一些想法，但还没准备好谈论。我们已经研究了好几年。这也是一个不那么明显的事情：在建立基础模型公司时，你需要在“入场券”工作（你知道有效的配方）和你疯狂的突破性纯研究之间不断平衡，并根据你在竞赛中的位置调整这个比例，这非常重要。

这是个不错的说法。我本来想提一下“自动研究”（auto research），这是 Andrej 的另一个发明或造词。老实说，到底能有多少种目标函数？对吧？就试它一千种，让它跑起来。你知道你在找什么，你在找那样的损失曲线。

我认为这也取决于你什么时候开始，对吧？我们刚开始的时候，我们的创新是在代码上做强化学习。现在这早已不新鲜了，但当时我们痴迷于此，而没人相信 RL。所以当你创办公司时，你必须有自己的想法，必须有一些不同的东西让你能加速。对我们来说，就是从 RL 到 LLM，后来这成了常识，但一开始并不是。

非常非常早。当时我们甚至需要跟人争论，比如我们在这里说，要突破现有能力边界，你必须训练自己的基础模型。我们得说服别人，拥有自己的基础模型很重要。你不能靠微调走向成功，对吧？重大能力来自于训练一个基础模型，然后在微调阶段让它变得准确和有用。

不，实际上这个文档的日期是错的。我们发布它的时候是 2023 年 4 月。我觉得这可能是迁移时出的问题。大概能在 archive.org 上找到。Mistral 和我们是在同一个月起步的，对吧？所以当时甚至没有别的，我记得只有 Llama 而已。但我同意，我认为我们需要尽可能多的思想多样性。而且我确实觉得，如果你今天开始做这件事，你需要一些能给你带来优势的东西。另外，我认为我们有时会过度——我觉得每种架构在极限情况下都能工作，RNN 也能工作。只是计算效率不高，对吧？就像如果你有无限算力，也许用当年基础的 RNN 也能走得很远。当然，现在有了 attention 等重大突破。但我觉得我们在探索这些方面仍然非常早期。我最兴奋的是看到人们做极低精度训练。比如我们看到的 ternary 相关的工作，非常酷。昨天看到的 bonsai 也很棒。如果你能找到我 2023 年的推文，里面就有类似的概念：这显然是一个权衡——更大的模型、更低的精度，等价于更小的模型、更高的精度，对吧？问题只是实际效果如何？实际的大小极限在哪里？现在有公司在尝试解决这个问题。如果做得好，这类事情可以改变我们的行业。因为最终，我们的算力瓶颈是 map model 瓶颈和网络瓶颈。一旦开始做这些事，我就很兴奋。我们目前没在做这些，我们做的是常规的，比如 Laguna S 是用 FP8 训练的。这次训练中唯一不是 FP8 的部分是 all-to-all。昨天刚启动的新一轮训练中，FP8 已经用于 all-to-all 了。那只是截止日的问题，比如我们还没完全放心去做。Nimotron 在 NVFP4 训练上做了很棒的工作。我觉得他们做的被低估了。我很期待进入 NVFP4 训练。但目前还不现实，因为我们还在用 hopper 训练，对吧？我们规模相对较小。我们现在是一家拥有 10K H200 集群的公司，很快会扩展到更多。而且真的会多很多，如果有人考虑申请职位的话。但我觉得，这里面还有太多潜力可挖。希望 Laguna Edge 能向人们展示，这个规模的模型可以做到更多。我们在 8 周内完成了这件事。我们认为任何模型规模都还有更多潜力可挖。我们现在在扩大规模，因为这对公司来说是最优选择。但如果我有无限时间，我很想在其他模型规模上进一步推动能力。

Laguna S，Laguna Small，1180 亿总参数，80 亿活跃参数。所以非常稀疏。它是 XS 架构的扩展。这是经典的，或者说现在可以称为经典了，滑动窗口 attention 与全局 attention 的比例是 3 比 1。这个规模有几个好处。一是成本效率很高。对我们来说，这是一个很好的方式——我们想快速推进进展。我们观察到，在基础模型公司内部，需要在发布模型和推进新研究之间取得平衡。但有了 Model Factory，我们可以把模型发布视为团队时间投入较少的事情，因为只是：在某个时间点，做预训练，完成，应用最新的后训练。所以我认为这是一个不错的重量级。它也能适配 DGX Spark，我对那个小东西有点偏爱。我喜欢看这个小东西跑一个好模型。

是的，我们在去年的 GTC 播客里聊过这个。

不错。

但我最兴奋的是，这个模型希望能向人们展示在这个规模上可能实现什么。因为当你查看 benchmark 并开始使用它时，你会发现我们超越了 2 到 3 倍规模的模型。

是的。而且他们想，比如今天的 thinking 模型大约是万亿参数。

对，没错。而且，顺便说一句，我对这个很兴奋，它刚刚发布。所以对于正在收听的人来说，我在手机上看到了。如果你在哼唱，嗯，2 秒。我还没来得及读那篇帖子。

但不知何故，你不仅在某些 benchmark 上比 Thinki 好，而且在某些 benchmark 上，比如 Tao Bench，你实际上是 SOTA。

我们，你看，我不确定我们在所有方面都是 SOTA。我是说 Tao 3 banking，我没查我们在排行榜上的位置，但我认为在我们的重量级内，我很有信心地说，甚至在一些两倍大的重量级中，我们可能也是 SOTA。我也想补充一点，你知道，目前世界上最好的模型肯定是，给我一个 Fable，给我一个 5.6。正如你之前所说，我们也使用其他模型。

它们必须这样，对吧？这就是他们如何 dogfood benchmark 的方式。

不，你必须使用自己的模型，并且要有自己的内部评估和基准。有趣的是，在新检查点发布后的前30分钟内——也就是预训练后的第一次后训练阶段——你自己就能感受到这个模型的发展方向。虽然你无法确切知道，但当这个模型出来时，我们立刻意识到，哦，这次不一样。我认为这就是最好的例子。但这有点像你的孩子——我没有孩子，但你知道，父母看自己的孩子时，觉得他们完美无缺，充满爱意，却看不到那些粗糙的边角。当你构建自己的模型时，总会这样。最有趣的部分是，你会对自己做的每一个模型都有一点喜爱。我们一直试图强调这一点：这是我们训练过的最差的模型。所以我知道团队已经在着手下一个了，理应如此，因为这是一场竞赛。这个模型是一个时间节点，希望能向人们展示我们对这场竞赛是认真的，我们愿意为此付出巨大努力，也渴望得到反馈，对吧？哪里做得好？哪里还不够？将模型以开放权重发布到世界上的好处之一，就是能获得大量反馈。

你需要进行一些多工具框架训练。尤其是对于较小规模的模型，你需要做一点多工具框架训练，只是为了获得正确的行为，让你在自家工具框架中看到的表现能够迁移到其他人可能使用的工具框架中。我们内部称之为“抛光”（polishing），就像你有了模型后，稍微抛光一下，让它能在其他工具框架中像在自家工具框架中一样良好运行。毫无疑问，它在自家工具框架中会表现更好。这仅仅是因为你把强化学习计算资源投向了哪里，对吧？你把强化学习和合成数据投入到自家工具框架中，因为这是你最了解的，也是最能推动进步的，因为端到端的控制让你能把它做得更好。而将这些能力迁移出去，更多是确保模型能诱导出适量的推理，并理解可能存在于其他地方的一些更复杂、更奇怪的工具调用格式。所以我们确实会做一些我们称之为“多工具框架抛光”的工作。这并非驱动能力提升的核心，但能创造更好的体验。嗯，坦白说，我认为现在每个人可能都这么做，但完全理解为什么自家工具框架仍然会比其他工具框架更好。我认为所有基础模型公司都面临这种情况。当你推动能力提升时，你并不想在强化学习运行中引入10个工具框架来权衡，因为这只会增加复杂性。这是工程上的复杂性，因为当你试图做好科学研究时，当你真正想理解是什么让模型改进时，你希望只改变一个你理解的变量，而不是一个你不了解或不理解的他人工具框架。

对吧？

他们可能有不同的子代理或不同的提示，但方式不同。

是啊，但至少它是开源的。你可以查看源代码。

是的，但时间呢？我真的不能强调这一点。我知道我在这方面可能有点奇怪，因为我有朋友问，我们能见面吗？能做这个吗？能去那里吗？我说，不行，因为归根结底这是一场竞赛，时间才是唯一重要的东西。如果我看着我们的团队说，好吧，在我们构建更强大模型的总体轨迹上，引入什么复杂性是值得的？这能快速泛化到其他工具框架。顺便说一句，我们的模型在其他工具框架上表现也很好。我真的鼓励大家去试试。它表现不错。我们已经在 OpenCode、KiloCode 以及其他工具框架中测试过，比如 Claude Code。

它今天刚被收购了。我看到了。

我知道，没错。

什么都在被收购。

确实。我认为部分原因是，你知道，有一些很棒的东西，我很兴奋。我觉得 Hermes 实际上是一个非常酷的工具框架。

所以我认为，当你向一家模型公司提出这个问题时，可以将其分为两部分，即工具框架。我们有一个非常精简的工具框架。当你查看它时，大概只有6个工具：shell、shellkill、shellwait、write、fetchweb 和 bash。我想我漏掉了一个，但基本上就是这些工具。它非常简单、非常轻量。所以它不是一个旨在在某个基准测试或特定子集上表现优异的工具框架，对吧？它不是一个深度研究的工具框架。因此，我认为那些围绕大量提示、额外数据源和其他工具构建的复杂工具框架，确实能极大地推动模型能力向前发展。但我们的模型在某些编码类任务上仍然比一些这样做的其他工具框架更好，因为它经过了强化学习训练。现在，我确实鼓励人们，我认为我们的模型完全没问题，足够好。差异可能小到没人能注意到，但我们在基准测试上仍然看到一点优势。所以我认为两者都对。基础模型公司会利用自己的工具框架大力推动模型进步，因为坦率地说，这是在改进模型时保持科学严谨性的最佳操作方式。但另一方面，如果有人拿我们的模型，在改进工具框架上做了大量工作，他们应该会超越我们，也理应如此。这只是因为工具框架是模型能力与它所需的额外指令、数据访问和工具之间的桥梁。我认为这最终就是工具框架的本质。随着你构建更强大的模型，你也在改进模型的指令遵循能力。而额外的工具框架只是说，嘿，如果你遇到 X、Y 或 Z，就这样表现。所以即使你会说两个不同工具框架的模型能达到你关心的相同能力，但真正针对某项能力定制的工具框架会做得更高效。这有点像一个人拿到了一份手册，指导如何用最有效的方式、使用正确的工具和数据源完成任务，而另一个非常聪明的人则被告知“自己去想办法”。两者都能完成任务，但前者会高效得多。所以我非常支持世界上所有工具框架的开发。我们也希望与更多工具框架创作者合作，确保如果需要额外的训练或抛光，我们会去做。

我觉得，当你说这是一场竞赛时，问题在于：你在赛什么？是赛谁能做出最好的编程模型公司，还是最好的编程模型加工具链公司？我觉得这是两回事。

或者都不是。所以我们——我们赛的是 AGI。从我们网站上线第一天起，编程就一直是我们关注的重点，而且我们反复说过：我们认为专注于编程和长周期软件任务是通往 AGI 的一条路径，因为它迫使我们解决那些难题。它迫使我们具备处理极长周期、复杂工作的能力，这需要大量的推理、外部工具、数据等等。我可以给你看一个例子——我们会用这个模型做一个网页对话，我个人很喜欢用它来做深度研究。我只是把它用在我的编程工具链里，它从未为此训练过，也从未接触过这些场景，但在我看来它表现得非常好。因为最终技能是会迁移、会泛化的。现在我们没有专注去做的是，确保这个模型编码了全世界最顶尖的医学知识或最顶尖的法律知识。但它实际上做到了。我们不会发布这个 benchmark，因为我们没有时间做充分的验证，但它在 LegalBench 上表现确实很好。至少在我们最初的运行中是这样。我们在发布评估结果时非常严谨，会逐项检查，多次运行，力求极度诚实。所以如果我们对一个内部使用的公开 benchmark 没有投入足够的时间，我们就会直接说不会发布它。

另一种方式就是交给 Artificial Analysis 这样的第三方去跑。

哦，百分之百。我们也会这么做。但这仍然需要时间和精力，对吧？因为你要和对方沟通，了解基础设施的故障、他们使用的工具、配置是否合理等等。但我同意，你绝对应该这么做。我很欣赏像 VALS 和 AA 这样的公司，以及其他在做这类事情的公司。

我觉得这很好。你是第一个提出这个的。

是的，我觉得他们很棒。我很喜欢他们做的很多工作。而且我认为应该有更多这样的公司，请多创建一些评估公司，多做一些评估。这对行业来说非常有价值。

感觉有点像自然垄断，或者说是双头垄断。

嗯，我觉得这是可以被打破的。因为实际上很容易被打破——对很多人来说，做评估不是一件性感的工作，但谁做了，大家都会很高兴得到一个好的评估。如果一个评估构建得很好，所有人都会为之欢呼，愿意为之付费，愿意为此形成金融市场。

是的，是的。我觉得创建评估本身没问题。但说到成为行业标准，比如由我们来运行 TBench，确保你没有作弊，并且用同样的方式运行，而不是你和你的竞争对手各跑各的。

这确实如此。我们需要这个。而且有少数几个标准机构让我们都去遵守，这其实是好事，能让我们都保持诚实。我觉得这非常重要。但我们的目标是打造世界上能力最强的模型。目前我们专注于编程 agent 的能力和长周期工作。但你会发现，在这个过程中你会免费获得很多东西。我一直说，当我们在编程上达到 SOTA 和前沿水平后，再来说"好了，现在我们要用模型工厂来增加我们在医学、法律或其他薄弱领域的数据"，这要容易得多。同样，我们在推理模型上也看到这一点：如果你给模型提供正确的知识来源，并且它们具备强大的推理能力，它们就能很好地进入训练数据中较少甚至未见过的领域。但我们是 agent 模型加工具链公司吗？不，我们是模型公司。不过我认为，今天的模型不可能脱离工具链来训练。这不可能。所以这就像以前只有容器里的权重，现在则附带了 agent 工具链。但我认为，作为模型公司去构建 agent 工具链，和真正在构建 agent 公司的人之间有很大区别。他们能做到的比我们多得多。

是的，理解。我觉得这是我一个小小的反驳点。如果你真的把自己定位为模型公司，那就应该为 OpenCode 而不是为 Pool 之类的东西做最好的模型。与真正的目标——AGI——相比，这其实是次要的。你应该为 Hermes 做最好的模型，因为那是编程之后的下一个阶段。

你看，我们实际上正在和他们紧密合作，因为我认为你必须关注并投入其中。这就是为什么我们做打磨，花时间在上面。而且我认为随着时间的推移，你说得对，你需要平衡这一点。但最终你想要的是一般能力，让所有东西在任何工具链中都能同样良好地运行。

就这个话题，你们和 Hermes、OpenClaw、NanoClaw 之类的有合作吗？Py 不算，Py 是另一回事——

它更偏向编程。不过我得说，我很喜欢 Py。我觉得它真的很不错，我忘了提 Pi。

从 Pool 和 Pi 的角度来看，你听起来最接近 Pi，因为它的表面积最小。

那是因为我——请允许我再发表一个强烈的观点。我已经说了两年了：我认为 MCP 和工具是愚蠢的。

哦，来吧。现在你支持 MCP 了。

我支持 MCP，也支持工具调用之类的一切。但这些东西对我来说完全说不通。我来稍微解释一下为什么，我觉得可能能说服一些人。如果你要处理复杂任务，越来越长的时间跨度、越来越复杂的任务，不管是写代码还是别的什么，你都会和数据源打交道，对吧？你还会和安装在某种虚拟机上的东西交互。而我们现在做的，是在这些东西之间加一层。我们在中间加 MCP，加工具调用。这更多是关于工具调用本身，而不是 MCP，模型其实可以直接写代码和系统交互。我们已经开始看到，比如 Laguna S 就经常这么做。你在前沿模型上也会看到这一点。它们越来越不依赖那种方式了。我们不会再往系统提示里塞 50 个工具。而是告诉模型：这里有一个虚拟机，装了这些二进制文件，这个代码库你可以操作，这个文件夹你可以写东西，比如你的记忆，如果你需要的话。然后模型用代码来完成复杂任务。当它用代码时，不是一两次工具调用，也不是三个步骤串起来。它实际上会开始用 if 语句、for 循环，让事情变得有条件。所以我觉得我们正在从工具调用转向——实际上已经在转向——模型写代码、写小脚本。你在 Python 代码解释器里经常能看到这一点。没错。就像在箭头里写代码然后存到文件里。我不知道你们管那个叫什么，EOF。对，对，没错。你已经看到模型里这种情况越来越多，因为当你用强化学习训练它们时，模型想要自由。它们想用最高效的方式做自己想做的事，而不是在系统提示里调用那 50 个工具中的一个。所以我非常主张给模型一个最小化的框架，越简单越好。给它一个容器，里面有它自己的代码库，对吧？模型的代码库，能访问 API 密钥、数据源、小库和它需要的文档，然后让它自由地去完成任务。我觉得这就是未来的方向。我认为 12 个月后，你不会再看到任何系统提示里塞满二三十甚至四十个工具了。

没意见，不反驳。我觉得这种模式还会被支持很长时间，因为很多人现在都习惯了，但也许你们未来的模型不需要再支持它。不过，是的，如果你能做到，我确实认为写代码更通用，它是达到目的的手段。

我们确实支持工具，也支持——实际上这是我们第一个做并行工具调用的模型，我们之前需要赶上这一点。所以这个功能是有的。但这是我个人的吹毛求疵。我希望模型有尽可能多的自由度，就像，你知道的，自由地去做有能力的事情。

对。那么，这就引向了如何将 Poolside 模型和 Laguna 模型用于我的 Hermes 或 OpenHWA 之类的东西。通常我关注的是计算机使用服务。视觉能力。这是非常重要的一点。你们有一篇博客文章讲这个。但持久性我觉得也是很强的价值点，还有长上下文，你们有百万 token 的上下文。还有其他吗？

对我们来说，Luke，视觉理解是下一步，对吧？我们目前还没有视觉理解。

这些模型目前还没有视觉理解能力。

对。

所以这是我们已经开始努力的方向。我们认为视觉理解非常重要。这是公司的愿景。所以不，我们在这方面还有工作要做。这其实是我喜欢 Thinky 模型的一点，从我刷那篇博客文章的两分钟里就能看出来。

多模态。他们非常致力于多模态，包括音频。

对。

对。

对我来说，这是为什么需要从头训练的最强理由之一：你只是有不同的分词器、不同的评估方式。我完全同意，没有任何分歧。

就像加上模态，别搞复杂了。我觉得我们很长时间内不会碰音频。

确实。对，对。

音频难在哪里？

不是难不难的问题。还是那句话，归根结底是专注。

那很简单。

对吧？对事情说“不”，意味着有研究者和算力可以投入到推动通用进步上。我们的观点是，通用进步来自于让这些模型具备更强的推理能力、处理更长时间跨度的任务。我不认为音频能带来这些。我不觉得它让我们更接近 AGI。我认为当你接近 AGI 时，它是一个必要的模态。我认为视觉理解处于中间位置。我认为视觉理解绝对能做到这一点，而且它还能解锁今天就有价值的能力。但这就是关键，对吧？你需要多样性。你需要更多不同的基础模型公司，专注于不同的事情。我觉得我们就像一匹戴着眼罩的马。就像，对，你有你的路，我们有我们的路。我们想赶上前沿，不想被其他事情分心。

对。我要提一下，其中一个研究分支是 DeepSeq OCR，也就是能不能直接扔掉文本分词器，只用视觉？

我觉得这让我显得很书呆子气。我内心那个技术宅看到这些东西就会想，好吧，我们来数数编码后的比特数，对吧？我觉得这超级酷。但我想我们最终还是要回到现实：它可能确实有效。问题只是，它的计算效率够高吗？它能不能行？我觉得很多这类东西最终都会奏效。只是，你知道，文本的好处是什么——我之前提到过彭明和尼古拉，我应用研究的两位联合负责人，他们非常出色。没有他们和整个团队，我们走不到今天。尼古拉和我已经争论了好几年，比如推理应该在潜在空间中进行，还是应该在词元中进行？但有一件事，我认为他和我，以及我们三个人都真正认同的是，语言之所以不可思议，是因为它是一种极其密集的方式来编码知识、信息和智能，对吧？想想一篇物理学论文，它可能只有二三十页，其中蕴含的智能、机器人技术等等，在那份20页的文档里，用那么少的比特数，编码了如此多的内容。而其他模态，比如视频和图像，虽然也很棒，但它们没有同样的知识、推理或其他我们试图推动的东西的密度，这些东西编码在那种模态里。它们确实存在。在很多情况下还更便宜。你可以在YouTube上看一场50分钟的精彩讲座，但如果你把它当作视频数据而不是文本数据来处理，对吧？比特的信噪比，模态的计算效率要低得多，低很多。所以我们有这样一种观点：用语言，你可以走得很远，但当你计算资源有限、人力有限时，这两者又紧密相关。我认为我们可以推动语言的发展。这是一项更好的投资，但我想要所有模态。我觉得这超级酷，我也很喜欢DeepSeek和其他公司正在尝试的事情。我可以一直转发他们的内容，但在内部，我们只是说，保持专注。

我认为，在这方面，Anthropic做了很多正确的事，但我认为这种疯狂专注于推动能力、扩展模型规模的做法，我完全同意。我觉得这是第一道坎。一旦我们跨过这道坎，我们就可以改进其他很多事情。但同时，在另一个极端，看到人们构建这些空间模型，真的很令人兴奋，对吧？那些正在构建的世界模型，用于非常不同的用例。但我认为最终，所有这些东西会在某个时刻融合在一起。

新的中型模型昨天开始训练了，它比上一个中型模型大得多。这是一个为期39天的预训练运行。

你怎么提前知道天数？只是根据计算模型的因素吗？

对。到了这个阶段，有了模型工厂，就——

然后你会发现其实没多少钱。不，真的没花多少钱。你从“西方的DeepSeek”起步。我认为那就是DeepSeek时刻，对吧？那是人们意识到可以用很少的钱训练出非常强大的模型的时刻。但我认为这是一种误解，对吧？训练运行并不是最昂贵的部分。训练运行本身其实是一个很平淡的事件，对吧？昨天我们只是收到一条Slack消息，说新模型开始训练了，这里是链接，你可以跟进评估结果，就这样。所有为那一刻付出的工作，有点像人们谈论的——我对体育一窍不通，但就像运动员说的，所有准备、所有去健身房的努力，而比赛本身只是一场比赛。我觉得模型训练也有点像这样。

所有那些东西，数据，但不管怎样，Laguna M正在训练，是的，还会有L和XL。你会看到M，对吧？M比上一个M大得多。所以这些名称有点像我们自己的版本——

是啊，谁在嘲笑别人说“小型”是24B之类的？

什么？

我是说，我们的小型模型是118。所以我不想再多说什么了。

我也不想说我们很擅长这个。我是说，这是Laguna，你知道，Laguna S 2.1。

我们有热情。我们很努力。

既然我们在聊命名，这本来要放到最后，但不如现在就问：为什么叫Poolside？为什么叫Laguna？

我们创办公司的时候，本来打算叫Snowball Labs。取自雪球效应，因为我们预计这家公司会产生雪球效应，而对我们来说，它确实一直是个雪球效应。结果发现那是亚马逊的一个商标。我跟你说，我联合创始人下一个建议的名字是，我们叫它Bedrock吧。

所以当时的情况就是，好吧，你在亚马逊的时候确实很擅长起名字。公司成立初期，甚至还没正式注册的时候，我们参加了一家大型科技公司的年度大会。当时我们正在和他们洽谈，你要知道，那时候公司就只有我、联合创始人兼CEO玛格丽塔，还有即将加入的第一位员工，我们甚至都还没正式注册。我们正在和这家大公司讨论类似OpenAI和微软那样的合作模式——他们提供大量算力，我们则给予永久访问权限等一系列回报。就在那次大会上，我们正进行着这种我们本不该有的讨论时，发现"Snowball Labs"这个名字已经被注册了。我们当时就是几个一无所有的家伙，但这家大公司却愿意考虑与我们合作的可能性。我们在他们年度大会的公开场合讨论这件事，该公司的首席科学家说："这里能被人听到，我们换个地方吧，去泳池边的餐厅。"就在那一刻，我和杰森对视了一眼，心里有了想法。那天晚上，那个词一直萦绕在我们心头，我们说："就叫公司Poolside吧。"后来我们也没做成那笔交易，但这个名字一直提醒我们永远不要降低自己的野心，因为走那条路太容易了。真正困难的是我们后来做的事：在硅谷之外，没有任何知名背景的情况下，几个家伙就开始创业，试图筹集巨额资金。所以大家都以为Poolside是因为AGI，大家都坐在泳池边，这个名字很俏皮，我们喜欢它，也显得与众不同。但实际上，这个名字是在提醒我们永远不要降低自己的野心，每当面临选择时，要选择更艰难的那条路。

这真是个很棒的故事。我知道你以前讲过，但我想把它记录下来。我第一次见你的时候就是这样，你让我坐下，在某个酒店里，你说："我们要筹集5亿美元。"我当时就想，然后你跟我讲了整个愿景，最后你真的做到了。我就想，我没什么机会问，你是怎么做到向那些风投筹集那么多钱的？他们在找什么？虽然说是AGI，但他们到底想要什么？

你看，世界确实变了。我们在筹集那5亿美元的时候，大多数投资者还在试图解释这些模型不只是随机鹦鹉，它们会持续发展。我亲眼看到世界从"OpenAI会赢下一切，没人能再建立公司"变成现在这样。Anthropic当时筹集5亿美元也很艰难，这都有报道，他们最终成功了。所以我觉得我们筹集那笔钱的时候，大概是一年半前，世界和现在完全不同。现在的情况是，相信AGI真实存在的人数可能呈超线性增长，或者至少是指数级增长。这很重要，因为如果你持有我们三年前、一年半前的信念，并且寻找志同道合的人——即这项技术将从根本上支撑未来一切有经济价值、科学价值的东西——那么之后的价值函数就很容易理解了：如果你做到了，你就是能构建这种商品的公司之一。多年来，构建这种商品已经不仅仅是构建模型，还包括基础设施等其他方面。所以现在，因为相信的人更多了，结果也得到了验证。Anthropic现在取得的巨大财务成功，OpenAI和其他公司的增长，以及谷歌，都让"产品市场匹配"不再是个问题。几年前这还是个问题：这些东西能有多大？你告诉别人我们行业现在的收入数字，他们会把你笑出房间。现在，问题变成了：世界上谁相信这会是智能的寡头垄断，谁相信这个寡头垄断可以被其他公司打破？我认为这是投资者之间最大的分歧。那些相信AGI的人，还有一层人会自动排除基础模型公司，因为他们觉得投入的钱和投给应用公司相比，回报完全不同。我认为有很多优秀的应用公司，也应该建立很多。但我仍然认为我们处于早期阶段，这仍然是决定谁能成为赢家之一的早期阶段。在我看来，智能将成为世界上需求最大的商品。它的利润率和价格会越来越商品化，而世界需要选择和多样性。所以认为"只有两家玩家"的想法，我认为投资者太短视了。年初这么想的人比现在多得多。过去几个月让很多人醒悟过来，意识到世界需要更多智能，同时也更加复杂。我们应该有多个选择、更多选项、可以关闭的东西，以及人们对模型施加的限制，这也是另一个方面。我们现在进入了一个模型公司说"你不能用我来开发基础模型公司"的世界。他们有权这么做，这是资本主义，这是他们的业务，他们的工作成果。但我们对这种事情习以为常，这真是疯狂。

你对Anthropic这么说更有意见，还是对白宫这么说更有意见？你这里提到了两种不同的限制和约束。

我想这么说吧。随着这项技术越来越强大，无论好坏，我们都希望让民主制度更多地参与决策。我认为任何一家公司单方面做决定都是危险的。这是权力集中在少数人手中，制衡机制非常有限。这在历史上从未以任何形式成功过。这不是对现有基础模型公司的批评，只是我对理想世界的一种看法。我认为，在技术能力越来越强的世界里，政府需要积极发挥作用，判断哪些地方存在真正的滥用风险。而且我确实认为，我们需要把滥用风险和末日场景区分开来。后者没人知道会不会发生。务实地说，我很高兴看到政府层面现在又开始有很多讨论，试图解决这个问题。至于最终的决定，我可能满意，也可能不满意；可能同意，也可能不同意。但归根结底，这就是民主。

在任何时候，我可能对某个决定不完全满意，但人们选择了投票选出某些人来做出这些决定。所以我认为从长远来看，在20年的时间跨度里，世界的大方向是对的，民主是有效的。至少那句名言怎么说来着——它是最糟糕的，但也是所有糟糕制度中最好的，大概是这个意思。

它是除了所有我们尝试过的制度之外最糟糕的组织形式。

没错。

就是这句。你总能指望我引用丘吉尔，因为我研究过他很多。

我喜欢这句。这就是我所期望的。不过，我确实认为我们正处于一个关键时刻。所以，任何人站出来发声都很重要。我认为，那些考虑创办自己基础模型公司的研究人员，那些想表达观点并大声说出来的人——无论是向他们的代表表达，还是在X平台上发声——都应该这么做。但具体到你的观点，我认为目前的能力水平还远未到需要以任何形式限制开放模型的地步。如果现在限制，会损害创新。

有没有一个节点会让你改变看法？

我觉得肯定会有，对吧？你不能板着脸说，这东西可以永远以任何形式开放下去。我认为这和说它现在就必须全部关闭一样荒谬。在任何极端立场上，我们都会犯错，对吧？社会在任何方面都是如此。所以答案总是更微妙的，从来不是非黑即白。因此，当我们遇到现实场景，必须说"嘿，我们得更小心"的时候，我们需要重新评估——是否意味着以不同方式训练模型并开放它，推出不同版本，或者做一些限制。我认为这完全没问题，因为没有人应该不负责任。但我想指出的是，从GPT-3甚至GPT-2开始，就有人一直在担心这些模型被滥用。我还记得有人说"我们不能发布GPT-2，否则整个世界都会被滥用——"

那是Dario说的。

所以这不是对Dario的评论，只是对整个领域的普遍看法。到目前为止，我们在这方面做得并不好，需要改进。我确实认为，安全研究所、更好的评估方法这类工作，大概是正确的方向。

是的。我想为这一点辩护一下：宁可过度安全再回调，也比反过来好，因为反过来是不可逆的决定。

我觉得没错。

对，没错。所以你没法单方面追求安全，因为别人会比你更不安全。

对，没错。

我明白。

这太容易了。

这是复杂的工作，没错。而且我认为，我们最好先讨论那些能够达成共识、国际上都同意限制或不让其可用的特定能力。然后我们再讨论模型是否可用这种非黑即白的问题。一旦你开始做出这种笼统的声明，就会面临风险。我经常想起当初禁止香烟广告的例子。那是好事，我不是反对它，但它实际上确立了烟草公司的寡头垄断，因为其他公司根本无法竞争。那可能是烟草行业遇到的最好时机。我们现在不想重蹈覆辙。如果我们在创新背后筑起高墙——这可能是自私的说法，因为我目前不在前沿，但这不仅关乎我个人，也关乎这个领域的每个人。你现在在2026年，基于当前模型的能力，就决定这只有两三家能公司能造。这对我来说，就像是最反乌托邦的科幻小说第14章。因为从那里开始，你可以推演出世界上所有可能发生的场景。而这些场景没有一个让我对未来感到兴奋。我认为这是我们都应该思考的问题：我们想要一个什么样的未来？我们想要拥有什么？我认为那是一个智能成为商品、人人都能获取、成本越来越低的未来。这很重要，它能影响世界上更多的人。而不是由某一家公司来决定输出什么、何时开启或关闭。

我认为比美国政府权力更大的实体是NVIDIA。因为基本上，谁拿到配额，谁就拿到算力。

我只是想抛出一个挑衅性的说法，看看你有没有回应。

这个我得想想。

我觉得他们是受监管的。

好吧。但你知道，他们不是中国。

我认为这个行业之所以存在，正是因为英伟达所做的一切。没错。我知道人们很容易批评它，但我也想说的是，我记得我们创办 Sourced 的时候，那是 2015 年，在 Karpathy 那篇文章之后，之所以能取得这样的进展，是因为我们能把消费级 GPU 放进服务器里，而他们允许我们这么做。然后，他们又不断推进。所以，基础模型与其硬件和系统紧密相连。为什么我们会看到这种阶梯式的进步？是因为新一代的网络和系统出现了，对吧？在 Hoppers 上训练的模型与在 GB300 上训练的模型之间的差距，就是万亿参数模型与五万亿或六万亿参数模型之间的差距。所以我认为这些东西是紧密共存的。我认为未来更有趣的问题是，我们如何解锁模型能力？比如，当我们开始更深入地协同设计这些东西时，我们正在下一代系统中看到这一点。我认为这个世界，你知道，资本主义非常擅长推动那些能促进更多竞争的事物。没错。英伟达促进了竞争。但如果是政府通过监管说，除了它之外没人能有效构建基础模型，那就完全不同了。打造一个英伟达难吗？当然难。构建一个基础模型难吗？我认为构建一个基础模型非常难，但我们应该创造一个公平的竞争环境，让任何人明天醒来想这么做时，他们被允许这么做，并且可以使用工具这么做。我认为，我们在围绕模型公司的讨论中看到的，与围绕芯片公司的讨论中看到的，仍然存在很大差异。

随便说说。

是的。

我比较兴奋的一件事是，我们越来越多地在讨论，但我觉得还没人真正在做，那就是在强化学习训练期间混合搭配硬件。比如，你想想这个概念，我们在推理中已经看到了，对吧？预填充和解码在通用 GPU 和更专门的芯片上效果更好，比如 Groq 芯片和英伟达的 GPU 结合，LPU 和 GPU 结合。行业里有不同的版本。而强化学习受限于批次大小，对吧？因为你没有无限的任务，所以最终会受批次大小限制。当你拥有整个网络时，你可以更灵活地扩大批次大小，因为你有整个网络。但对于强化学习，你只有 X 百万个任务要训练。所以你无法大幅增加批次大小，这意味着你实际上无法像预训练那样，在强化学习中大规模扩展计算。所以我对任何能改善这一点的事情都感到兴奋。我认为开始改善这一点的最佳方式之一，就是我们在推理中已经看到的，将预填充和解码分离到不同芯片上，并将其应用到强化学习中，对吧？我认为我们很快就会做到。我认为应该有更多人研究这个，因为这样一来，我们就能在强化学习训练中大幅提高效率，从挂钟时间来看，这又回到了一个事实：这是一场竞赛，对吧？竞赛的衡量标准不是有多少 GPU，而是日历时间。这可能是我们现在能加速行业发展的最大影响之一。所以这是技术上我非常热衷并喜欢与人讨论的一点。

是的，我会和 Etched 聊聊。我参观过他们的数据中心，能亲眼看到预填充-解码分离是如何在数据中心中布局的，而且你必须拥有自己的硬件才能做到这一点。

没错。不，我认为这个领域的更多创新就是最酷的事情。我很兴奋，因为坦白说，我们都在想，为什么我们不能在发布前两周完成模型的后训练？或者，在预训练、中期训练和 SFT 之间，以及发布所需的时间上。我目前最大的挂钟时间瓶颈就是强化学习时间，对吧？就是因为我无法进一步扩展它，因为受批次大小限制，我无法添加更多 GPU。最近有一篇很酷的博客文章，展示了用比我们任何人用的精度都更低的精度进行强化学习。我觉得这非常酷。今天是几号？7月15日。所以这篇文章是五天前发布的。我觉得这非常酷。我认为，在保持稳定性的同时，用更低精度进行强化学习。我们目前还在用 FP8。所以我很高兴看到他们分享这项工作并发布出来。这绝对是我在迁移到 Blackwell GPU 后想做的事情。

正是如此。是的。

我快速提一下，有一篇论文对量化级别做了消融实验，他们大致得出结论，4-bit 是最佳点。

这是几年前的事了吧？我想我记得。

我想是一年前。

一年前发布的。

但我觉得，好吧，也许 NVFP4 就是它了。你实际上不能，最低只能到三进制。就这样了。没有太多选择。

嗯，我的意思是，NVFP4 和 4-bit 之间还是有很大区别的，对吧？在可能性方面。但我认为 NVFP4 被低估了。我很兴奋它发布时，能获得那种在范围上的权衡。是的，非常酷。

几个收尾问题。

还有很多潜力可以挖掘。我不想做出太多超前承诺，但我认为我们还能从XS尺寸的模型中榨出更多性能。而且我们在S训练过程中学到了很多，这将使我们能够进一步改进XS这类小模型。实际上，自那以后我们又学到了一些东西，本可以让S变得更好。我认为在我们的领域里，小模型还有很多提升空间。这并不是反对规模扩展的论据。顺便说一句，我认为有一点很好：把一个小模型的后训练方案直接套用到更大的模型上，其实没什么帮助。在任何情况下，你都得重新思考大部分方案。但把一个大模型的后训练方案应用到小模型上，几乎总能带来显著的改进和基线提升。你当然可以进一步微调，但这并不一定显而易见。所以一旦你把大模型做得更好，往往就能快速找到提升小模型的方法。我们能否从小模型中榨出更多性能？Laguna S给了我很大的信心，我认为可以。这又回到了我们之前讨论的话题：关键在于行为，而不一定是你试图提升模型的原始智能。

嗯，我认为我们现在不做这个，部分原因是我们构建这些模型的目的。这些模型是我们研究路径的一部分。你看，Laguna Medium比我们最近发布的两个模型都要大得多，而且我们过去还训练过更大的模型。所以这里有一个工程层面的问题：对于更大的模型，每增加一个数量级，你都会在预训练中学到关于稳定性的新东西。但在小模型上，你可以在内部更快地迭代研究。所以对我们来说，蒸馏到小模型并不能达到目的。这些模型可以说是双重用途的——虽然这个说法不太准确——它们既是我们在模型工厂中衡量进步的标尺，也是可以推向世界的东西。这就是我们不这么做的原因。我们做过蒸馏实验，确实有一些很酷的效果。我认为如果你有大量用户数据，你还可以走得更远。但我认为，保持快速从头端到端训练模型的节奏是有价值的，这样研究组织就能及时吸取教训，而不必等待。这实际上是我们多年来学到的重要教训之一：过去我们模型训练的间隔很长，比如6个月，训练一个很大的模型，等6个月，再训练另一个更大的模型。这样你会把大量改进累积在一起，到最后训练下一个模型时，就像一锅乱炖，你根本不知道哪些成分导致了最终结果。而当你更频繁地训练模型时——无论是后训练还是从头预训练——你就能更好地理解是什么带来了改进。我认为这很重要。说到底，我们仍然没有真正建立起深度学习大语言模型的科学体系。但我们都在试图从实验中获取洞见，正是这些洞见引出了规模扩展定律，带来了改进，让我们能更高效地利用算力，获得更强的能力。

太棒了。我本来想以一点历史收尾。你曾花时间研究过衡量工程团队生产力的指标。现在你如何看待工程团队的生产力？

这很疯狂，对吧？简直是黄金时代。你只需要有一个想法，然后让一个智能体通宵工作就能把它构建出来。

我不知道，对我来说，但你怎么衡量呢？因为在剧场空间里，你实际上是在——

嗯，这是个好问题。我已经很久没想过这个了。

但你很有资格来做这件事。

我会的，不，你说得对。让我花点时间想想。说到底，什么是代码？什么是软件？什么是工程？就是从对最终用户或一组用户有价值的东西——比如一个想法、一个额外的bug修复、一个功能——到交付这个价值的过程。我认为随着这些模型变得越来越强大，我们正在大幅削减中间环节，压缩交付价值所需的时间。最终，对于任何初创公司或企业来说，这个迭代周期才是让你获胜的关键，对吧？如果你能在2小时内修复一个bug，而不是让它积压在待办清单里3周；如果你能在客户电话中了解到某个功能的存在会让他们愿意支付更多、更有价值，然后在一周内而不是一个月内发布它。所以我认为，多年前我们在LLM出现之前关注的那些指标，现在仍然适用。它本质上就是周期时间的概念，但在这里，是从你有了一个对他人有价值的事情要做，到它真正交付给用户之间的前置时间。其他所有指标最终都是这个滞后指标的先行指标，对吧？无论你关注的是代码量、PR审查还是其他什么，都不重要。所以在这种情况下，我们在某些方面已经进展得如此之快，以至于我们可以坐下来，直接关注传统意义上的滞后指标，也就是从传统工单到最终结果的前置时间。在这个新世界里，我可能会关注一个以前没想过的问题：一个人能完成多少工作？如果你看看AI原生公司，它们的工程组织架构和LLM时代之前完全不同。它们通常只由构建者组成，尽可能贴近客户和交付能力，中间没有庞大的团队。我认为这很令人兴奋：一个独立的贡献者就能更接近那个目标。所以我会关注从价值被识别到交付的那一刻，有多少人参与其中。你希望参与的人更少，端到端的时间更短。

好的。那在面试时有没有办法评估这一点？因为这是最浓缩的版本。

我认为常见的答案是自主性。

是的。

一个人能拥有多大的自主性（agency）？我认为在AI能力越来越强的时代，自主性可能成为每个人最重要的品质之一。而且我觉得，你可以从一个人过去做过的事情中看出他是否有自主性，因为如果你有自主性，你就会表现出来，对吧？没有人会空有自主性却坐在那里不行动。自主性的定义本身就是要去实践它。所以，了解人们在生活和职业及个人项目中做过哪些能体现自主性的事情，就很重要。而你个人的经历就展现了惊人的自主性，对吧？我觉得这最终就是过去一年半硅谷流行的那句话：你只管去做就行了。我想这就是你要找的东西。

我觉得让高自主性的人保持一致非常困难，因为他们都想走自己的路。这本来就是重点，对吧？

是的，但我认为一个好的组织领导者，其理念是能够把人们聚集在一起，围绕一个共同的目标。而你想做的，对于任何高自主性的人来说——我觉得自己很幸运，我的组织里就有非常多高自主性的人。我的意思是，模型不是我一个人建的，这一点我怎么强调都不为过。是团队实现了这一切，而这个团队拥有极高的自主性。那么，要把这些人凝聚起来需要什么呢？最终就是一个共同的目标和一套共同的边界。因为如果你允许他们随意行动，什么都能做，那就变成了一个探索算法。这就是我们在大型科技公司里看到的情况，对吧？在大型科技公司的研究中，一切都是探索算法。每个人都可以做任何事，只要你能——然后事情就变成了围绕资源争夺的政治斗争。所以当你说，嘿，这是我们的共同目标，这是我们设定的边界，对吧？我们不做多模态，我们专注于强化学习（RL）。我们做这些事情，而且你在人们加入公司之前就对他们坦诚相告。你知道，你会获得很大的自主权，你可以朝你想去的方向跑。但这些是我们说过的、有意义的赛道。我认为这实际上能激发出人们最好的状态，因为创新来自约束。我们是在相对较少的算力和资金下做到这一点的，相比其他一些公司。我最近经常回想这件事，觉得这其实是件好事。因为那些约束迫使我们在某些其他维度上变得更好，而其他人可能没有做到，对吧？我们购买的外部数据相对较少。

我正想问这个。

没错。那是一个约束，但它推动我们在其他领域改进。类似的例子还有很多。所以我认为，对于高自主性的人，你要赋能他们，让他们对自己所做的事情充满热情，但也要说清楚：嘿，如果你加入这个使命，这是我希望你达成的结果，但这些是我们不会涉足的领域。也许如果你在意那些领域，那就去别的地方吧。

很好。最后一个行动号召。你们在招什么人？

我们在招聘公司应用研究和工程方面的所有岗位。从预训练到评估，再到后训练架构，我们仍然处在一个个人可以产生巨大影响的时代。我认为我们邀请大家加入的理由是——我们谈了很多关于使命和我们的思考方式，但我觉得我们是个人影响力比例最高的地方之一，对吧？不到70个人建成了这个模型，工程和研究人员加起来不到115人，共同完成了这项工作。这是一个非常宽泛的定义，因为我把自己也算在这115人里。所以，能够在一个你认同的使命下做这样的工作，而且每个个体仍然能产生巨大影响。

而且还能发表论文、开源模型。

是的，这些都是其中的一部分。但最终，当今天你可以在加入一个非常大的基础模型公司和——但你是众多员工之一，这并非他们的错，只是定义上分母变得非常大——而我们分母相当小。所以你能获得的影响力水平非常高。而且我认为，坦白说，所有我认识的最了不起的高自主性的人，他们在优化什么？他们在优化影响力。他们在优化影响力，同时也在问：我是否认同这个使命？如果你今天听到了这个使命并认同它，而且你在优化影响力，我认为我们是一个非常好的尝试之地。

好的。我觉得我们就到这里了。这是一个非常棒的陈述。你在只睡了4个小时的情况下表现得非常出色。谢谢大家。所以，你知道，播客评估肯定通过了。

我真的，我的眼睛已经开始这样了。

我想，让你走吧。让你回去休息。

很高兴见到你们。

谢谢你安排这次访谈。我们想把它录下来，因为我们认为这是一个很棒的模型，也是一个很棒的故事。

谢谢。