输出最大化教授 — Anjney Midha, AMP

欢迎，感谢邀请。在 Google，如果你利用——通常有两种利用率指标，对吧，你在这些集群中衡量。一种是节点分配，另一种是 MFU。节点利用率通常是指数据中心中多少比例的显卡被使用。如果这个数字没到 95%——

说不过去，对吧？我觉得在 Google，95% 的节点利用率被视为故障，这是我的联合创始人 Seb 的出身背景，他曾在 Google 构建了 Borg 和 ex-Borg GQM 调度器。在那里，95% 被认为是宕机水平。所以 96% 的节点利用率应该是标准。而大多数单租户集群达不到这个水平。这是第一点。然后 MFU 利用率，我认为当今最佳水平在 60% 到 70% 之间。我觉得这本质上是一个领导力问题，对吧？从根本上说，这是一个对齐问题：资助集群和部署集群的人是否真正对齐？有时理论上是对齐的，但在实践中，从资本到集群管理者，再到衡量产出的人，这条供应链上的人之间隔了太多层，以至于——你听过那个弧度比喻吗？在弧线的起点，如果两条线只偏离几度，那么——它会越扩越大，对吧，在规模效应下。我认为很多集群实施和基础设施，以及很多前沿实验室和其他团队，正在发生的情况是：他们启动了一个计划，这有点像北极星，由一个想做好的团队发起，但他们被要求快速扩展，而不是迭代推进，导致浪费在规模上迅速累积。所以我认为答案我们都知道，就是做迭代式上线。如果你和那些在半导体行业或数据中心行业待了很久的人交流，这并不新鲜。我不认为 AI 应该成为借口。当然，有些东西——什么是新的？好吧，我们有很多新能力，但这不意味着可以抛弃常识。常识应该永远流行。你知道，AI 规模化并不会改变——事实上，如果说有什么影响，AI 规模化应该让常识和基础设施的价值更加凸显，因为现在的容错空间更小，浪费成本更高。

而且浪费的成本不仅仅是经济上的。我的意思是，显然我是一名投资者，或者说过去几年我的背景是投资者。现在我们运营一家名为 Amp 的 AI 基础设施公司。我认为可以这样说：在能力层面，这次确实不同。我们确实获得了前所未有的能力。但这不意味着你可以说这次在所有方面都不同，尤其是基础设施。所以，我喜欢黑客心态和创业者心态。这对初创公司心态很好，但你记得扎克伯格从"快速行动，打破常规"转向"快速——

用稳定基础设施快速行动。我认为现在我们需要用负责任的基础设施快速行动。他们会问：影响在哪里？昨天在我们的课上，GeneralMatter 的创始人 Scott Nolan 来斯坦福演讲，谈到能源瓶颈。他提出了一个绝妙的想法。他说，如果你看计算资源的边际单位经济性，每小时大约 4 美元。如果你要在新社区建设一个新数据中心，为什么不直接说我们每小时收 4.5 美元，然后把那点边际影响或边际增长直接以现金形式给当地社区？我可以告诉你，作为这种计算资源的客户，我会很喜欢。我很乐意在规模上每小时多付 0.5 美元。

因为如果这意味着对数据中心所在社区的公共利益如此明确，我会觉得这种计算资源更可靠。据我所知，今年美国多达 20% 的数据中心面临风险。

无法获得建设所需的社区支持。

是的。不过我认为我们应该深挖这个数字。我觉得有点被夸大了。这些事情可能被过度报道。

电网许可等等。想象一下，如果你说有一个新的 AI 项目，如果我们在你的社区建设数据中心，我们实际上会降低你的电费。好了，这下有得谈了。

对吧？社区会说，好吧，这算个交易。我感觉自己是其中的合作伙伴。

但现在这种情况并没有发生。

会有审计，会有调查。当监管机构来的时候——我不知道什么时候——那些以 AI 进步为名快速行动、打破常规的人最好做好准备。这当然不是我们采购计算资源的方式。我们尽可能与有长期记录的合作伙伴合作，顺便说一句，其中很多并不是 AI 提供商。我认为"新云"这个概念作为一个新类别，很大程度上是营销话术。美国有非常优秀、可靠、值得信赖的数据中心提供商，已经存在了 20 多年。我喜欢这些人。他们知道如何——当然，他们会在 NeurIPS 赞助欢乐时光吗？

他们会明确地遵循"苦涩教训"吗？不会。他们会参加那些"情境意识"派对吗？

但他们是成年人。我信任他们。

他们会跑 LAN、PowerShell。他们有信用记录。我们坐下来聊一聊。他们很多住在硅谷。他们经历过互联网的繁荣和萧条周期。我喜欢这些人，他们是稳定的基础设施合作伙伴和思考者。我认为在计算层有很多短视思维，这迟早会反噬我们。不会有好结果。

在系统设计中，有两种架构模式，对吧？一种是集成，另一种是池化和利用。或者说，提高利用率的方法通常有两种：你可以做系统集成，把很多流程合并到一个节点中；或者你可以从一个节点中抽出一个流程，在多个节点之间共享这个资源。所以我们看到了 Amp Grid，这是我们正在构建的系统，基本上是一个计算网格。我们试图为计算做电力网格做过的事情——

是的，就像电网对电力的作用一样。这是一个跨云的池化和利用层。所以我们实际上与全栈集成方法相反，是超级水平化的。它更加水平化，而且是多云、多芯片的。目标是试图让百万兆次浮点运算像兆瓦电力一样流动。这在今天由于很多原因非常难以实现。比如，到处都有闲置的计算资源池，而且没有可互换性。所以目前我们在调度层面实现这一点，通常也在经济层面实现。但随着我们开始公布正在做的工作，有非常多的人突然冒出来说，嘿，我实际上正在研究如何让计算在堆栈的某个部分变得可互换。作为一个网格，我们希望所有这些人都能参与进来。人们经常问我，Andre，你是NeoCloud吗？我说，不，实际上NeoCloud是供应商。哦，有时他们会问，你是风险投资公司吗？我说，不，实际上他们是需求方，像是网格的承购方。我们把自己看作所谓的独立系统运营商。所以如果你研究电网的历史，一旦很多工厂和工业参与者意识到，嘿，实际上池化是个好主意，我们应该把发电机集中起来，而不是让每台发电机在后院以一半容量运行，那么就需要一个独立的实体来协调所有这些方——输电线路、发电设施、输电线路、工厂——而这个中立的协调机制非常关键。如果你研究电网的历史，最持久的那些往往是从来不拥有自己资产的。它们通常一开始就有长期锚定客户，这些客户是需求来源不相关的，比如某个城镇的一家钢铁厂或鞋厂，它们之间没有竞争关系，钢铁厂想在夜间用电高峰，鞋厂想在白天用电高峰。

所以你们就池化并共享，对吧？这样每个人都能保证一定的基荷，但你们可以安排各自的高峰时段，从而推动整个城镇的峰值利用率。历史上所谓的黄金标准，就是像美国东北部的PGM Interconnect这样的公用事业公司，经过很多年，它们变成了所谓的ISO，即电网的独立系统运营商。这就是我们对自己的定位。

从经济角度看，这就是我们的本质。从技术角度看，我们从调度层开始，因为负责工程运营的Seb和Mihai之前就是做调度的。他们在Google做过这个。是的。

不，Discord是——

嗯，我在那里负责开发者平台。内部基础设施不是我负责的，那实际上是Mark Smith负责的，他非常出色。是的，Discord确实做了很多。所以Discord实际上是一个反例。我想我有机会在那里学到了很多关于全栈基础设施的知识，因为——

那是另一种架构，Discord自己构建了WebRTC语音和视频基础设施。所以Discord没有使用——

是的。是的。在通信方面，Discord没有使用第三方基础设施，全部是内部构建的。然后最大化利用率的方式是从全球超过2亿月活跃游戏玩家那里拉取需求，对吧？这就是那些堆栈的构建方式。再次强调，在系统设计中，反复出现的两个概念是抽象和组合，对吧？

捆绑与解绑，抽象，组合，比如垂直化和水平化。所以从这个意义上说，Amp是电网的独立系统运营商。我们从一些信任的合作伙伴那里拉取需求和供应，规模大约在4年内达到1.3吉瓦。然后我们从一些世界顶级研究实验室那里拉取需求。比如我们有一个Periodic Labs，它们需要非常长期的稳定需求。我们的想法是，每个实验室在网格上都能保证基荷，但它们可以根据需要灵活地上下调整计算需求，时间周期更短。这大致就是我在A16z提出的一个名为Oxygen的项目的设计。嗯哼。这也是Mihai和Seb在Google构建的GQM、Borg x Borg GQM实现的设计，即如何让Google内部团队在内部基础设施上保证基础工作负载的容量？但当他们需要为研究增加需求时，如何确保有足够的资源？当然，在这个基础设施领域，大约三四年前在Google发现（不是发现，而是实现）的重大创新是可中断需求的概念，对吧？你只需排队一批任务，通过某种信用系统，可以有一个竞价机制。

基本上是动态优先级。任务可以根据其他人的需求被中断，比如有人说，我有10个代币、10个信用点想花在这个任务上。另一个业务负责人或研究负责人说，Genie 3只值5个信用点，而Nano Banana 2值10个信用点。所以Nano Banana任务获得优先级。这是个虚构的例子。

是的。

哦，太好了，很棒。

我们的结构本质上与Google非常相似。我们是一家控股公司。所以，Alphabet Holdings是Alphabet Holdings，然后它们有子公司叫Google和——

其他赌注等等。我们有AMP Holdings，我们有基础设施业务，还有一个叫Foundry的资本业务，它孵化新的前沿AI实验室或作为风险投资进行投资。比如Periodic，今年早些时候我们从基金中向Anthropic投入了几亿美元。所以无论我们在哪里看到团队取得进展，特别是那些在现有实验室（如DeepMind）中推动前沿的研究人员，我发现，他们有时会感到与Alphabet Holdings的独裁体制不合拍。到了那个点，有时独裁体制就不再需要他们了。

然后他们说："谢谢你，你的任务完成了。你帮我们走过了从零到一的阶段，但出于某种原因，我们要降低优先级。"放弃你那出色的Omni模型或其他什么，转而优先做编码。我觉得这很可惜，但我能理解。Sergey和团队在经营自己的业务，但这并不意味着我们其他人就该坐等这些进展为全世界和全人类解锁。想想过去十年DeepMind内部产生了多少非凡的研究，Demis、Sergey那些人做得非常出色。但到头来，其中很大一部分从未见光。

更糟的是，现在连论文都不怎么发表了，因为DeepMind内部有六个月的禁发期，对吧？我们听说过这种情况：一篇论文出来后，有六个月的禁发窗口，如果业务团队里有人说这可能有点意思，那就永久禁发了。

基本上就是逆向选择问题，是的。到了这个地步——

再说一次，我觉得这很可惜。我理解，他们在经营自己的业务，但整个领域来看，研究被囤积会产生负外部性。所以存在市场失灵，需要有人来解锁这些研究，而我们靠自己做不到。我们只有1.3吉瓦的计算能力。这根本不算什么。大约相当于400亿美元的云服务支出。我们还需要更多。顺便问一下，这个数字——

那很大。是的，需要说明的是，我们还没全部拿到手。这只是我们开始争取的需求量。我想公开来说，我们还没确认今年实际拿到了多少。

我认为稳态是，我们始终拥有1.3吉瓦的基础负载容量。对于峰值容量，目前我的估计是大约需要6吉瓦。在未来四年内，让我们所有团队都能感觉他们可以持续推进各自领域的前沿，无论是超导体发现，还是我们正在做的一项新投资——医疗领域的临终预测。你能给予人们的东西是惊人的。这其实是我研究生时期的工作。我在斯坦福医学院读生物信息学的研究生。

我知道我们——

所以我当时是个很奇怪的家伙，对自己的专业选项总是不满意。有一阵子我学经济学，然后学计算机科学，然后学MCS（数学计算科学）。他们后来决定取消那个专业。所以我修完了所有课程，把它们应用到研究生阶段，读生物信息学的硕士项目。然后我以为自己会读博士。但最终没读成，我退学了，去了Kleiner工作。不过我很幸运，在斯坦福医学院跟一位教授当学徒，他叫Nigam Shah，当时在研究临终预测。斯坦福是美国少数拥有大规模纵向患者数据集的研究机构之一。我认为至少有1200万患者记录。唯一更大的数据集是VA（美国退伍军人事务部）。要在这个数据集上做研究，比如做深度学习之类的，当时它叫STRIDE数据集，你必须得是斯坦福医学院的附属人员，所以我去了生物信息学系注册。

你看，深度学习当时还很早期。Nigam Shah有远见，能看到可以用临终预测来帮助姑息治疗。在美国，当时至少超过30%的医疗保险和医疗补助支出花在临终护理上。而且，你知道，我们在亚洲长大，所以我们都——至少我不代表你——但我对死亡的态度，和我在美国长大的人很不一样。在美国，精神上和文化上，尤其是在西方社会，基督教传统把死亡视为终点，有审判日之类的。我们看待死亡的方式是终结性的。在印度文化、印度教文化中，死亡只是——

你是佛教徒，是的，所以它只是多世旅程中的一步，对吧？我在印度南部一个叫金奈的城市长大，当人去世时，人们会在街上跳舞。你知道，会有游行队伍，遗体被抬去火化，家人会庆祝，有鼓声之类的。这是件大事。因为观念是你会转世。你从这一生的责任中解脱了，现在进入下一世。这是一次新的冒险。就像去一所新大学之类的，对吧？所以当我作为本科生来到这里时，医疗系统基于相反的假设运作——我们必须把死亡视为终点，要延迟它、推迟它，这是件坏事——这让我感到非常陌生。当时，美国的临床决策支持是一个非常原始的领域。即使到今天，美国的医生常常会告诉你，当你得了绝症时，我们诊断了你，这很好。我们的诊断能力非常出色。你大概还有6个月到6年的寿命。你拿这个信息怎么办？

误差范围太大了，以至于在不确定的时候，我们会默认依赖文化。而当文化认为这是件坏事，我必须延长生命时，你就会开始做各种事情。从系统角度来看，这里的情况是，医生常常觉得他们必须给出很大的误差范围，因为临终诊断总有一些不确定性。如果你给患者提供了错误的诊断或建议，你可能会被起诉医疗事故。然后你的执照可能被吊销。这对你的职业生涯可能是灾难性的。相比之下，在那些没有这种情况的国家，你常常观察到的是，医生对建议非常明确。他们会说，嘿，这是你的情况。文献显示你大概还有这么多时间。我的专家意见是，你是个例外或别的什么。他们会尽量给出更明确的建议。这能赋予患者力量，对吧？因为患者可以说，我相信我的医生。他们说平均我还有6个月寿命，但如果我做了这些事，由于我的特定体质或遗传史，我可能还有机会。这让你能更科学地安排生活，而不是依赖宗教、文化、灵性等。相比之下，在这里，因为医疗事故的阴影笼罩，医生从不给你明确的建议。

所以你会说："好吧，医生，那我们就全都试试。"然后你开始一大堆药物和疗法，接着往往要在医院里待上好几周，生活质量直线下降。而当生活质量下降时，你本应和家人一起做喜欢的事度过最后几天，却只能躺在病床上。这最终占了医保和医疗补助计划30%的开支。所以这对病人更糟，医生也感觉很糟糕，美国纳税人则要支付巨额费用。这就是为什么斯坦福教授Nigam Shah说——我当时坐下来和他聊过。那时我才21岁，是个年轻人，我说："我想解决一个大问题。"他说："大问题就是临终关怀。"于是我们尝试用深度学习——我们开始在这些经过处理的病人数据集上运行深度学习，想看看能否让AI系统做出比人类精确几个数量级的预测，判断一个人在确诊绝症后还剩多少时间。如果精度足够高，就能赋能病人。结果发现技术是可行的。一旦有了数据集，强化学习（RL）就能工作，说实话，连回归模型都行。不需要搞得太复杂。当时我们只是跑一些非常简单的神经网络。

今天，我们用RL能做到的事已经非常惊人了。但问题从过去到现在一直是监管。因为你实际上无法把错误临床诊断的责任从医生转移到AI系统上。所以那时，大约10到12年前，我相当失望，因为我觉得自己没有资源去影响监管。今天我很幸运，处境不同了。我年纪大了不少。所以我花了很多时间在我下一个孵化项目上——如何通过训练AI模型更精确地预测临终时间，来解锁病人赋能。

过去14年里，我没有一天能把这个念头从脑子里赶走。这是我愿意为之奋斗到底的事。不过，我也得说，我其实更愿意不死。

但我认为美国有两件事应该是两党共识的：一是如何用科学赋能病人，让他们在生命末期做出正确的临床决策，从而减轻纳税人的负担。这只是好的老科学，AI可以帮忙。二是净正效益的数据中心，因为我认为这是训练足够好的AI模型来帮助临终病人的最大关键瓶颈。所以这其实是同一个扩展瓶颈曲线的两面。我们成立了Amp作为公益公司。我和我妻子，你见过Viv的。

她的热情在教育。她家世代是教育工作者和物理学家。所以这门课是我试图不再当家里的异类，成为一名教育者的尝试。但如果我不做教育，我就会去研究这两个问题，无论是在政治领域，还是作为研究员回到斯坦福的某个实验室。我希望如果有听众在听这期播客，并且对这两个话题有热情，我很想听听他们的想法。我们可以在节目说明里分享联系方式，我们正在寻找加入这两项使命的人——无论是政治方面，还是医学和研究方面。

你是指这门课？

对。

有，有。从工程角度来看，很简单：输出最大化。

就是输出最大化部门。

没错。我非常相信最优结果。我认为在美国和其他国家，我们正在失去对细微差别的欣赏。AI也是同样的情况，对吧？"苦涩的教训"成立。好吧，但这不意味着你扔50万个GB300到次优的模型扩展中，浪费大量算力。也不意味着最优方案是搞50种不同架构，却没有足够的标准化。Anthropic之所以有非凡的速度，原因之一就是他们选择了Transformer（变换器）架构，说这很简单，我们加倍投入。

现在幸运的是，有足够多的投资进入这个领域，我们负担得起其他架构。但在当时，投资过于分散到其他架构上。所以这可以说解锁了扩展。所以我认为有一种哲学。我认为我们都应该在全球层面上，用AI这个新能力来做输出最大化。如果我要在斯坦福创立一个新部门，取决于我想多模糊或多技术化，我可能会叫它对齐部门。

确实。但对齐真的是一个难题。我认为当你解锁它时，全栈对齐在任何组织、任何系统中都极其困难。比如在风投公司里，如果你能在有限合伙人和创造价值的创始人，以及最终拥有IPO股票的公众之间实现全栈对齐，那就是一份不断给予的礼物。当你研究这些系统的历史时，它们通常从小规模开始，反馈循环非常紧密，所以对齐是存在的。

然后你越试图扩展，劳动分工就越多，专业化也越多。每一步你都在添加抽象层。只要有API接口，就有损失，有通信损失。所以我认为一件很酷的事是，我们能否找到一种方法，作为工程学科，既能拥有蛋糕又能吃掉它？有没有办法在扩展规模和范围的同时，不失去任何对齐，不产生有损传输？

标准是一种方式。另一种方式是你拥有全新的能力。比如，我们在这里试图做的是发现新的超导体。室温超导体将是一种无损的能量传输机制。我的意思是，我们会有飞行汽车。

是的，在拥有新的室温超导体后的几年内就能实现。所以我认为就是这两条路。你要么在协议或API规范上标准化，实现无损通信；要么带来一种全新的能力，解锁如此多的富足，以至于标准化不再重要，因为你只是解锁了全新的容量。这就是我最近每天都在思考的事情。

对，对。

哦，我觉得 Evan 很棒，而 SF Compute 正是那种我希望我们能加速推进的努力。因为通常的情况是，这些交易很难达成，很难启动起来，对吧？它们往往需要克服很多问题：各方之间存在效率低下的情况，有信任边界带来的低效，还有基础设施上的问题——因为你无法信任堆栈的某一部分向另一部分开放可见性。还有资本市场上的低效，运营上的低效。所以如果你能向系统注入一股巨大的算力需求或供给冲击，就能加速这些新飞轮的形成。所以我希望有一天，或者说很快，如果 SF Compute 需要额外容量，或者有多余容量，他们只需接入这个网络，就会收到来自我们的大量需求。

另一方面，如果他们需求很大但供给不足，同样可以接入网络，这是一个双向协议，他们可以直接接入我们的容量。我觉得我们离这一步并不远。目前我们的实际实现主要是在一组实验室、大学和少数可信的参与方之间进行，他们都感觉目标一致——借用一下这个被用滥的词。但我们的希望是，这能成为一个开放协议，任何人都可以接入。

两者都有，是的。不幸的是，过去六周发生的情况是，我们原本以为到今年年底会有大量多余容量，结果全没了。

是的，全没了。所以我的短信里全是朋友的消息。我们认识很多人，这些是在旧金山筹集了数十亿美元的创始人，他们问：接下来几周你能搞到 50 个节点吗？

对。

是的。

我不这么认为。实际上，Rainer 就是个很好的例子，对吧？Rainer 是 Matex 的 CEO 兼创始人。我今天早些时候请他到课堂上做了办公时间交流，他提出了一个我之前没考虑过的见解：当他们决定为数据中心选择标准时，他们选了 NVIDIA 的参考架构。所以 Matex 的芯片可以直接插入任何计划部署 NVIDIA 的站点。

而且——

从输入输出 I/O 的角度看，它的占地面积和 NVIDIA 机架是一样的。这很合理。据我所知，他们在系统协同设计上做了很多创新，而很多收益正是来自这里。所以他选择了——他说："Anj，你知道，当你创办一家新的芯片公司时，有太多工作要做。你不能在所有战线都开战。"所以我问他：你在开发这款新芯片，明年就要流片了，你打算和谁合作来托管这些芯片？他说，谁愿意托管就托管，这不是我的重点。我说，但你怎么——回到我们之前关于系统设计的问题——他决定不想做完全集成的芯片供应商，他们专注的瓶颈是逻辑芯片。他觉得通过协同设计可以在那里榨出大量性能提升。但那就意味着，就像我们之前的问题，他把数据中心提供商视为堆栈的不同部分。所以他依赖生态系统的那个部分来托管他的芯片，从而将性能提升传递给客户。这样你就多了一层抽象，可能会有损失。所以我问他，你怎么防止损失？回到你的观点，他说，我就选了 NVIDIA 的标准，因为我不想——我想搭上现有协议的便车。NVIDIA 的好处是，它的参考架构是公开的。

是开放的，他们已经发布了。所以 Jensen 实际上让像 Rainer 这样的人能够创办像 Maddx 这样的芯片公司。我不认为他们是竞争关系。算力需求太大了。我觉得 NVIDIA 无法满足生产需求，所以我们只是需要更多芯片。而且我认为 Maddx 的做法非常聪明，他们说不打算在数据中心设计上创新，因为实际上，感谢 Jensen，你已经完成了所有艰苦的工作。我们可以在其他地方创新。我认为这非常健康。我觉得这就是我们解锁新瓶颈的方式。我的看法是，像 Maddx 这样的芯片团队，如果意识到协同设计是出路，他们主要的瓶颈就是信任边界。要做好协同设计，你需要尽早看到下一代模型架构，因为流片需要两年时间。所以如果我把芯片推向市场时，你的模型架构已经变了，我就完蛋了。当他在 Google 内部时，他坐在 Gemini 团队旁边，他参与过 Palm 或其他项目。

所以当你在 Google 的信任边界内时，你的系统协同设计循环非常紧密。当你作为创始人离开时，你承担的最大风险之一就是现在你处于信任边界之外。所以我喜欢做的事情是，帮助那些能帮我们为独立生态系统解锁更多容量的芯片团队，让他们获得信任。因为如果我从第一天就参与一个实验室，我有幸与 Anthropic 合作过，然后我又是 Mistral 的董事会成员，Black Forest Labs 也起步了。我想现在我在六七个不同的团队里。

不，我一次只深入一个团队。

不，那不是——

那是一个五个月的行政职位，当时 Waylon 和 Anastasios 即将博士毕业，他们不需要产品团队。所以我帮忙招聘了工程、产品和设计负责人。但 Anastasios 一直是那家公司的 CEO。我只是临时顶替。我是个实习生，当了五个月的 CEO 实习生。

你看，他厉害的地方在于，如果你看他的产出，他是个产出最大化者。他去年才博士毕业，但发表的论文引用量已经超过比他年长一倍的人。同时，他还启动了一个叫 LM Arena 的项目，作为副业，已经有数百万人使用。

一次又一次，我意识到风险投资人很不擅长把人看作动态的个体——

所以当我第一次被介绍给 Anastasios 时，有人告诉我："哦，他很棒，但你知道，他是个研究员。"

我说，什么？你说他是研究员是什么意思？

你是说文化才是最终的护城河？

嗯，但问题在于文化非常脆弱。所以护城河，我觉得真正能称得上护城河的东西其实很少。这个概念不错，但在现实中，你必须不断滋养你的文化。你知道，Ben Horowitz 周二在 CS153 课上发言，我问他关于团队文化瓶颈的问题，因为现在有好几个 AI 团队。

《创业维艰》。但更具体地说，现在很多 AI 实验室资金充足、算力充足，却还是无法交付任何像样的产品。然后你开始看到人员流失等等。我的诊断是，问题出在文化上。所以我问他，Ben 是 AI 实验室最激进的投资者之一。他提到的一件事让我印象很深。我以前在 a16z 工作时，会订一个会议室，那个会议室外面就是厕所，因为那是我在 Zoom 会议间隙最快上厕所的方式。

事后看来这不太健康，也许说得太多了。但总之，那个会议室外的墙上印着一句话："文化不是一套信念，而是一套行动。" 这是日本哲学家 Bushido 说的。如果你不再采取那些能证明你与团队、与世界所承诺的使命一致的行动，你的文化就会开始瓦解。所以它其实不是护城河，我会说它是一种非常脆弱、易碎的东西，需要像照料花园一样每天打理。但如果你找到了维持这个花园的系统——我认为这最终归结为认识你自己，因为如果你真诚自然，你会毫不费力地做出一些取舍，这些取舍会强化你的文化。然后这就变成了别人很难追赶的东西。在 Anthropic，从第一天起，就有一种传教士般的热情和信念：嘿，这些能力会扩展。这些系统是随机的，不是确定性的。会有误差范围。在我们破解可解释性之前，存在风险。

到了某个时候，人们不会只用 Claude 来写代码。他们会在一些关键任务场景中使用它，然后它可能产生一个 bug，人们就会来指责他们。他们希望站在历史正确的一边，表明：是的，这是一项强大的技术。我们认为它会改变世界。我们想非常审慎和科学地承认：嘿，各位，这些是统计模型。统计就是这样运作的。最终，当你训练神经网络时，它只是一个统计系统。我认为，安全很重要的信念，在早期可能看起来像玩具一样。有时候，你可能会说，Anj，他们完全夸大了风险，比如两年前他们说不要发布 Claude 1 之类的。好吧，也许事后看来是这样，但事后诸葛亮谁都会。在当时，他们不知道那个模型会被如何使用。对他们来说，如果有人来说"你们不负责任，这写了个 bug"，那感觉就像生死攸关。相关的责任是巨大的。那么如何防范呢？日复一日，你说安全、安全、安全、安全。当你开始偏离时，团队会问责你，世界会问责你。我认为随着时间的推移，这就会变成护城河。到了某个时候，这条护城河会受到挑战，然后它又会变得脆弱。我希望它能持久，因为这就是由创始人掌舵的美妙之处——他们可以做出非常艰难的取舍来对齐使命。最难的部分是在最初期，当你还没有一群人一起经历困难、压力和危机时，你的文化就无法被足够清晰地定义。这正是我现在担心的——太多资金涌入这些实验室，没有艰难困苦，没有——

没有人知道。而事后看来，这对 Anthropic 来说是一个优势，而不是缺陷。那些说"不"的人，那些说"抱歉，我们都在投资 OpenAI"的人的数量，就是竞争差异。它迫使你真正理解：你愿意为了什么而牺牲一切？什么是 P0？他们从第一天起的 P0 就是编码。原因、机制、系统是：如果我们攻克了编码，我们就能攻克 AGI。我们的使命是 AGI。我们想安全地到达那里。如果我们专注于编码，这是一种非常通用的强大能力，可以加速计算机上的各种工作。如果我们能加速计算机上的各种工作，我们就能到达 AGI。因此，他们不得不拒绝很多其他东西。这里，超导是使命。编码不是使命。所以我们用云。我们用云。我们不在乎那个。使命定义一切。我认为那些能太快、太早筹集太多资金、不必定义 P0 的团队——因为当你资源稀缺时，你只能投资于那一个东西——这些文化最终会变得最脆弱、最易碎，甚至几乎无法起飞。

当然。

老兄，这里？你疯了吗？不。好吧，嗯，从技术层面来说，是物理学。就是现实本身。

有。当时，Liam 是 ChatGPT 的联合创造者，Doj 是 DeepMind 的 Demis 的隔级下属，他创建了基因组学，这是 DeepMind 最重要的工具之一。那时我是斯坦福物理系的访问科学家，我们开始用前沿模型在物理和科学能力上进行基准测试，结果它们表现很差。它们在论文摘要之类的事情上做得不错。但如果你说，嘿，你能分析一下凝聚态物理实验室出来的科学数据吗？我当时在斯坦福的凝聚态物理组。它们糟糕透了。所以 12 个月前这并不流行。我不细说了，但就在几个月前，有人表示想加入公司。然后他们出于某种原因，接受了别处的工作。他们有点食言了，去了一个给更多钱的地方。然后我们有了技术突破，创建了一个像样的系统，然后——好吧，我很兴奋。是的，是的。

然后他们想回来，我说，不，没门。如果你来这里，你已经有过机会了。你已经有过了。

当然。

你知道，我相信第二次机会之类的，但时间需要治愈。有些伤口会留下深深的——对他们来说会留下深深的伤疤。但因为我 24、25 岁就开始创办公司，经历了背叛和戏剧性的整个循环。所以你意识到，硅谷既是一个非常传教士式的地方，也是一个非常雇佣兵式的地方。有时候人们会失去理智。当大笔资金介入时——从大局来看，这些钱其实很小。比如，我想你是在拿——

我就是个街头混出来的野小子。你看，我在瑞希山谷长大。那里简直是强制苦行主义。吉杜·克里希那穆提创办那所学校时就说，你要睡在硬石板床上。我的床垫就这么薄，你知道吗？你是在新加坡长大的。我到了新加坡后，参加了一个奖学金项目，这项目很棒，我非常感激新加坡政府。但我当时在圣安德烈初级学院，宿舍在文庆地铁站附近——

那是个过渡宿舍，因为他们正在波东巴西的SAJC校区建一个漂亮的住宿园区。我们是最后一批——大概是倒数第二批——住在过渡地点的，那地方挺旧的，我记得以前是外来劳工住的。

没错。所以我11年级和12年级时，睡在一个只有这么点大的卧室里。真的，从这儿到那儿。上下铺。这边一个上下铺，那边一个上下铺，上面一个，这边还有一个。然后这儿放洗漱用品和衣服。有人爬上那边的床时，这张床就会晃。天哪。我有个室友来自——那经历真的很棒。我每一分钟都很享受。我的室友里有个来自中国的顶尖Dota玩家，一句英语都不会说。我很喜欢他，人特别好。说真的，所有新加坡奖学金生都很优秀。

不，我的意思是，我不需要太多就能在生活中感到快乐。你知道，经历过那些之后，钱有时候只是我们衡量自己的一个方式。但当它不再只是副产品，而是变成衡量标准时——这有点像古德哈特定律——它就失去了意义。

没错。

随时奉陪。

见到你真好。改天一起去吃鸡饭吧。

好。

我没收到邀请？

好，完美。行，谢谢。好，谢了，兄弟。再见。