Dylan Patel:到2028年,Anthropic与OpenAI将拥有全球大部分算力
Dylan Patel – Anthropic & OpenAI will have most of the world’s compute by 2028
Semi Analysis创始人Dylan Patel在播客中讨论AI算力集中化趋势。2025年全球资本支出超1万亿美元,预计2028年超2万亿美元。OpenAI和Anthropic今年新增算力占比约30%,明年将达40%-50%,2028年底合计或超100吉瓦。两家实验室已开始盈利,Anthropic每兆瓦收入达5000万美元。中国2028年AI算力预计约30吉瓦,2029年新增可达50吉瓦。
好的,我再次请到了Semi Analysis的创始人Dylan Patel。我们每年一次的“家庭感恩节晚餐”就是这档常规播客。实际上我们并没有血缘关系。
别告诉听众这个。
那会打破神话的。给我讲讲吧。基本上,世界经济的走向越来越取决于实验室经济的走向、计算市场的走向等等。所以我想了解几年内这个疯狂未来会走向何方。但让我们先从今天的现状开始。给我讲讲目前实验室的计算能力和收入情况,再展望一两年。
好的。回顾去年,即使到年底,美国GDP增长的大部分都来自AI基础设施。展望今年,新增计算能力中约有三分之一流向实验室,即OpenAI和Anthropic。这些设施可能是由其他方建设然后租给它们的,但最终客户是它们。展望未来,计算数字会急剧膨胀,对吧,我们今年资本支出略超1万亿美元。到2028年,将超过2万亿美元。实验室所占比例也在不断增加。最终你会看到一个非常有趣的情况:实验室从每年花费数百亿美元的公司,变成每年花费数千亿美元,甚至预测到本十年末每年花费数万亿美元。这至少是它们已经开始与合作伙伴签署的部分合同。这要求它们的经济模式发生重大重塑,对吧?到目前为止,它们大多是亏损的公司。Anthropic在第二季度开始盈利。据信在第三季度的某个时候,OpenAI可能会开始盈利,即使Kodak和5.6等大幅增长。但如果回到一年前,它们所有的钱都是风险投资资助的亏损,对吧?即使回到今年年初,也是风险投资资助的亏损。它们现在已经转危为安,实际上开始盈利了。这并不意味着它们不再吸收新资本。新资本仍在流入以进一步加速增长。但最终,它们越来越多的业务是由自身收入资助,而不是资本注入。在过去一年半里,它们的利润率确实飙升了。你知道,计算的基础成本大约是每兆瓦1000万到1300万或1500万美元。现在最有趣的一点是,以前,它们提供服务时——比如GPT-4在NVIDIA Hopper GPU上运行——对OpenAI来说是负毛利率。但现在OpenAI提供GPT-5.6或Anthropic提供Opus-5或Mythos、Fable-5时,它们的收入生成已远远超过每兆瓦1000万到1500万美元的增量成本。以Anthropic为例,收入已高达每兆瓦5000万美元。这使它们能够做到的是,嘿,如果我花10美元在推理能力上,实际上能产生50美元的收入,然后我可以把所有这些利润增量用于训练。
我非常想了解的一点是,你如何看待计算能力在实验室的集中化,或者流向世界与流向实验室的计算比例。如果现在边际计算的三分之一流向实验室,到什么时候世界增量计算的一半以上会流向实验室?到什么时候实验室基本上掌握世界绝大部分计算能力?
好的。今年年初,OpenAI和Anthropic分别从2和不到2开始。到今年年底,两者都超过5。所以它们整体计算能力增长了3到4倍。看新增计算能力,今年新增的约30%流向它们。展望明年,鉴于已经签署和敲定的合同,情况会更加戏剧性,对吧?Anthropic和OpenAI明年将占据高达40%到50%的计算能力。这种集中化似乎没有放缓或停止的迹象。事实上,它看起来只会加速。不过,为它们建设计算设施的方会改变。明年,一个大型新进入者,比如SpaceX,正在建设大量计算设施,并积极计划将相当一部分租赁出去。最可能租给Anthropic和OpenAI,因为它们是那些有边际能力支付最高价格的方。此外,OpenAI和Anthropic也开始自建计算设施。OpenAI用自己的芯片,Anthropic用从Google购买的TPU,并通过FluidStack部署。所以当你问,嘿,什么时候世界新增计算的一半会只流向OpenAI和Anthropic?我的意思是,到明年年底,新增计算的一半已经流向Anthropic和OpenAI了。
因为计算增长如此之快,增量计算基本上将构成大部分计算。所以你说很快,也许一年半或两年内,世界大部分计算将由两家实验室拥有,或者至少服务于两家实验室的需求。你认为——存在这种趋势,世界计算(以吉瓦计)每年翻倍,但前沿实验室的计算每年增长三倍。如果保持当前趋势,从今年年初的2到今年年底接近6。乘以3,到2027年底是18,到2028年底是54。你会不会觉得,好吧,到那时它们根本无法继续三倍增长,考虑到世界计算的总量?或者你如何看待未来几年世界计算的状况?
好的。如果今年新增计算30吉瓦,明年50吉瓦,后年大约70吉瓦,你会看到这个非常有趣的现象,那就是,好吧,今年部署的新瓦特比两年前部署的瓦特效率高得多。所以实际上,今年部署的计算占世界总量的巨大比例,即使瓦特数没有翻倍。我在部署GB300、TPUv7和Trainium3,这些芯片每瓦性能比上一代高出3倍、5倍。所以最终你有一个巨大的阶梯。如果Anthropic和OpenAI明年占据45%的计算,假设到2027年12月,它们已占据世界新增计算的一半,但那一半新增计算的实际性能高于之前所有计算。所以还有另一个乘数。到2028年底,如果这种趋势持续——我看不到任何阻止它的因素——它们将独自控制世界上大部分可用算力。
我困惑的是,如果我们进入一个计算价格和价值大幅上升的世界,你为什么认为2028年只增加80吉瓦?
那是上限,顺便说一句。那是我非常看好的情况,对吧?
好的,让我们来推理一下。几个月前我采访你时,你说要制造一吉瓦的Vera Rubens,你需要,是什么来着,需要55,000片N3晶圆、6,000片N5晶圆和170,000片DRAM晶圆。我不记得那些数字了。
我要调侃你一下,但你说“晶圆”的方式实在太蠢了。
顺便说一句,我们刚搬到美国那会儿,我“VEW”问题挺严重的,而且我还是个素食主义者。
素食主义者?我记得你跟我提过这事儿。
在北达科他州,我上小学的时候,就会说“能给我来个 wedgie 吗?”“能来几个 wedgie 吗?”总之,那就是为了 1 吉瓦,对吧?没错。现在我让一个 LLM 跑了一下你的晶圆厂设备模型,算算每年要生产大约 1 吉瓦的计算能力,需要多少工具、工具成本是多少。结果大概是 30 到 40 亿美元。假设再加上洁净室、厂房外壳等等,那就是 60 亿美元的晶圆厂资本支出,每年产出 1 吉瓦,而 1 吉瓦现在能带来 1000 亿美元的收入。而且,这 60 亿美元的资本支出每年都在产出 1 吉瓦,这 1 吉瓦每年都在产生 1000 亿美元。所以即使按 5 年来看,第一个吉瓦已经产生了 5 年的利润,第二个吉瓦产生了 4 年的利润,以此类推。60 亿美元的晶圆厂资本支出最终会带来超过 1 万亿美元的终端收入,也就是 AI 收入。
对,但中间有很多运营支出,还有其他资本支出,比如数据中心、电力,还得付给 OpenAI 研发费用。这里有很多人需要分钱。不过,这确实是个巨大的——
就算把这些中间环节拿走一半,那也还是 100 倍的差距,在晶圆厂资本支出和终端收入之间。实际上还不止,但我们只是保守估计。所以,这就是资本主义,对吧?你会想,人们肯定会发现,我们正处在一个能把 1 美元变成 100 美元的巨大差距里,他们不可能不想办法造更多镜子。
我是说,他们确实在这么做,对吧?只是这些镜子需要时间烘烤,对吧?
但缺口太大了,Anthropic 和 OpenAI 都在说,我们现在就能赚一万亿美元,但瓶颈就是 ASML 机器里的那些镜子。如果我们砸 1000 亿美元进去,怎么才能造出更多镜子?这就是我们很快要面对的局面。我只是觉得,我们没法解决那个供应瓶颈,那真的很难想象。
不,肯定有——你见过有人在这里做有趣的套利,他们买涡轮机然后转卖,因为涡轮机的价值高得多,因为它是数据中心的瓶颈。你知道,我觉得如果谁有 4 亿美元,还能说服 ASML 卖他们一台 EUV 光刻机,那绝对应该去买一台,然后等着,等着,再以超过 10 亿美元的价格卖掉。没错。但最终,资本主义确实会让这些东西扩张,但这是个鞭子效应,对吧?鞭子信号传到末端需要很长时间。所以供应链不会立刻反应。实际上,你去跟 Carl Zeiss 的人聊,他们会说,对对对,我们到本十年末得造出 100 台 EUV 光刻机。我记得今年早些时候我们做那期节目时,他们甚至还没觉得需要造那么多镜子来支撑每年 100 台 EUV。所以现在他们有点,嗯,他们说,好吧,我们得做到。但实际上,考虑到所有这些经济因素,应该还要更多。但需要很长时间才能——
假设,假设整个产业链里的每家公司都拿到私募投资。比如有个超级 AGI 信徒进来,说我们要最大化生产。那能多快?你觉得物理限制会怎么制约造更多东西?我问这个是因为,我们很快会进入一个世界,实验室收入或者 AI 现金流——因为加速器显然也有巨大现金流——会大到可以直接用现金流来资助所有这些生产的极端扩张。
对,我大体同意。显然有一些物理限制。目前供应链扩张的方式,100 台大致还是对的数字。
到 2030 年?
100 台 ASML 工具到 2030 年。但如果你跟 Carl Zeiss 说,给你 100 亿美元,赶紧给我扩大生产,那情况就不一样了。你得跟供应链里每家公司都这么干。我觉得今年不会发生,明年不会,后年也不会,因为世界还是资本受限的。
但在一个世界里,比如说顶级实验室明年合计产生 1 万亿美元收入。他们没法拿出 10%——
我觉得他们不会那么干。
但好吧,至少是几千亿,对吧?他们似乎意识到世界在往哪走。我觉得他们可以直接——
问题是,实验室能花几千亿,他们明年也会产生几千亿收入。但最终,明年的资本支出大概是 2 万亿美元。所以这里有巨大的错配,对吧?晶圆制造设备供应链大概会做 2000 亿美元的量。数据中心市场供应链会更多。加速器供应链会更多。能源供应链也会有个数。你把这些加起来,资本支出会远超 2 万亿美元。所以实验室还没到能用现金流来支撑这些的地步。
当然,对对对。我是说,他们显然永远不会到那一步,对吧?因为你想让资本支出高于回报。但我真正想搞清楚的关键问题是,如果当前这种追赶势头继续,到 2028 年底,每个实验室会超过 50 吉瓦。所以两家加起来就是 100 吉瓦。这些吉瓦,如你所说,到 2028 年会带来比现在多好几倍的吞吐量或性能,对吧?因为硬件变好了。不仅每瓦浮点运算次数增加了,硬件处理 AI 工作负载的能力也更强了。好,那 100 吉瓦给实验室到 2028 年底。全球计算总量大概是多少?
我觉得这有点难,因为到了2028年,你会开始看到——他们已经拿走了增量算力的70-80%,我不确定届时市场会怎样。对吧。你知道,算力价格要飙升到什么程度,他们才能真的买下70-80%的算力?谷歌、Meta或亚马逊愿意卖那么多吗?另外,当我们讨论这些吉瓦级数字时,有一个注意事项是,当亚马逊在Bedrock上服务Anthropic模型时,在我们的世界观里,这算作Anthropic的算力,因为最终它会计为Anthropic的收入,尽管有收入分成和返点之类的。但归根结底,到2028年,如果他们合计达到100吉瓦,那他们对市场做的破坏性事情就太大了,因为今天任何人用每兆瓦1000万到1500万美元的算力都能赚钱。真的,我没开玩笑,这没那么难。去搞一个GB300机架,下载KIMI权重,下载VLM或SG Lang,搭起来。你知道,Codex和Fable其实能帮你搞定这些。挺简单的。我的意思是,不是那种微不足道的小事,但也不是什么高深莫测的火箭科学,然后放到OpenRouter上。非常简单。然后你开始产生的收入会超过你付的算力成本。所以这已经导致算力定价——每兆瓦1000万到1500万美元——开始往上抬。而要达到2028年的100吉瓦,你得相信这些实验室能出更高的价来买算力,因为任何人用1000万到1500万都能赚钱。你知道,算力会涨到每兆瓦2500万美元吗?会涨到4000万美元吗?
但正如你所说,实验室每兆瓦产生的收入已经远超其他所有人。如果他们保持目前这种领先幅度,你会预期这种情况会持续。如果存在某种递归式自我改进,AI实验室相对被提升,或者他们内部有不对外发布的模型,帮助改进下一代模型,你会预期这种情况会更明显。而且你不是已经看到这种情况了吗——SpaceX或任何稍微落后一点的玩家,如果无法像实验室那样内部变现算力,就会把算力卖给最高出价者。我觉得可以继续预期他们会吞下——比如竞标越来越大的算力份额。
我觉得这就是我的世界观,他们会继续吞下更多算力,但最终他们不可能在目前的价格或接近目前的价格下做到这一点。
当然,当然。
他们确实得开始付每兆瓦2500万、3000万、5000万美元,才能在2028年真正吞下全球70%的算力,达到100吉瓦,这是一个非常激进的目标。这件事另一个真正棘手的方面是,我们已经看到AI实验室出现了大幅放缓,对吧?他们倡导的那些监管,实际上拖慢实验室的速度远超过拖慢开源中文模型。OpenAI不发布Astra,OpenAI暂停训练两周,Anthropic不发布其安全评估所称的Model 2——外界普遍认为那是Mythos的下一版本。他们显然没有发布最好的模型,这样一来,他们每兆瓦的收入就停滞了,甚至可能再次下滑,因为其他模型又有竞争力了。所以不是他们在落后,只是他们不发布最好的东西。如果存在某种监管影响,阻止他们发布最好的模型呢?那他们每兆瓦的收入就不会快速攀升,然后他们以高于其他人的价格购买增量算力的能力就开始减弱。然后也许他们到不了100吉瓦。在一个安全无关紧要的世界里,我确实相信那正是会发生的事,对吧?他们可以开始每兆瓦产生1亿美元或更多收入,然后他们能付每兆瓦5000万美元。而其他任何人除了说“拜托,Dario,把我手里的东西全拿走”之外,没有任何合乎逻辑的理由去用他们的算力做别的事。但你知道,有一些我们无法描述的力在起作用,可能会减缓这个过程。
是的,是的,是的。我觉得一个好的直觉泵就是:如果AI模型真的能像完全自动化的软件工程师一样好呢?它们目前还没到那一步,对吧?我觉得它们离完全自动化一个白领工人的工作还差得远。但白领工人年收入六位数或更高。如果你有一个吉瓦算力,能支撑比如100万白领工人的规模,咱们大概这么算,对吧?那背后就是1000亿美元。这其实低得有点出乎意料。
是的,每人10万美元,100万人口。
是的,是的,是的。我不知道,但如果你每个吉瓦达到完全AGI,那会是几千亿美元。
我觉得这件事的另一个方面是,而且我们一直在看到这一点,大部分价值捕获并没有发生,对吧?这些模型产生的大部分价值并没有归OpenAI和Anthropic所有。幸运的是,到目前为止,大部分价值只是给了用户。是的,对吧。Jane Street与OpenAI签了GPT-5.6 Ultra Fast Mode的独家合同,或者Jane Street作为Anthropic最大的客户之一,从他们付费购买的token中产生的价值远远、远远、远远超过Anthropic从中获得的利润。对吧。因为他们能靠市场赚钱。是的。或者Meta,一度据传占Anthropic业务的10%。他们通过优化广告算法之类的,让用户参与时间延长5%,从中获得的效率提升远超Anthropic。他们用这些模型赚的钱比Anthropic多得多。所以最终,这就是必需的。当然,如果你有100万个新软件工程师,每个软件工程师的成本也会下降。
我困惑的一点是,市场会达到均衡吗?如果达到均衡,你会不会预期算力价格等于Anthropic和OpenAI能从中产生的收入,或者非常接近,只给Anthropic和OpenAI留一点加价空间?现在很奇怪的是,算力的售价与Anthropic能从中赚到的钱之间存在4倍或更大的差距。在一个每吉瓦收入持续增长的世界里,Anthropic变现一个吉瓦的能力翻倍或三倍之类的,那如果差距继续扩大就很奇怪了。所以Anthropic,仅仅靠有一些软件、有一些权重,就能把成本10美元的东西变成100美元。
是的,这里有个挺有意思的问题,对吧?那就是AI的价值到底流向哪里。AI正在创造大量价值。你有终端用户,我想我们都同意终端用户获得的价值比任何人都多,所以他们为这些模型支付高昂费用。但接着是应用层,到目前为止应用层创造的价值微乎其微。然后是模型层,一年前还在产生负毛利,现在却在大规模产生正毛利,看起来正朝着每兆瓦1亿美元的方向发展。也就是说,正如你所说,把10到15美元变成100美元。但如果我们再回到一年前,硬件供应链在攫取所有毛利,而其他所有人都在亏钱。OpenAI和Anthropic在大量投入风投资金,许多其他初创公司也是如此。许多超大规模云厂商在建设基础设施时并不确定能否获得回报。所以最终,模型层几乎可以说是在创造负价值,因为他们以低于基础设施成本的价格出售token,而所有价值都在芯片和晶圆厂环节被创造和消耗。最初在2023年,内存厂商在HBM或AI内存上几乎不赚钱,尽管理论上他们交付的价值巨大。现在呢,台积电赚的其实远少于内存厂商。这是否意味着他们实际捕获的价值更少?价值捕获在剧烈转移,这对跟踪市场或参与市场的人来说非常有趣,比如Jane Street就是一个例子。
有赞助商,我们得插播一下。你不用太卖力推销。
那么,接下来会发生什么?Anthropic和OpenAI的价值捕获开始慢慢膨胀。他们会继续膨胀并拿走所有价值吗?这曾是一种想法。然后Elon证明了,实际上,我可以把我的算力以每兆瓦2500万或4000万美元卖给Anthropic和Google。即使是短期交易,我也能以这个价格卖出去,一年内就能收回全部资本支出。
那你预测一下,相关的多伦多算力,比如B300或类似的,以每吉瓦400亿美元卖给Google——SpaceX以每吉瓦400亿美元卖给Google——到明年年底会卖到什么价格?
我认为即使到明年年底,大多数算力交易仍会低于每吉瓦200亿美元,因为所有算力都需要融资。对于无需融资就能建设的算力,如果Meta、微软、亚马逊、SpaceX能建设算力而无需先找到客户,直接说,管他呢,我先建了再说,等建好再找买家。那他们就掌握了主动权。所以大多数算力在建设之前就已经签约了。
对。
这就是Elon在市场上利用的机会——他手里有大量算力,然后他说,嘿,Anthropic,我知道你们每吉瓦能赚600多亿美元。不如你们花个天价把我的算力买了吧?显然,这不是Elon单方面决定的,也不是Anthropic决定的,而是市场自己找到了平衡。其他人呢,你去随便一家云厂商,他们会说,好,我要建一吉瓦或100兆瓦的算力。我要投入资本支出。我得去找客户。如果我要找客户,我得先找到资金。谁给我资金?客户必须签合同。然后我拿着客户的承诺去信贷市场融资。所以这里有一种完全不同的权力结构,Meta实际上在囤积算力,他们和SpaceX可能是第三名。而他们能成为第三名的唯一原因就是他们在囤积这些算力。他们利用自己的资产负债表和能力来建设算力,在没有终端客户大规模变现的情况下建设算力。而且他们有实际的资产负债表,可以去信贷市场说,嘿,各位,你们建一吉瓦,能赚到不错的利润,虽然不是疯狂利润,但也是好利润。我现在有了这么多算力。然后Meta和SpaceX就有了这种选择权,可以四处看看,问自己:我的内部用例能赚更多钱,还是我应该把这些算力以疯狂利润率卖给Anthropic或OpenAI?
对。
所以现在我们进入了一个新阶段,SpaceX和Meta在说,实际上,我要建设算力,然后我可以以不是13美元的价格出租,我可以卖到25、50甚至更高。
在我做视频文章和其他格式内容的过程中,我一直在找新的播客编辑。但主动寻找编辑非常耗时,因为绝大多数候选人不符合我的要求。所以我在Grokbot里创建了一个招聘机器人,看看是否有帮助。我给它一个巨大的上下文输入,基本上把我想要的一切都独白了一遍,然后它生成了4个其他机器人来分别聚焦搜索的不同部分。一个去翻我过去一年的邮件找相关来信。一个去搜我的X feed和私信。一个去翻我喜欢的一些纪录片片尾字幕。最后一个去找我关注的一些YouTuber的编辑。Grokbot然后把子代理找到的所有候选人汇总,根据我的标准筛选,最后给我一份最终候选名单供我审阅。说实话,第一批里有几个不错的候选人我想看看,但大部分是没用的。不过在我给Grokbot更多反馈,告诉它遗漏了什么之后,它又回来了一份新名单,我实际上非常兴奋。我最后把整个工作流保存为一个例行程序。所以现在每周,Grokbot都会检查我的收件箱和X私信,寻找有潜力的新候选人供我面试。如果你想自己试试Grokbot,去x.ai/bot。你觉得到2027年底,他们的每吉瓦收入会是多少?比如Anthropic或OpenAI到2027年底?
我认为这很大程度上取决于谁拥有最好的模型,以及他们是否被允许继续发布最好的模型。但我不认为每兆瓦低于5000万美元。
到27年底?
哦,到27年底?那确实更有挑战性。但我认为可能会更高,比如每兆瓦7000到8000万美元。公司整体平均来看,甚至可能更高。
对。
所以我认为如果是这样的话,那算力的价格会怎样?如果我是Anthropic,增量算力是值得的。也许我会在SpaceX的算力上每兆瓦花4000万美元。而如果我是SpaceX,我会看向供应链,心想,我和Jensen达成了协议,他现在突然在用Twitter。而且,Elon说他们独家使用Nvidia,但为什么Jensen不涨价?然后SK海力士、美光和三星看着Nvidia,心想,他们为什么不涨价?所以我认为,价值捕获这里有个牛鞭效应,对吧?仅仅因为有人涨价,并不意味着整个供应链会立即重新平衡。是的,但随着时间的推移,供应链会重新平衡,成本会越来越高。而且,要获得那部分增量产能,你不得不这样做,对吧?所以台积电涨价很慢,但内存公司涨价很快。基板公司涨价也很快,供应链的不同部分都在涨价,Elon如果价格是15美元就不会卖,但他卖是因为价格到了25美元以上。所以显然他涨价涨得很快。
是的,我有点惊讶你认为每吉瓦的收入到明年年底不会比每吉瓦100美元增长更多。
RSI什么时候发生?起飞什么时候发生,对吧?
我认为即使RSI不发生,目前的进展速度也会继续。你只要看看过去一年半取得了多少进展。比如,一年半前的模型是什么样的?
我的问题是,世界上最好的模型是在二月份训练的。
好吧,你是说也许我们就是不被允许发布下一个模型。
OpenAI说他们两周内不训练模型,老兄。
搞什么?我的意思是,内部是一回事,他们是否获得了足够的用途来推高算力价格?另一回事是,AI整体进展是否会因为监管而放缓?
是的,但他们甚至不被允许使用这个新模型。比如,Astra甚至没有在内部广泛部署。
但话说回来,我不知道,如果你有一个模型——比如去年年初发布的模型,像GPT-4.0?
那是4.0吗?
是的,那就像你在说从4.0到Fable规模或Mythos 2规模的飞跃,到2027年底又会再来一次。
是的,但Mythos 2还没发布。
是的。或者甚至Mythos,对吧?那种飞跃再来一次,甚至Mythos都不被允许发布,对吧?
他们把它阉割了。
是的。
我们不能用它来优化推理性能。我们不能用它来优化各种东西,对吧?
是的,也许AI进展或AI部署会有一些放缓。这意味着每吉瓦的收入可以更低。但这是我唯一能看到明年年底每兆瓦只有100美元的情况。
是的,我的意思是,只要模型变得更好,它产生的价值就会更好。显然,谁捕获价值还有争议,但最终每个人都会涨价。是的,是的,因为他们可以。而且这是超级通胀的,尤其是如果监管方式是——目前来看,只是不发布模型。但越来越多地,监管方式是纽约禁止数据中心。得克萨斯州暂停审批。俄亥俄州说你必须,或者至少试图说你必须,比如,支付一定半径内所有人的房产税。这类事情会减少供应并增加成本,而且这也会转嫁出去。所以最终你会陷入进展确实放缓的境地,至少在外部意义上是这样。是的。即使模型内部越来越好,我看不出为什么,比如,再次,在起飞情景下,为什么Anthropic不会因为安全和监管,还有竞争优势,而让他们的最佳模型比外部可用的领先6个月。然后那6个月的差距,如果进展加速,实际上是一个更大的差异。所以,这就是会把每吉瓦收入增长限制在比今年上半年低得多的水平的东西。
我对此非常感兴趣的是,随着这些公司上市,他们对投资者负责,假设到明年年底他们有,我不知道,接近20吉瓦。所以大约10%的算力,2吉瓦。假设他们想把训练算力从60%提高到70%。然后他们的投资者会说,如果你每吉瓦能产生1000亿美元,你基本上是在对大约2000亿美元的收入说不,就为了增加训练算力。所以投资者会想,搞什么?你已经在训练上花这么多钱了,为什么还要在训练上花更多?作为一家上市公司,你觉得如果他们就是坚持说,不,我们会继续增加训练算力的比例,以抵消每吉瓦算力带来的收入增长,会发生什么?
是的,这就是我个人相信的,实验室会随着时间的推移把越来越少的算力分配给推理,我认为这是非常非共识的。大多数人的标准信念是,哦,大部分算力会用于推理。大部分会用于训练的前向传播,不一定是有收入的推理。但最终你会陷入——如果他们今天每兆瓦产生3000万、4000万美元,你分配40%给推理。如果你现在每兆瓦产生6000万、7000万美元,你还会分配40%给推理并产生所有这些利润吗?然后做分红和股票回购,还是去构建AGI?
是的。
我认为Anthropic和OpenAI的明显答案,不仅是在高管层面,还有董事会层面,是去构建AGI,因为这更有利可图。对吧。嗯,所以最终你会看到他们提高专门用于训练的算力比例,而每一份增量算力如果用于推理会越来越赚钱。对吧。所以关键在于,好吧,如果我卖token,OpenAI是只对外发布超快模式,还是内部也用?结果发现,不,实际上我会把它分配给内部和外部,因为我内部从超快AI或最佳AI模型中产生的价值远超外部任何人。所以最终,当然,我可以每兆瓦产生1亿美元,但如果我把它转向AI研究,我获得的增量进展是什么?然后这对我的未来盈利潜力、我做的任何事情的折现现金流有什么影响,对吧?所以,你知道,他们不会做那个计算,但最终把越来越多算力用于内部更有意义。而推理算力之所以要这么大,唯一原因是为了扩大你的训练集群。
对,对,对。我认为这是一个有趣的经济学问题,我觉得我们可以让模型消化一下,在一个他们减少推理算力比例的世界里,什么条件必须成立。
我认为他们在过去三个月已经在这么做了。
有意思。
我觉得今年部分时间里,他们在不断增加算力占比。咱们就逐月来看吧。你会同意,Anthropic每个月新增的算力都比上个月多。可能签SpaceX那种大单时会有一些波动,但总体而言,算力是条上升曲线。所以一月份他们新增的算力比十二月份少,但收入却飙升了。然后现在基本趋于平稳。他们现在每个月新增的,你知道,不是250亿美元的年化收入了。这意味着他们新增的每兆瓦电力,投入到研发的比例比推理更高。
有意思。对。
所以事实上,他们现在正把更多算力转向研发。
对对对。
对,我觉得如果你仔细看他们在做的事,这是不言自明的。
对。所以如果我看你刚才说的全球算力增长速度,有些东西我想搞清楚。看起来如果我把你刚才说的数字加起来,到2028年底全球算力会超过200吉瓦,对吧?
对,全球范围内。
好的。那之后还能以多快的速度继续增长?比如2028年之后的全球AI算力?
对,所以今年30,明年50,2028年70。2029年大概在90到100这个量级。
就像之后每年再多100那样?
我觉得斜率还能继续往上走。我的意思是,超过四年的预测很难做,因为谁知道呢,我们是不是已经进入RSI(递归自我改进)阶段了,或者世界经济什么时候能年增长10%?对,因为如果你每年新增100多吉瓦,那GDP增长就离谱了,对吧?
如果你觉得2028年全球有200吉瓦,那到时候中国有多少?在整个趋势中,中国的算力怎么继续增长?因为如果RSI那套东西在中国拥有大量算力之前就在西方启动了,那我们可能生活在一个完全不同的世界里。
对。所以今天中国,嗯,如果我们回到2022年做个基准,美国当时新增算力占全球的45%到50%。中国占全球的30%到35%,剩下的由世界其他地区瓜分。2022年以来,我们对中国实施了大规模管制,而美国大幅增加。所以今天,70%的电力部署在美国。而中国,你知道,数字非常小。新增电力中不到10%用于中国的数据中心AI算力。而且往前看,他们的数字仍然很小。他们的本土产量很小。他们从NVIDIA的采购量也仍然很小。而且其中很多最终流向其他地方,对吧?比如马来西亚之类的。所以最终,中国本土新增算力仍然只占10%以下。到2028年,我觉得可能会开始拐头向上。但基本可以肯定,到2028年中国大概有30吉瓦或更少的AI算力。对,2028年。
那他们的曲棍球杆曲线能涨多快?
我确实认为2028年他们在部署算力方面会有大幅提升。2026年,他们主要还是依赖大量走私芯片,你知道,很多台积电生产的芯片,那些他们认为不是华为但最后发现是华为的公司,或者三星出货的大量HBM,大概就是这样。但到2027年,晶圆厂开始投产。尤其是2028年,中芯国际和长鑫存储这些的本土晶圆厂开始放量,本土产量真的能达到每年数百万颗。然后他们仅在2028年就能新增5到10吉瓦的本土芯片,对吧?这些芯片肯定不如NVIDIA在2028年、或者Google在2028年、或者OpenAI在2028年有的芯片。
所以即使吉瓦这个数字也高估了实际情况。你是说大概30吉瓦,但芯片质量差得多。但然后——对——那会怎样——如果你觉得第二年全球会新增100吉瓦之类的,我知道你说过那么远不好预测。中国下一年能新增多少?基本上我想知道的是,他们是不是一旦能大规模出货算力就开始曲棍球杆式增长,还是仍然会少于美国加盟友?
还有很多变数,比如美国会不会通过MATCH法案,工具会不会继续被出口管制,中国能多快造出他们开始能本土生产的新设备。但归根结底,中国肯定会曲棍球杆式增长,如果说中国真正擅长什么,那就是非常非常快地扩大制造业规模。而且,我想,中国会开始把越来越多的外国芯片采购拉回本土,或者至少缩小美国允许NVIDIA卖给他们的差距之类的。
你觉得中国到2029年能新增50吉瓦吗?2029年的边际新增量?
我觉得这完全合理。
对。
其中一部分也可能来自海外采购。对。但我觉得中国在2029年做到50吉瓦完全合理。但如果大部分是本土芯片,那有个折算因素,那50吉瓦实际价值相当于美国的20吉瓦,或者说美国芯片的20吉瓦。
对对对。所以,对,你实际上在预测一个世界,2028年领先的实验室拥有的算力比中国在2029年甚至2030年整个国家拥有的还多——如果按质量加权吉瓦数的话。
这暗示着没有任何措施在减缓美国实验室的速度。
对,没错。
显然政府和政客们已经开始这么做了。
对对对。
而中国不会放慢AI的步伐。事实上,他们只会加速。
所以说实话,我——当Aaron Neur Jensen问到出口管制时,我是一个自由意志主义者,我真的不确定我对这个问题的看法。我当时是在为他的对立观点做最强辩护,因为我觉得把想法摊开来讨论很重要。但我当时想,对,也许如果我们和中国合作,对我们反而更好,尤其是他们控制了那么多供应链,还有机器人和其他领域需要的东西。但我没意识到算力的情况像你说的那么糟糕。实际上,出口管制似乎确实很有效。如果他们出货量像你说的那样,那差距就太大了。等我们有了自动化程序员,甚至开始进入自动化研究员阶段时,中国在算力存量上远远落后。所以如果最终是这样,那这招确实奏效了。我觉得这实际上是一个显著的成功。
我想说的唯一保留意见是,一部分是出口管制,但一部分也是金融体系的问题,对吧?美国金融体系比中国金融体系更愿意对初创公司梭哈,但一旦中国金融体系选定一个行业重点投入,他们会补贴得狠得多。
对。
嗯,所以中国半导体产业获得的补贴远超全球其他半导体产业的总和,这指向一个事实,如果起飞速度不如你所说的那么快,而是需要更长时间,那么中国最终将在半导体领域大幅追赶上来,这最终会转化为算力。另一个我觉得值得注意的方面是,如今中国公司在AI模型上并不落后太多,至少在公众感知上是这样,而相对于他们拥有的算力量来说。领先的中国实验室总共最多拥有100到200兆瓦的算力。字节跳动的Seed是个例外,他们的算力远超这个数。但你知道,Qimi并没有运行千兆瓦级别的算力,或者接近这个水平。
是的。
而Anthropic到年底差不多有近5千兆瓦,对吧?或者更多。抱歉。所以问题在于,这重要吗?我认为目前这种算力差异并不太重要,因为当我们拆解一个实验室的算力比例或预算时,历史上来看,大约60%用于训练,40%用于推理。但训练部分还可以进一步细分。实际上,大约50%的算力用于研究,10%用于开发,然后40%用于推理。我所说的研究和开发是指,研究人员在产生想法、测试新架构、测试新数据组合、测试新超参数,或者做其他事情,比如新的注意力技术等等。但最终当他们进行训练运行时,比如Anthropic训练Mythos时,功率低于200兆瓦,对吧?
是预训练还是整个过程?
预训练。大约两个月时间,功率低于200兆瓦。然后强化学习用的算力更少。
但你认为强化学习比预训练用的算力少?
至少在单站点推理方面是这样。我的意思是,预训练的单站点。
是的。但总算力可能更高,对吧?
总算力更高,但那是顺序进行的,对吧?
是的。
所以他们在任何时间点最多使用的功率可能只有200兆瓦。而实际上,他们拥有多个千兆瓦。所以他们大部分算力都用于研究,而不是模型开发。这有原因,对吧?你无法——协调所有这些集群很困难。很难将它们全部放在同一地点。多站点训练很难。强化学习也很难,在强化学习期间生成更多 rollout 并不一定能让结果更好。有很多原因可能导致你无法将拥有的全部2千兆瓦算力用于训练,对吧?实际上,我只能利用200兆瓦。随着我们越来越深入,实现自动化编码、自动化研究,我预计研究相对于训练所占的算力预算比例会开始变得模糊,甚至训练占比会更高。还有持续学习之类的事情,对吧?所有这些都意味着越来越多的算力实际上用于训练模型。
所以如果你最终处于一个每年100千兆瓦、按当前价格计算的世界,那每年就是5万亿美元的资本支出。
再加上你必须提前很久建造发电厂,而且那是30年的资产。再加上数据中心是15到20年的资产,你也得提前建设。所以这5万亿美元,你还得考虑未来几年的增长。所以实际上更像是7万亿或10万亿美元的资本支出。
我不明白,因为你没有考虑到发电基础设施或数据中心本身并不存在这个事实。
对,正是如此。是的。当人们谈论AI资本支出时,他们说400到500亿美元,但那实际上只是关键的IT设备。对,服务器、网络、光纤、收发器、光通信等等这些东西。这并没有包括数据中心本身或发电厂,而这些是提前建设的。
是的,是的。
如果我今年建设100千兆瓦,明年建设150千兆瓦,那么那150千兆瓦的所有建筑都需要在今年建设和投入资本支出。如果后年建设200千兆瓦,那么所有这些发电厂都需要投入资金。你得在今年购买涡轮机。对,对吧?所以你会发现,这实际上比5万亿美元还要大得多,如果你建设100千兆瓦的话,对吧?
所以到本十年末,每年增量资本支出很可能接近10万亿美元,对吧?那将接近世界经济总量的十分之一,如果全部集中在美国,那就像——美国经济也会增长,但按目前美国经济的规模来看,那将相当于美国经济的三分之一到四分之一都用于数据中心。当我这么说出来时,我在想,也许你是对的,我们就是不会允许这种情况发生。这就是为什么这不会发生的原因,对吧?因为要让这种指数增长继续下去,就像世界四分之一、美国经济四分之一都只是在建设数据中心。
是的,我相信资本主义和资源向最盈利领域的重新分配,但与此同时,政治、信贷市场和资本市场都是现实存在的。所以,要实现比如2030年100吉瓦的目标,或者甚至缩小到2028年,这需要在这些项目上投入3到4万亿美元的资本支出。你知道,其中大约2.5万亿用于计算IT资本支出,另外1到2万亿用于数据中心、能源以及下游供应链,比如半导体等等。如果资本支出达到3到4万亿美元,这些资金从哪里来?目前还没有企业能从业务中产生这么多现金。超大规模云服务商,他们迄今为止支撑了所有增长。谷歌、微软、亚马逊、Meta,他们承担了很大一部分,占计算能力的一半以上,但他们现在不产生现金。实际上,他们把一切都花在资本支出上。此外,他们还举债并全部投入资本支出。对吧,你看Meta就是这么做的,甚至亚马逊、谷歌也是。微软很快也会这样。每个人都在举债支付资本支出。那么,谁是那个以前没参与、现在要新增出资的人?比如谷歌,他们停止回购股票或Meta停止回购转而购买计算基础设施,这相对简单,对市场影响不大,但确实有些影响。但随着时间推进到2028年,超大规模云服务商现在举债数千亿美元,他们的整个供应链也在举债数千亿美元。谁来买单?有几种不同的方式。比如英伟达、博通和内存公司等半导体企业,他们转身决定资助部分资本支出。还有传统基础设施投资者,他们筹集资金投资于基础设施,但不再是桥梁,而是数据中心。最后,经济中的每个人都在意识到,也许我不该买房,或者不该投资于帮助他人买房的信贷,或者不该购买政府债券。我应该买超大规模云服务商的债务,或者买这个数据中心的债务,或者买Anthropic的债务,因为Anthropic愿意支付20%的利率,为了那额外的十亿美元来建设产能,因为他们知道收入会巨大,而且支付20%仍然比从SpaceX以每吉瓦500亿美元租用更划算。所以,所有这些竞争都存在,但如果现在这样做,整个世界经济真的会彻底转变。
Antithesis是一个确定性软件测试平台,能实现完美的可重复性。它还解锁了一些相当疯狂的调试方法,比如时间旅行。使用Antithesis,你可以跳到轨迹中的任何一点并从那里开始。所以当发生崩溃时,你可以倒回到出错的精确时刻并冻结整个系统。应用程序、数据库,甚至环境本身。这让你能做到原本不可能的事情,即在完全相同的瞬间观察分布式系统的每个部分。时间旅行还允许你为已经发生的事件添加遥测和日志记录。例如,你可以倒回到崩溃前5秒,决定捕获所有网络流量。最强大的是,Antithesis为你提供一个实时终端进入系统,你可以用它来扰动任何你想要的东西。杀死一个节点或禁用某个功能,然后按播放看看会发生什么。然后回去尝试其他东西。在生产环境中,这种破坏性分析往往只有一次机会。例如,如果你重启一个死锁服务,你需要研究的那个确切死锁就消失了。但使用Antithesis,原始时间线总是可重现的,所以你可以根据需要测试尽可能多的假设。如果你不想自己进行所有这些时间旅行,你可以通过Antithesis API让你的代理为你做。访问antithesis.com/twarcash了解更多。所以,你和我过去几天在私下里一直在争论,AI是否会导致主权债务危机。逻辑是这样的:AI——你面临的情况是,正如我们提到的,很少的投资能变成很多钱,对吧?所以回报率——
这真是个该死的问题,伙计。
天哪。真不敢相信。
不,这对其他不能把少量钱变成大量钱的人来说是个巨大的问题。所以回报率非常高,即使在数据中心层面也是如此。如果你建一个数据中心,能以折旧成本10倍的价格租给Anthropic或OpenAI,那简直是疯了。所以你在年底把1美元变成2美元或10美元。这推高了利率。现在,如果利率上升,如果这对整个经济都如此,人们借越来越多的钱,他们与政府本会进行的贷款、其他公司本会进行的贷款,或者你作为消费者或抵押贷款买家本会进行的贷款竞争,那么这基本上让其他所有人的借贷成本更高。这对大量人群有巨大影响。抱歉,我有点要长篇大论了。但我们一直在共同思考这个问题。所以我认为美国最终会没事,因为如果数据中心建在美国,基本上可以直接对数据中心征税。但当前税收体系的设置是,企业收入占联邦收入的不到10%,而80%以上来自工资税和所得税,随着自动化程度越来越高,这部分会缩小。同时,在支出方面,目前20%的税收收入用于偿还债务,基本上就是支付债务利息。现在,很多债务是短期的,所以每5年续期一次,滚动发行。你为什么在笑?
因为,你知道,这就像你上个月才学到的东西。
是啊,好像你跟我有什么不同。你拿的是金融经济学学位。我没有。我没有。
互联网以为我是养蜂人。几个月,几个月,几个月。
这是我们的业务,Dylan。
抱歉,抱歉。
所以现在我觉得有点不自在。
靠。不,挺好的。你做得不错。我只是觉得好笑。上百万人听这个上个月才学债务的人讲。
所以从20%——假设利率上升1%,那么在5年基础上,税收收入中用于偿还债务的比例基本上从20%上升到25%。如果上升5个百分点,那会到40%以上。但如果考虑到政府每年借2万亿美元,那会从40%上升到60%以上。所以60%的税收收入基本上只用于支付债务利息。现在,我认为美国会没事,因为如果我们允许数据中心在美国建设,税基也会增加。其他国家在我看来绝对完蛋了。我刚刚在看哪些国家债务多、税收收入少,而且很多债务频繁偿还。像巴基斯坦或尼日利亚这样的国家,我认为在新的利率环境下会非常惨。
所以,这种挤出效应实际上就是我一直说的,它不是那种“管他呢,十亿吉瓦”式的疯狂投入。
对,没错。
你看,有这么多行业和国家都背负着大量债务,比如你之前提到的那些贫穷国家,它们基本上就是要违约了。还有消费品行业,对吧?像你在Trader Joe's看到的那些公司,它们都用了大量债务。所有电信公司、银行也都债台高筑。所以如果市场利率上升——不一定是政府设定的利率,而是市场利率——政府公布的联邦利率和其他人实际收取的利率之间的利差会扩大,因为亚马逊明年想借1000亿美元债务,或者随便什么数字,可能少一点。但最终你会面临一个非常棘手的问题:钱从哪来?有一部分是靠现金流支撑的,而现金流一直在增长。但合乎逻辑的做法是投资远超现金流,因为未来几年的回报会非常可观。所以就有了这个差额,而压低这个差额的是其他各种因素,对吧?有对数据中心的监管、各种法规、消费者不满、政客不满、对AI的监管、AI实验室出于安全考虑不发布最新模型。所有这些因素加上利率上升,都在影响这一切。所以这些因素把曲线从纯粹简单经济学中资本主义想要的方向,拉向我们所处的复杂系统想要的方向,而且越拉越低,最终建成的吉瓦数会比应该建的要少得多。
但利率本身就是资本主义的一部分,对吧?
对,但你知道,简单经济模型和我们现在这个更复杂的现实之间是有区别的。
是的。你觉得亚马逊或Anthropic之类的公司明年发行债券的利率会是多少?它们要借几千亿美元的债。利率是多少?平均利率是多少?
我不觉得亚马逊会借几千亿美元的债。总的来看,假设大型超大规模云服务商加起来,所有云厂商一起。
嗯。
在我们做的模型里,2024到2029年的资本支出大约是11万亿美元。
总计。
总计。如果你尽量用现金流来支撑大部分,你最终仍然需要发行超过5万亿美元的信贷来覆盖这11万亿以上的支出。
你不觉得收入会继续增长,甚至每年翻三倍吗?
AI收入确实在增长,但我不认为它能永远涨下去。你知道,就像没有遇到某些限制一样。我觉得某些实验室会有某些激励。而且实验室在很多情况下并不是建设所有算力的主体,尽管它们越来越想往这个方向走。
它们会有大量现金流,如果收入持续增长,那没问题。但如果你——你说它们的收入会是多少?你觉得它们不会有那么多收入吗?
不,我只是说到2029年,大概有11万亿美元的资本支出。其中6万亿靠现金,5万亿靠债务。如果是这样,整个生态系统要筹集5万亿美元的债务,确实会推高利率。那什么能阻止这种情况呢?有几件事。一是实验室能否提高每兆瓦的收入,并保持推理分配的大规模,这样它们就能把标普500的利润都吸走,因为每个人都在付费来降低成本。当然,它们的利润也会上升。但你知道,现金总得有来源。所以收入增长速度相对于它们给世界创造的价值是有上限的。而且技术还有扩散的问题。但归根结底,实验室的收入会持续增长,它们不可能完全靠现金流来支撑一切。最优的方案其实是尽可能多地用信贷来融资,因为即使实验室的现金流能支撑很多东西,你想建的还是比那更多。当然。所以确实会有一定量的信贷被创造出来。我们目前的模型是到2029年有5万亿美元信贷和6万亿美元现金支撑的基础设施投资。当你把这些算进去,相对于AI模型带来的需求增长,算力还是不够的。所以显而易见的答案就是,每兆瓦的收入会持续上升。
对,有道理。那你觉得到2029年,所有这些会导致利率上升多少?
兄弟,你知道,这就是随便估个数。但如果要估的话,世界和经济的增长会大幅上升。那亚马逊的利率为什么不会从现在的水平往上涨呢?我觉得Meta付——好吧,咱们这么说——这个数字完全是拍脑袋的,但最近Meta的融资利率在5%到6%左右。我看不出它们为什么不会付8%,因为它们会很乐意付8%,因为它们要建的算力带来的回报是巨大的。对吧。市场可能不希望它们付这么高,但如果它们想付8%,反过来看,如果它们付8%,而不是现在付的5%、5.5%、6%,那就是250个基点的上升,这会让经济中其他所有人也多付250个基点。
对,对。
然后这会引发很多事情,对吧?银行会叫苦连天,因为如果它们的信用利差扩大,它们的负债——它们的债务重新定价的速度会比资产更快。最终如果信用利差爆掉,它们会亏得血本无归。
这带来的另一个后果是——这是你之前提过的一点——如果利率上升,贴现率就会上升,这意味着所有股票的贴现现金流会暴跌,也就是说即使整个股市表现还行,标普500没问题,任何个股的价值可能都会大幅缩水,尤其是那种巴菲特、伯克希尔式的,就是那种支付稳定现金流、持续30年的类型。对。
就像,就像,我为什么要为强生付这么多钱,对吧?你知道,它们被视为稳定股票,现金流好。它们会随时间返还现金流。或者铁路公司。如果我的贴现率不是3%或5%,而是8%或10%,我凭什么投那么多钱进去?
对于发展中国家来说,Basil Halperin,他是我的好朋友,也是个经济学家,他提出我们会看到第二次沃尔克冲击。80年代为了对抗通胀,美联储主席保罗·沃尔克把利率提高了超过5%,实际利率大概是8%。那导致那个十年里有大约40个国家,主要在拉丁美洲,发生违约。我觉得这种情况很可能会重演。事实上,好了,我们现在开始聊到奇点话题了。我们刚才一直在讨论如果利率——
我觉得这些都会发生在奇点之前。
对,我就是这个意思。所以我们之前聊到奇点之前,利率上升2%、3%之类的。到了某个时点,我认为全球经济很可能每年翻一番。这不是五年内会发生的事,但最终会实现。就像有位研究者David Binder,他在这方面做了很棒的工作。基本上,如果你看完全自动化经济中的投入产出表,要让整个经济体的物资存量翻倍需要什么条件?
是啊,如果经济每年增长3%,那按70法则,大概要二十多年。
没错。但他说的是,现在我们受限于人力,你不可能每年让劳动力翻倍。但在一个劳动力也能每年翻倍的世界里,经济能增长多快?我觉得可以每年翻一番。至少也是每年百分之几十的增长。那么利率应该非常接近增长率。不会完全相等,因为还有消费因素,但应该相当接近。所以我们会进入一个世界,我认为在2030年代,利率会达到百分之几十。我不知道,我脑子里有一部分觉得可能是百分之几百,但好吧,至少是百分之几十。然后我就想,所有不参与AI生产的国家都会违约。所有不是AI股的股票基本一文不值,因为折现现金流毫无价值。如果联邦政府找不到对AI征税的办法,偿债成本就会超过当前税收收入。还有所有这些我们肯定没考虑到的其他影响,比如你贷不到房贷,等等等等。因为从根本上说,这个世界在发生什么?这些都是书呆子话,对吧?但让我们退一步看,到底发生了什么?
现在才开始说书呆子话。
我们会进入一个完全不同的增长模式。经济基本上在说,嘿,你喜欢给人发工资,政府借钱给人发养老金,但现在这样做的机会成本极高,因为那些钱本可以用于建造机器人工厂,而那个工厂再建造另一个机器人工厂,如此循环。所以资本的机会成本会大幅上升。这就是我们讨论的所有这些问题的根本原因。
对。所以随着利率上升,股市会受到重创。没错。甚至AI公司也一样,对吧?有些人真的相信AI,他们会说,为什么美光、海力士或京瓷的市盈率只有2到3倍?但问题是,如果你真的笃信AI,那么经济中所有东西的市盈率都应该是2到3倍。如果你不信AI,那当然,它们是在超额盈利。
对。
所以这有点像在论证为什么我觉得存储会表现很好。但你知道,存储股不应该再涨10倍或怎样,因为如果市场对存储的需求真有那么大,那说明AI已经给经济带来了剧变,那么所有东西的估值倍数都应该是2到3倍,股市应该崩盘。
对吧?
对。所以从某种意义上说,Meta的市值大概1.5万亿美元,这算什么?太离谱了。它们的价值远不止于此,至少在逻辑上是这样。你只要看它们的现金流、它们囤积的所有基础设施,以及它们未来能以每瓦特疯狂价格出售的所有算力,无论是通过自家实验室产出的token,还是通过Anthropic和OpenAI。最终问题变成,你必须把所有资本重新配置给AGI,而做法就是把其他所有人都挤出市场。所以AGI的瓶颈不是研究工程师能多快推进,比如我们的室友Sholto能多快转动齿轮。实际上问题是,世界其他地方允许这件事走多快?
对吧?
因为他们会监管,他们显然会加息。他们会说不要建数据中心。他们会说停止建晶圆厂。他们会说,天哪,每家公司的股权价值都在暴跌,那我怎么为AI买单来扩展业务?然后呢,Anthropic和OpenAI就得开始自己建东西。显然他们最终会专注于——他们已经在造自己的芯片了,或者至少在设计自己的芯片,而且会继续扩展。他们正在签自己的数据中心合同,在未来几年建设自己的基础设施。所以问题是,这种经济重新配置怎么发生?但有很多下行压力阻止直线起飞,即使模型有能力做到——我觉得你我都相信我们正处于模型具备这种能力的世界。但慢速起飞至少是我的希望,是可能的,因为经济和监管层面的所有因素,比如政府说不要发布模型,政府说你甚至不能在内部大量使用模型,因为这种事很快就会发生。
他们已经在说不能发布模型了,这其实是我最担心的事。奇点其实外部部署是有帮助的。对吧。所以我们阻止外部部署——
那这会阻止奇点吗?
我的意思是,现在这反而带来更多收入,因为模型还不具备RSI(递归自我改进)能力。但我担心的是2030年的世界,政府说,你们的新模型要等6个月才能向公众发布。
6个月,100倍,走起。
对。在那6个月里,他们在内部做递归自我改进。公司内部会发生各种疯狂的事情。与此同时,我们其他人只能困在按当前速度落后好几年的模型里。
对。
所以我的想法是,假设全世界都参与这个阴谋来试图减缓AI发展。
我不觉得这是阴谋。这几乎是公开写出来的。
对,对。
你知道,每个政客都在说。
假设他们基本上阻止了整整——他们把AI发展拖慢了一年。如果算力每年增长2到3倍,他们阻止了整整一年的AI部署,让你比原本应该达到的水平落后一年。而在RSI期间,你一年内能获得3到6年的AI进展。
但他们不只是限制算力,对吧?他们也限制实验室在内部发布模型的能力,对吧?我们看到Anthropic一度不得不停止给外国员工使用Mythos。
我不知道那是真的,连内部也限制。
我是说,那是他们声称的。
我以为那只是另一个不是Mythos的检查点,但基本上就是Mythos。
对对对,但我的意思是,这类事情也不会被允许,对吧?美国政府虽然蠢,但也没蠢到那个地步,对吧?你懂的,我至少希望政府不会想让公司——至少美国政府手里有牌——不会想让Anthropic内部使用Mythos-4。他们会说,等等,停一下,对吧?因为所有这些监管原因,每个当选的人都会讨厌AI。即使是已经当选的人也已经讨厌AI了。所有选民,你几乎可以打赌,某天你父母会打电话给你说,Duarte Schmidt,你干得太差了。你让所有AI进展都加速了。
就像,这是我的播客。
这会发生。
这会发生。这是我的播客。我在加速AI进展。
我的意思是,也许你在教育人们,对吧?也许如果他们更聪明,他们就在更快地推进AI。但不管怎样,你会看到现实世界对AI进展、开发和部署的约束。即使最终会实现,但在那之前我们可能先把自己撕裂了。
Jane Street目前正在招聘两个独立的机器学习实习岗位,一个专注于机器学习工程,另一个专注于机器学习研究。我和Alok坐下来聊了聊,他负责研究方向的运营,我向他了解了更多项目细节。
我认为这个领域本质上研究不足。在我们的深度学习研究团队中,经常有未解答的问题,比如我们不了解某些市场参与者的行为,或者交易发生的某些动态机制。这些未解答的问题非常适合作为实习生项目,因为它们最终是我们关心但还没来得及弄清楚的课题。
所以即使作为实习生,你也会参与真实研究,而不是做一些人为设计的练习。Jane Street团队密切关注前沿LLM研究。一个相对常见的实习项目是把近期论文应用到金融市场,而金融市场本身有一堆棘手的问题。
归根结底,我们试图建模数千个相互关联的不规则时间序列。信噪比极低,因为我们有很多竞争对手在做同样的事情。所以我们面对的是一个对抗性、非平稳、极高维度的问题。
需要说明的是,你不需要懂任何金融知识也能胜任。只要你有机器学习研究背景,Jane Street可以教你其余的一切。他们2027年的实习申请现已开放。在janestreet.com/dwarkesh申请。我觉得这些场景中一个疯狂的点在于,世界未来的劳动力供给有多少最终集中在极少数公司手里,以及这个劳动力供给每年增长有多快。如果前沿算力以浮点运算计每年增长4到5倍,而实现同等能力所需的算力每年下降3倍,那么前沿算力——基本上就是前沿实验室的有效AI人口规模——每年增长10倍。这在目前其实不太重要,因为AI还不足以胜任完整工作,或者在自主性上无法像人一样完成工作或策划什么。但如果当前趋势持续下去,你会看到一个世界:OpenAI从今年大约1000万AI劳动力,到明年1亿,再到后年10亿。然后很快,即使算力扩展放缓,也用不了几年,每家公司单独拥有的劳动力当量就会超过地球上的人口总数。我认为到本十年末,这是非常可能的情况——单个实验室内的AI劳动力、有效人口超过地球上的人类总数。我们经常谈论因为国有化或其他原因导致的权力集中,但我们没有足够思考的是,我们实际上正在快速进入一个大多数AI劳动力——抱歉,大多数人——就工作产出而言,集中在两个实验室手里,它们消耗着世界上越来越多的算力。所以如果这些AI不对齐,那么基本上世界的大部分就是不对齐的,因为世界的大部分"心智"都在那里。但即使它们对齐了,也只是极少数公司拥有巨大的影响力或控制力。
是的,这有点像——最近有一场争论,我记得Gavin Baker说,Dario认为世界上只会有一家公司。然后Sholto和Dario出来说,不不不,我们没这么说。但归根结底,如果你相信RSI,相信实验室是算力最有效的使用者,能从算力中产生最大价值,那么唯一会发生的事情就是算力集中。如果你相信AI研究者、RSI、AGI,那么这一切都存在。这一切都是基础。
即使没有RSI,这也是成立的。目前前沿的有效人口在给定能力水平下每年增长10倍。所以如果你达到人类水平的能力——一个非常能干的远程工作者,或者一个非常能干的软件工程师,或者非常能干的研究者——按当前的能力增长速度,这个人口每年增长10倍。
而且没有RSI。一旦有了RSI,那就更疯狂了。
也许每年增长100倍或1000倍。或者可能是智能在增长,但人口没有增长,或者两者混合,对吧?
是的,我想,我想问的是,Dwarkesh,你看到什么样的世界是万物不集中的?因为在我看来,所有力量都在朝着集中化狂奔。
对。
这太可怕了。
是的。
我不——我不——你知道,我希望能不完全集中,但也许这就是一个热爱Grace的机器的全部意义,对吧?它是一切,让我们的生活变得美好。
是的。未来太难想了。但我同意你的看法,我认为根本问题在于实验室AI训练有巨大的规模经济效应,因为你为训练AI特定技能或特定知识所投入的任何努力,都会在数十亿次会话或数十亿用户之间摊薄。这是一个效应。另一个效应是,如果你在AI竞赛中略微领先,而算力又处于短缺状态,你可以收取更高的加价,因为你更能优化这种稀缺资源。所以有两个效应让领先者获得越来越多的优势。可能还有更多,对吧?如果有模型从部署中学习,而一个模型比另一个部署得更广泛,它就会获得更多真实世界数据。
是的,你的观点我接受,无论是用户部署和持续学习,还是训练中的规模经济效应,还是最好的AI模型帮助你制造下一个AI模型的增量进展,RSI,所有这些。
哦,我还没提RSI呢。
所有这些都指向集中化。
所以我认为,坦率地说,我们应当花些时间思考异步性的重大知识课题之一——至少我会花时间思考——是,在AGI之后,一个去中心化、广泛赋能的未来愿景是什么,同时认真对待这些规模经济?另一种愿景是政府掌控一切。也许你认为政府比私人企业更值得信任。
我不信任政府,也不信任Dario,也不信任Saab。
对,对,这就是问题所在,对吧?但显然,未来很容易判断失误,你可能没预料到某个关键效应或改变一切的因素。但事前来看,很难看出有什么理由能避免我们不得不选择一个效用来源的局面。
我的意思是,这就是资本主义之所以有效的原因,对吧?它依靠去中心化的决策和权力,而高度集中的资本主义经济体实际上比高度去中心化的资本主义经济体增长得更慢。某种程度上,你必须要有法治等等。但AI把这一切都颠覆了,对吧?最终你会发现,实际上,私有制可能不是最高效的经济形态,因此它比集中化的AI经济增长得更慢。
仍然是私有制,但真正参与其中的公司有多少呢?这就像经济中的份额。那不算什么,美国经济的大约5%?抱歉,1万亿美元除以30——不到那个数,抱歉。但也许现在占经济的2%左右。英伟达占了很大份额,还有Anthropic、OpenAI以及这些超大规模云厂商。显然还有其他公司参与,但AI领域的大部分活动只集中在少数几家公司。所以它可能是私有财产,但参与的只有极少数公司。
我的意思是,这就是市场结构的现状。所以,你知道,什么能阻止它?我不知道。除非AI进展放缓,除非政府大力监管,否则这就是必然结果。在这种情况下,我们走向的世界要么是资源极度集中,我们祈祷那一家公司把所有事情都做对,要么是政府拖慢一切,人们拖慢一切,希望进展放缓,从而形成更均衡的权力格局。即使我们走向AGI、ASI、RSI,沿途的一切仍会导致有人分配、有人攫取更多资源。所以很难设想一个AI不导致超级集中的框架。
对。
这里唯一积极的一点是,今天Anthropic并没有攫取大部分价值。所以我们可以随便谈论,哦,你知道,他们从每兆瓦2000万美元涨到每兆瓦1亿美元,但他们仍然为购买的很多算力支付13美元。但归根结底,他们之所以涨到每兆瓦1亿美元,是因为Jane Street在每兆瓦上赚取3亿或5亿美元。而Dwarkesh在研究他的播客和学习信贷时,每兆瓦能赚多少美元。你能用多少?很难说。
对,对,对。
但你知道,我认为,这是唯一值得庆幸的一点,那就是经济中的其他部分可能从Anthropic那里获益更多。
但你之前阐述的整个逻辑——他们将推理重新分配到AI研发中——那个逻辑的核心是,AI实验室内部的劳动回报远高于外部。
这是我的自我安慰。我同意。在所有可能的世界中,有8万个世界,只有一个世界里Anthropic不拥有整个世界。是不是,你知道,权力再次集中,因为我不想把token发送到外部。它们在内部更有价值。所以这是同一回事,对吧?我为什么要让Jane Street从那些堕落的期权交易者身上赚这么多钱。
嘿,他们是赞助商。拜托。天哪。
不,我觉得这很好。
我也觉得很好。
让市场变得高效,这对世界是有价值的。
对,对,对。
你知道,Jane Street通过正确把握世界观赚这么多钱,从堕落的期权交易者身上赚钱,不管是什么,你知道,Anthropic为什么要分配算力给那个?如果最终,你知道,Jane Street每兆瓦的变现是200美元,所以他们愿意付给Anthropic 100美元。但如果Anthropic内部使用那些算力每兆瓦能产生数亿美元呢?这就是正在发生的事情。
对。
好吧,带着这个沉重的基调,我想我们下次见面就是RSI正式启动的时候了。
你不会让我再等两个月才上你的播客吧?好吧,行。
谢了,兄弟。