更聪明的AI模型或推高算力价格10倍

今天我想谈谈未来几年实验室的计算资源状况会如何发展。过去连续三年，Anthropic 的营收每年同比增长10倍，今年很可能再次如此。去年他们以90亿美元营收收官。我认为今年他们可能会在1000亿到1500亿美元之间结束。当然，要让这一趋势持续，Anthropic 需要在明年年底前达到1万亿美元营收。显然，这并非必然，这是一个非常大胆的结论，最终归结为AI能力的问题——到明年年底，AI是否真的会变得如此有用？但假设这一趋势确实延续，我想深入思考一下在那个世界里会发生什么。

现在，AI领域的另一个大趋势是实验室计算资源每年仅增长3倍。要让实验室在计算资源仅增长3倍的情况下保持营收10倍增长，以下三件事之一或它们的某种组合必须发生：一是实验室利润率必须提高；二是计算资源价格必须上涨；三是实验室用于推理而非训练的计算资源比例必须增加。据我所知，这三件事实际上都在发生。

关于利润率，据报道，Anthropic 的推理利润率从去年中期的40%上升到了现在的80%以上。关于计算资源，现货价格比今年2月的低谷高出40%以上。关于训练与推理的计算资源分配，根据Epoch的数据，2024年OpenAI仅将四分之一的计算资源用于推理，而现在这个数字可能接近50%，甚至更高。

实验室倾向于避免最后一种做法，即增加推理计算资源的比例。在实验室看来，推理收入的意义在于帮助说服投资者投入更多资金，以训练下一个更大、更好的模型。如果你把大部分计算资源花在推理上，基本上就是在宣告AI进展停滞，你只是在做云服务提供商。这比构建AGI的愿景吸引力要小得多。因此，实验室不想走这条路，也不认为自己处于这种状态。他们认为一年内就能构建出让当前模型显得极其糟糕的新模型，但他们需要将大部分计算资源投入到训练和实验中，以构建下一代模型。

这就只剩下两种选择来弥合实验室计算资源仅增长3倍而营收增长10倍之间的差距：要么实验室利润率提高以获得盈余，要么计算资源价格上涨，让整个堆栈中实验室以下的各方获得盈余。我不确定最终会走向哪种世界。如果实验室利润率效应占主导，我们是否会从顶级模型的80%利润率走向超过90%？这要求领先模型远远甩开竞争对手，因为利润率存在的本质——在市场经济中——是你提供的东西比市场上其他人能替代你的要好得多。但对我来说，考虑智能这类事物的利润率会超过90%且不会被竞争侵蚀，实在令人难以置信。

因此，在这两种趋势之间，只剩下另一种可能的出路：计算资源价格必须上涨。正如我提到的，这已经开始发生。当你考虑到前沿实验室实际需要积累的计算资源时，这种效应甚至更强，因为他们不能只是去购买一个Spot实例。他们需要确保获得足够的规模以实现高效率和灵活性，同时还需要那种适合保护自身权重和客户信息安全的计算资源。

我认为一个相关的案例研究是谷歌和Anthropic从SpaceX租用的计算资源。例如，谷歌每月支付9亿美元，租用11万块GPU，混合了GV200和GV300。谷歌支付的价格是这些GPU每小时现货价格的2倍，而现货价格本身比2月份高出40%以上。我想强调一个关键结论：随着AI模型变得更智能，它们将能更好地将相同量的计算资源变现。如果一个真正达到人类水平的软件工程师能在H100等效硬件上运行，那么按当前软件工程师的价格，这块H100的年租金应超过25万美元，是当前H100现货价格的15倍以上。这还没算上你的AI可以夜以继日工作。

当然，你可能会预期，如果经济中突然多出1000万名软件工程师，软件工程师的边际价值会下降，因此那块H100能产生的收入不会比现在高15倍。但我实际上不确定这是否成立。如果把这个论点应用到人而非AI上，那就是经典的劳动力总量谬误。例如，经济学家普遍认为，长期来看，高中移民不会降低工资，因为创新和专业化提升了劳动力的价值。也许这次劳动力供给冲击会如此巨大和迅速，以至于我们不能再依赖这个一般性启发式。但如果你相信标准经济学的观点，那么劳动力的边际价值，进而计算资源的边际价值，应该保持惊人地高。

那么，让我们思考在这样的世界里会发生什么变化。首先，随着顶级实验室在变现计算资源方面越来越强，计算资源成本上升，其他竞争者将更难与之竞争，因为他们必须与一个能更好利用这种资源的主体竞价。其次，我认为这是整个思维实验中最有趣的启示：如果你能训练出最好、最高效的模型，你就能收取比今天高得多的利润率。这在经济学中称为阿尔坎-艾伦效应，基本意思是，如果租用一块H100每小时花费20美元，那么使用一个较弱、效率较低的模型就极其愚蠢，因为它会在你昂贵的计算资源上烧掉更多token才能得到完全相同的结果。因此，如果实验室能训练出更好地节约这种稀缺投入的模型，它们就能收取更高的溢价。基本上，如果你有一个能用更少计算资源得到相同结果的模型，那么你在某种意义上创造了更多计算资源，计算资源的价值就会上升。

另一个会发生的事情是，许多当前流行的AI应用可能会被挤出市场。AI目前相对便宜的原因是AI在很多方面还无法做到顶尖人类能做的事。但这种情况迟早会改变。到那时，谷歌、Anthropic或OpenAI会愿意为自动化AI研究的token支付更多，而不是你或我愿意为生成更多AI垃圾内容付费。

老实说，我有点担心这种分析在模式上很像过去人们对稀缺性的错误判断。例如，我想到了著名的西蒙-埃利希赌注。保罗·埃利希是人口增长方面的著名悲观主义者，他打赌一篮子商品在1990年前的十年里价格会上涨而非下跌。这个赌注之所以著名，是因为它旨在说明埃利希的马尔萨斯世界观是错误的，他没有预见到市场信号和人类智慧能找到更好的方式来节约稀缺投入。我猜测这个类比可能不适用。其他分析表明，如果那个赌注是在另一个十年进行的，埃利希很可能赢。但更普遍地说，我认为计算资源的供给弹性远低于金属开采，远不能吸收大规模需求冲击，也远不能通过使用不同替代品来适应。

为了说明为什么我认为每年3倍的计算能力增长难以撼动，甚至可能难以维持，我看不出构成这3倍的三个要素中任何一个能大幅加速。其中1.4倍来自摩尔定律。远非加速，我认为如果能再维持几年就已经是奇迹了。1.2倍来自建设新晶圆厂。这一过程到2030年甚至更久都将受限于制造新的ASML EUV光刻机。迪伦几个月前在播客中详细讨论过这一点。1.8倍来自AI吸收了原本用于智能手机和个人电脑的大量晶圆分配。这可能到明年年底就会遇到瓶颈，因为在台积电的领先N3节点上，AI的占比将从60%升至86%。到某个时候，你已将所有领先晶圆产能都用于AI，无法再继续提高这个数字。

因此，我不知道我们如何能在未来几年继续维持每年3倍的计算资源增长，更不用说超越这个数字了。月底，我会遵循传统，结清账目。我首先打开Mercury——我的银行平台——确保所有交易分类正确。自动分类规则能很好地处理可预测的事务，但我经常与新承包商合作，比如导师、研究员和摄像师，也在尝试新工具。手动分类所有这些交易每月会增加几个小时的工作量。所以我不逐一处理，而是让Mercury内置的AI工具Command一次性处理所有交易。Command为每笔交易提出分类建议并提供理由。我只需审查、修正任何偏差并批准。所有这些工作在Mercury中完成后，它会与QuickBooks同步。Command的判断确实不错。它做显而易见的事情，比如查看供应商，还会调查是我团队中谁进行的购买，并查看备注和备忘录以积累尽可能多的上下文。这只是使用Command自动化业务后端的一种方式。了解更多，请访问mercury.com/command。Mercury是一家金融科技公司，而非FDIC保险银行。银行服务通过Choice Financial Group和Column NA Members FDIC提供。AI生成的响应和建议操作可能有所不同，且不保证。

现在，我想澄清一点：在未来的某个时刻，计算资源会再次变得便宜。到那时，我们将拥有能将硅砂海岸和铜矿转化为新芯片的机器人，计算资源的价格基本上就是原材料和加工工具的成本。我只是在谈论当前这个前奇点时代，AI计算资源每年仅增长3倍，这不足以抵消AI价值随时间增长的速度。顺便说一句，Anthropic营收每年10倍增长而计算资源仅3倍增长的事实，我认为说明了模型业务中规模经济的强大。逻辑上这是合理的。当你训练一个模型时，只需一次性投入成本学习各种技能，然后这些技能可以共享给所有用户。这与人类劳动截然不同，每个个体都需要从头重新训练。我希望我们不是生活在一个智能具有如此强大规模经济的世界里，因为我担心权力集中。但看来事实就是如此。

好的，这是对我发布在dwarkesh.com网站上一篇博客文章的叙述。请查看其他文章，或在我未来发布时获取通知。否则，我们下期完整节目再见。