Alex Imas 与 Phil Trammell – AGI 后什么依然稀缺？

今天我和两位嘉宾聊天，一位是 Alex Imas，他是 Google DeepMind 的 AGI 经济学主任，也是芝加哥大学的经济学教授；另一位是 Phil Trammell，他是 Epoch 的经济学负责人，也是斯坦福大学的研究学者。总的来说，在这次访谈中，我想了解的是，经济学能告诉我们什么，关于在一个自动化和先进 AI 越来越普及的世界里，我们可以期待什么；这又告诉我们，工资和劳动份额会发生什么变化；对于 AGI 产生的财富，最好的征税和再分配方式是什么；以及哪些东西会变得稀缺。因为稀缺性往往决定了价值会流向哪里。所以我想从这里开始。有哪些可能成为稀缺的候选对象？

我很好奇，人类为其他人类提供服务，是否可能成为经济中很大的一部分。这里有一个直觉上的思考。在一个 AI 能物理上做任何人类能做的事情的世界里，存在一个完整的机器经济，它们建造工厂、做研究、提出新想法。人类可能参与也可能不参与这些事物的物理生产，但很可能不会，因为在终极情况下，如果机器人技术被解决了，如果你不在乎人类是否参与这个过程，那为什么还要让人类参与呢？但还有你指出的其他事情，比如在某些情况下，我们可能确实希望芭蕾舞演员或咖啡师是人类，因为这是去咖啡馆或看表演的价值的一部分，但只有人类才有这种偏好。所以存在一个人类经济，人类互相提供服务，他们的一部分财富流向其他人类，但他们的一部分财富也会流向机器经济创造的自动化商品。所以一部分财富是流出的。如果你把这看作不是一个闭环，而机器经济中的很多事情是闭环的，因为机器不在乎让人类咖啡师给他们做咖啡。那么在这个模型中，人类经济不就会自然而然地变得越来越小吗？

可能有必要快速定义一下劳动份额和资本份额。整个经济中，所有商品和服务的销售总额，要么以工资形式支付给劳动者，要么支付给资本，比如建筑物的租金和公司股东的回报。几百年来，经济中大约60%多的产出，也就是每年销售的所有东西，基本上都以工资形式支付给了人。另外30%到40%则支付给了拥有机器、土地、公司股权等的人。现在的问题是，如果目前60%的份额流向工资，那么随着自动化，或者说随着人工智能越来越智能、越来越强大，这个比例会不会缩小？

但这其实没那么令人惊讶，对吧？菲尔，你之前提到过，如果劳动和资本是互补的，两者缺一不可，那么为了完成任何事情，你自然需要同时支付两者。

不过你之前那篇文章里指出，实际上——哦，抱歉。

我想说的是，从某种意义上讲，还没有任何东西被完全自动化。如果你看一个商品的网络调整要素份额，也就是沿着供应链往下看，不只是看最后一步有多少由资本和劳动完成，还要看制造那些能自动化最后一步的机器本身投入了什么。你会发现，劳动在供应链下游贡献了大量价值。比如，美国的计算机和电子产品，其网络调整资本份额非常稳定，大约在50%左右，而不是100%。我确实认为，我们可能都同意，即将出现一种质变：至少会有一些商品的网络调整资本份额会变成1，对吧？因为整个供应链都可以自动化，没有任何一个环节我们本质上在乎必须由人来完成。那将是一个质变。有趣的是，这种变化对整体资本份额的影响并不明确。假设我们有两个部门：人类内在部门（比如芭蕾舞演员）和其他所有部门。目前，其他所有部门因为缺乏劳动力而稀缺。但如果我们将其他所有部门的供应链完全自动化，并且很快满足所有需求，那么非芭蕾舞演员类商品的数量会趋于无穷，但它们的边际效用下降得比数量增长更快。

对，对。但我想，是不是还有另一个点：很多完全自动化的商品甚至还不存在，你现在无法收集数据，比如人们愿意为某种完全由AI生产的、能让人更健康的药物持续购买多少。

菲尔，我喜欢你那个比喻，说1400年某个蒙古经济学家坐在那里思考什么会稀缺，以及这种分析的局限性。我觉得你应该详细讲讲。

当然。如果你只看过去蒙古人可获得的商品——我对这个社会并不专业，但我知道他们拥有的种类远不如我们现在丰富。他们观察那些本质上属于人类的工作，比如歌手，以及那些非人类本质的事物，比如马匹提供的运输服务或他们拥有的不同食物。如果他们只是固定这两类事物的种类，然后问：一旦我们有了更多自动化，会发生什么？他们可能会说，我们会在马匹般的运输、酸奶和蒙古包上得到满足。这些份额会归零，我们所有的钱都会花在歌手身上。但当然，实际情况并非如此，因为随着我们积累更多财富和更先进的机器，我们扩展了除歌手之外可以花钱的事物范围，而花在歌手身上的份额变得微不足道。同样，这也是我对未来如何展开的核心预测，尽管结果可能走向两个方向。

我本来想提出一个观点，但意识到这是个谬误，而它之所以是谬误，原因很有趣。我本来想说，很难想象一个世界，有数万亿的机器人，却只有几十亿人类，而我们花在机器人上以及制造更多机器人上的累计金额，竟然少于我们付给马格努斯·卡尔森的费用——

但我随后意识到这是个谬误。世界上的晶体管数量绝对有万亿倍，甚至可能是千万亿倍。你的同事查德·琼斯有一个非常有趣的结果，显示经济中用于支付计算（即支付晶体管）的份额一直在下降。你提出的观点是，思考摩尔定律的一种方式是：价格由什么决定？价格由供需决定。所以我们不仅以更低的成本生产更多晶体管，而且边际晶体管的价值也在下降，对吧？

所以，正如你所说，摩尔定律的另一种表述是：哦，我喜欢摩尔定律的悲观框架——每18个月，计算的价值就减半。

没错。

对。就像我们这么快就用尽了计算的应用场景，以至于它支撑着摩尔定律。

而这实际上与关于AI的对话直接相关。也许第一次，这不再成立了，对吧？这里一个著名的事实是，现在租用一块H100的成本比三年前更高，尽管我们拥有更先进的技术和全球更多的算力。因为随着模型变得更聪明，计算的机用成本也更高了。

没错，你可以想象我们永远无法满足对计算的需求。只要这种情况持续，经济中用于计算的份额就会不断增加。

没有多少机构像简街（Jane Street）那样深入思考过如何将聪明人培养成世界上最顶尖的研究员和工程师。这在一定程度上依赖于学徒制模式，即新员工会与资深导师配对。但简街也开设了一系列课堂式讲座和实践训练营。这些课程涵盖多个主题，且内容相当深入。有一门课专注于使用 strace 和 gdb 等工具逆向工程系统，另一门课则教你如何将代码性能分析精确到缓存层级。重要的是，简街设计这些课程不仅是为了传授相关的对象级技能，也是为了传递相关的隐性知识。例如，他们为期一周的神经网络训练营从通用理论开始，但很快便进展到如何将神经网络应用于交易。在这里，他们会讲解简街员工常遇到的具体障碍以及他们想出的应对方法。简街对这类学习极为重视。每个办公室都设有专用教室，课程也被列为常规工作的一部分。如果你想在这样一个地方工作，简街正在招聘。你可以访问 janestreet.com/dorkesh 查看他们的空缺职位。

有一种可能性，嗯，莫莉·金德（Molly Kinder）写过一些关于这种“混乱中间地带”情景的文章。这种可能性让我想到，至少在财富分配和再分配方面，AI 的快速起飞是否可能更好。我想问你，以下这种可能性是否有可能，或者是否存在任何假设能让它成立：AI 使得许多工作被自动化，导致很多人失业，但在自动化过程中，它并没有创造出足够的财富来补偿那些被解雇的人。这就像是一种帕累托改进，每个人都因 AI 自动化而变得更好。当然，从表面上看这必然成立，因为无论公司通过不支付人类工资而节省了多少钱，这些资源仍然存在于经济中，可以补偿给人们。但如果政府不知道具体谁因 AI 失业，就会出现分配效率低下的问题。还存在一个政治问题：比如，如果 Meta 的员工先被解雇，他们年薪 20 万美元，那么每年给他们一张 20 万美元的支票，而许多仍在工作的人收入却低得多，这种情况在政治上是否可持续？那么，你是否认为这种情景是合理的：AI 确实自动化了许多事情，但自动化带来的财富创造却不足？

呃，我认为这——

这合理吗？

可能。对我来说，这似乎是一个相当狭窄的时间窗口。我的猜测是，如果我们拥有能自动化如此多工作的技术，以至于它成为一种新的政治问题，那么经济蛋糕也会快速增长。除非所有这些被自动化的职业的生产力只是略高一点。也就是说，替代所有软件工程师所需的资本成本，只比我们支付给软件工程师的工资略低一点。

为什么这种情景不合理呢？比如，一家公司可以通过解雇一批软件工程师来省钱，但从长远来看，存在杰文斯悖论（Jevons paradox），我们无法提前预知会用更多软件做什么，肯定会有更多用途。但在短期内，事实就是很多人被解雇，他们还需要弄清楚如何利用多出百万倍的 JavaScript 代码。

嗯，担忧在于，假设你从那些白领工人身上节省下来的钱并没有推动经济增长，而只是创造了一些可以分配到其他地方的资源，那么这些资源是否足以实施一项广泛的再分配计划？因为你只是从少数人身上省下了钱。

除非你能确切地知道如何把这些钱直接给到他们手中，否则就会面临一个问题：我能否用省下的钱来实施全民基本收入（UBI）？

是的。

那么问题就来了：也许历史上每次这种情况发生时，技术前沿都大幅扩展了。我不知道这是否总是如此。

是的。是的。

好的。

所以，这非常有帮助。要让这个情景成真，需要满足很多条件，而每个条件似乎都不太可能。第一，必须能够以零散的方式自动化整个白领工作，也就是说，你只能自动化软件工程师，但同一个程序不能同时自动化会计师、分析师或其他岗位。而我认为，至少我对智能的理解是，像软件工程这类任务的广度，以及智能的本质，决定了如果你真的能解雇所有软件工程师，那你就已经具备了自动化各种白领工作的能力。所以，这些裁员确实带来了巨大的潜在节省。同时，AI 会比人类劳动力更便宜。如果这两点都成立，那么那种我们实际上没有足够财富来分配的“混乱中间”情景似乎不太可能。问题在于，最好的征税和再分配方式是什么。

但这难道不适用于任何形式的政府再分配计划吗？

但这又回到了指数化的问题，因为如果指数化很难，那么全民基本资本也很难。

对。

比如，如果 Anthropic 归零，但某家随机机器人公司拿走了所有剩余价值呢？

正是如此。

对财富税的一个担忧是，没有政治上可持续的均衡点，比如 0.5% 的财富税。这当然也发生在所得税上，对吧？它从低税率开始，比如为了战争之类的原因，然后慢慢逐步升级。直到美国的边际税率大概在 40% 左右，某些州甚至超过 50%。对于资本税，我们有必要担心吗？它会不会扭曲投资？因为人们会想，我为什么要投资 Anthropic 或 Intel？政府会拿走越来越大的份额，稀释我的股份。

等等。我认为有必要区分收入是如何筹集的——即征什么税——以及如何分配。政府可以通过广泛征税，然后购买 Anthropic 的股份，再分发给所有人。

好的。

这可能是正确做法。希望一些民粹主义提案不会干扰这一点，比如没收某个大家恰好知道的特定公司。

是的。但那么，你是说可以有一种最优税，比如我们对外部性征税，或者对土地征税，或者——我想我们可能需要对除了这两者之外的东西征税，但那种税——

是的，或者对消费征税。

好的，所以是消费税，比如欧洲的增值税那种，让政府去买一堆股票，然后分发给所有人。

是的，是的。这和直接重新分配股票不会有太大区别，但会略有不同。

好的，我很好奇，人们经常讨论是否已经出现了白领末日。有没有任何证据表明，AI 已经导致了大规模自动化或失业？

所以你的意思是，增长比以前慢了，但即使是入门级软件工程师，仍然有增长。是的，没错。那你如何看待那些大学毕业生说他们更难找到计算机科学工作的传闻证据？

你觉得找工作对某些人来说一直很难，现在只是被套上了 AI 的叙事。就像裁员一样，可能只是正常的裁员，却被说成了 AI 导致的裁员。

这让人意外吗？考虑到AI能做的这些事情，这其实是个老生常谈的故事。如果你自动化了一些互补性任务，那么与自动化互补的人类劳动的整体价值会上升。

对，没错。

是的。

但我认为这个需求弹性论点非常重要，无论是对于人们提出的很多论点，还是对于人们使用的很多标签——他们往往不理解背后的因果关系。人们经常谈论杰文斯悖论。

这个想法是，当某样东西变得更便宜时，你会想要更多，以至于总花费反而增加。著名的例子是200多年前英国的煤炭。但这只有在需求高度弹性时才会发生。很多东西的需求并非高度弹性。比如，如果石油变得非常便宜，并不会神奇地——对吧？——突然出现更多汽车，导致我们使用的石油比之前多得多。

至少短期内不会。

没错。长期弹性高于短期弹性。但即使在长期，农业也是一个经典例子：如果我们把经济中与过去相同比例的资源投入农业，我们可以生产更多食物。实际上我们已经生产了更多食物，但如果100年前用于生产食物的经济比例现在仍然用于生产食物，我们还能生产更多。但人吃饱了就不再吃了。所以，关于软件的说法是，它并非市场固有的属性——随着它变便宜，你就会一直想要更多。绝对不是。软件是一种特殊的商品，随着它变便宜，我们会想要更多。这也非常相关——你写过一篇文章讨论这个——这个播客很多内容都是在总结你的文章——Citrini有一个非常流行的未来情景规划，预测由于自动化和强大的AI，会出现经济衰退，因为白领工人被自动化，他们的工资——原本用于消费——将消失，从而导致经济低迷。你想总结一下为什么这不太可能吗？

对。

然后就会出现负增长。关键是，即使我们不再想要更多东西，在出现奇点的情况下我们却不想再投资，这很疯狂，对吧？我们不会说“让我们建更多数据中心，建更多晶圆厂”。即使有了AGI，我们也不会投资更多数据中心来运行它。而这正是推动经济增长的动力。

嗯。

对。

谷歌最近发布了Gemini Omni，其视频编辑能力令人印象深刻。你可以上传一段视频，然后让Omni执行诸如更换背景、调整光线、添加或移除元素等操作，同时保持其他内容的一致性。但Omni不仅仅是一个视频编辑器。我有机会与Omni背后的研究和产品团队交流，了解到它实际上是未来前沿模型训练方式的一个预览。它可以接受任何类型的输入，无论是文本、音频还是视频。虽然目前它还不能做到，但从架构上看，它同样能够无缝输出图像或文本。因此，这本质上是对多模态数据迁移假说的一次押注——模型通过观察其他数据类型，能更好地预测某一种数据。例如，Omni在视频中准确渲染文字方面表现非常出色，尽管谷歌并未针对这一能力进行专门训练。Omni是迈向更精确世界模型的下一步，因为要预测视频的下一帧，你必须对物理和空间动态有深刻理解。随着Omni的发展，观察它能否缩小模拟与真实之间的差距将非常有趣。因为在现实世界中收集数据比在模拟中困难得多，机器人技术的进展一直落后于AI的其他应用。但如果你拥有能够模拟现实的优秀视频模型，这种情况或许会改变。与此同时，如果你想尝试Omni，可以在Gemini应用（gemini.google）中体验，或者使用谷歌的AI创意工作室Flow（flow.google）。我们刚才在讨论为什么大语言模型没有带来更多的自动化，一个可能的机制是，正如你提到的O形环理论——O形环理论指的是挑战者号航天飞机爆炸的原因，因为一个部件失灵导致整个系统崩溃。这或许是一种更普遍的经济生产模式：你必须确保所有环节都可靠且运行良好。目前，你无法将整个工作完全自动化给AI，尽管它可能以一定概率完成任务。你需要极高的可靠性，以免破坏最终产品。我认为这或许能解释为什么现在的自动化程度低于预期。但一旦AI足够先进，情况就会反过来——当整合人类进入未来产品的生产流程时，即使不考虑人类更昂贵或更笨拙等论点，仅就生产流程本身而言，未来可能会完全围绕AI劳动力来组织：它们用神经语言交流，思考速度快成千上万倍。因此，即使存在某种比较优势让雇佣人类显得合理，交易成本和对可靠性的担忧也会使人类难以融入未来的生产流程。

是的，这听起来很有道理。特别地，我想区分一点：如果你自动化了工作的十分之九，人们可能会转向剩下的十分之一，但根据Ganz和Goldfarb最近提出的O形环自动化模型，他们可能会面临十倍于之前的工作量。这个模型指出，如果你只能自动化工作的十分之九，但质量低于人类水平，你甚至可能不想自动化那十分之九。这同样可以对称地解释为什么我们不再用人类做一半的工作——因为人类无法达到AI在其他部分的质量或速度，最终会拉低成品的质量或速度。

顺便说一句，你提到的这个模型在我看来非常合理地解释了为什么更多律师、会计师或软件工程师没有被自动化。比如，有些情况下，事情有很高的概率按预期运行，但你付钱给律师的原因其实是“不，真的，我的公司不能因此倒闭”，而且你还得为大量监管类事务买单，对吧？

是的，是的。我的意思是，所有这些关于政治决策的摩擦——我们习惯只信任人类，只让人类担任立法者、法官、陪审团，或者通过许可制度让某些职业保持人类主导——在我看来都是过渡性的，对吧？历史上，我们对人类的期望以及政治组织方式已经改变了很多次，从狩猎采集小群体到帝国等等。一旦AI运行的政治系统比替代方案高效得多，它们很可能会在竞争中胜出。

说到这个，我们一直在讨论人类当前的偏好如何影响未来稀缺商品的种类。但当然，未来会有不同类型的实体——AI，对吧？曾经地球上没有人类，但进化选择了具有特定驱动力和偏好的智能体，因为它们更有可能生存下来。这些偏好现在基本上决定了价值100万亿美元的世界经济生产什么。那么，为什么未来AI不会出现同样的情况呢？这甚至不是一个灾难性错位的世界——也就是说，它们不会杀死所有人。但即使不是个体AI，包含AI的公司也会经历进化。进化会青睐什么？很可能会青睐那些增长的公司或智能体。有一个选择论证：增长的事物会更普遍。仅凭这一点，你或许就能预测它们的偏好。但那种偏好人类内在价值的实体，会是积累资源最多的类型吗？很可能不是，对吧？它可能更倾向于储蓄，对相关资源（计算能力是显而易见的一种）有永不满足的需求。我们能据此预测未来将主导的非人类偏好吗？

这取决于繁衍是如何进行的。

这里有一种思考方式。世界上最富有的人的财富是如何体现的？当然，他们可以——就像我们之前通话时提到的，他们的消费更倾向于关系型商品。比如马克·扎克伯格为他妻子的生日雇佣MMA教练和舞者等等。但他大部分财富只是Meta的股票，作为控股股东，他可以说，嘿，Meta，把所有这些收入给我，或者把这些财富都变成股息收入，然后我用来消费。但他却选择让财富复利增长，让Meta建造更多数据中心。所以，即使不改变人类，这种情况也会发生。只是那些最富有、财富因复利而增长的人类，有一种近乎尼克·兰德式的偏好，即加速资本积累。嗯，这似乎确实表明，这是否是决定未来生产何种商品的重要因素？

是的，我大致可以说，有两种方式可以得到这两种人：一种偏好人类治疗师，另一种觉得与AI互动没问题。如果他们在资本上的满足速度相同，对吧？但偏好人类治疗师的人只是也喜欢一些人类固有的服务。嗯，那么未来资本的边际价值与今天资本的边际价值相比，对于他们每个人来说，如果起点财富相同，应该基本相同。我的意思是，可能存在交互效应之类，但基本上应该是一样的。如果差异的驱动力是，一个人因为被探索宇宙、把大脑变成银河大脑之类的前景所吸引，所以对资本永不满足，而另一个人则会满足，那么那个对资本不满足的人，如果理性的话，会有更高的储蓄率。是的。好的，那么长期来看，他们将拥有大部分财富，整体资本份额基本上就是这个人支出的资本份额，那将是1。

重要的是，我们不是在讨论一个假设的未来。埃隆·马斯克正在谈论月球上的质量驱动器，而他显然是世界上最富有的人。我的意思是，显然目前他的投资既投向人类也投向机器，但我认为他并不特别在意他未来的研究人员和工程师是人类还是AI。

他繁衍得也很快。

是的。

所以无论如何，我只是认为值得区分这一点。是的，目前有一些富人似乎对资本不会很快满足，嗯，所以也许长期来看他们会储蓄最多。对，嗯，这对我来说似乎是对的。嗯，我还想说，即使他们在生物学上繁衍得更慢，长期来看这可能并不重要，对吧？

是的。

是的。

不一定。我想你可能在说同样的观点，但我的意思是，他们可能只是——他们的投资必须通过实际劳动者来运作，这些劳动者需要去做一些事情才能使投资生效，而这在未来可能不会发生，只有消费是由人类中介的，对吧？因为投资可以由机器人完成。

是的，没错。而且关于之前提到的“混乱中间”，我们说为什么这不太可能，我觉得我们可以类似地讨论：要让资本回报率降低，增长率必须变得更低，对吧？我的意思是，它肯定要低于我们在变革性AI时期所预期的水平。你知道，如果出现爆炸性增长。

是的，既是也不是。我的意思是，资本存量可以快速增长，但资本品相对于消费品的价格可能下降得比资本存量增长更快。

哦，有意思。

所以你的意思是，我可以把钱投到赚取30%利息的地方，或者投资数据中心之类的。如果未来增长率很高，就会有某种东西带来高回报。或者，由于所有这些技术突破，或者某个我现在非常想买的酷产品，这两种选择都会很有吸引力。

对，不一定非得是新产品。也可能是人类内在需求的产品，对吧？

不过如果是人类内在需求的产品，我们未来想要它的程度会比现在高得多，因为它对比的对象是——

所以我们可能现在和未来对它的需求是一样的，就像看芭蕾舞表演的边际效用现在和未来完全相同，对吧？但机器人的边际效用可能比现在低得多，对吧？所以，以机器人为单位，我们未来想要它的程度比现在高得多，对吧？对。那么利率会是30%吗？这取决于你说的实际利率是什么意思。

嗯。

好吧。可能现在每个机器人明年能变成100个机器人，对吧。所以以机器人为单位，利率是10000%。

对。

但如果机器人价格下降得非常快，我明白了。

但这里价格以一种有趣的方式调整，很多宏观模型都不允许这样。

所以发生的是所谓的投资特定技术变革，资本价格相对于消费价格在下降。而不是像标准宏观经济学那样，假设存在一个叫"产出"的混合体，可以一比一地分配给资本或消费。对。在这个世界里，这种情况不会成立。

对。

明年的每一单位资本所放弃的消费，比今年的每一单位资本要少得多。因为现在的一个机器人明年会变成很多机器人，但芭蕾舞演员的数量不变。

对，没错。但现在我们讨论的是消费世界，而在投资方面，可能有一些贪婪的工业巨头不断想要更多机器人，仅此一点就足够了。

确实如此。

来提高机器人的边际价值，从而降低劳动份额。

是的，没错。

好吧。但我们为什么不认为贪婪的工业巨头会继续存在呢？

嗯，我们走着瞧。

对，我觉得这确实是个历史问题，但在很多情况下，似乎当他们接近生命终点时，要么把财富交给孩子，而孩子管理资本的能力更差，甚至无法让财富以经济增速增长，更不用说比父母那样更快了。而且他们也会想，我不太在乎孩子是否拥有这些财富，比起我玩这个积累财富的游戏。所以我就把它捐给某个信托基金。如果人们活得更长，或者他们能找到某种方式让信托基金与财富积累过程保持一致，感觉这里的演化趋势非常强烈，只需要几个这样想的个体，就能成为决定整个经济体偏好的主导因素，因为这部分增长比其他部分快得多。

对，对。

我觉得这个论断其实更强一些，不只是说可能会有一些例外，而是说从历史上看，直到今天，我们确实看到了这些例外，但它们并没有真正主导经济，因为存在所谓的"消散冲击"。也就是说，他们把财富传给了想要它的子女，或者投入基金会花掉了。这其实算不上什么冲击，但确实如此。人们可能喜欢用各种方式在宇宙中留下自己的印记，想要永生，非常富有。这是一种奇怪的偏好，但并非假设性的偏好。我觉得这就是关键所在。不过谁知道他们脑子里在想什么呢。我认为，即使没有那种内在的积累偏好，也有一些工具性的理由让人们重视积累，这点也值得提出来。比如，有人渴望政治、哲学或宗教上的影响力，对吧？于是他们陷入了一场关于社会形态和人们信仰的军备竞赛。另外，还有一种不同的情况，不是军备竞赛，而是纯粹的功利主义慈善。所以，当我思考为什么未来拥有大量财富可能是好事时，作为一个古典功利主义者，对我来说，至少有一种方式可以让未来财富的效用函数几乎永不满足，那就是创造新的幸福生命，对吧？他们只是增加了世界的总福利。这个想法至少可以追溯到博斯特罗姆的"天文浪费"论点，即我们可以在恒星周围建造戴森球，把所有的能量都转化为非常幸福的模拟世界等等。

我认为这个优化器的贪婪具体是什么并不重要，不管他们贪婪的是什么。我觉得抛开功利主义哲学之类的，纯粹一个冯·诺依曼探测器——我不知道这样说是否准确——它对随机占据的太阳系有很高的边际价值，因为那会变成更多的太阳系，进而变成更多的太阳系。但冯·诺依曼探测器是真实可能存在的东西，对吧？那是一个非常贪婪的优化器。

是的，如果我们讨论它们是否会主导经济，这可能有点技术性，但我们通常只把最终消费品和投资品算作GDP，对吧？如果只是这种现象——

冯·诺依曼探测器怎么体现在GDP里？

没错，对吧？所以如果我们把它视为一个拥有自身的实体，它在边际上优化，比如多花一点资源造一个殖民另一个恒星系的冯·诺依曼探测器宝宝，还是造一个芭蕾舞演员之类的。它不太看重芭蕾舞演员，但就是这样。

对。但问题是，在一个冯·诺依曼探测器可能存在的世界里，世界会是什么样子？劳动份额有可能很高吗？

不过，我觉得按照我们通常的核算方式，劳动份额是有可能很高的。

目前强化学习最大的问题之一是信用分配，因为你有非常长的 rollout，需要知道它们成功或失败的原因。Cursor 的一位研究员 Sasha Rush 给我上了一堂黑板课，讲解他们如何使用带有文本反馈的定向强化学习来解决这个问题，并训练 Composer 2.5。我是用 iPhone 拍的，所以画质请见谅。我们生成了这个输出。对，它只是一串 token。我们会把这串 token 发送给一个模型来读取。

对。然后我们进行文本操作。我们直接拿那个轨迹，硬塞进一些额外的 token。Cursor 注入这些提示 token 后，再运行一次前向传播。轨迹本身没有变化，但提示让模型给错误 token 分配更低的概率。然后 Cursor 训练原始模型去匹配这些概率，本质上就是教会它降低这些特定错误的权重。还有很多细节我们没法在这里展开。如果你想看完整版，我发在了我的 Twitter 上。如果你想试试 Composer 2.5，请访问 cursor.com/dwarkesh。经济学家对不处于 AI 生产链中的国家有什么建议吗？如果你既不生产 AI 模型，也不生产 AI 模型所需的硬件，不是像韩国生产 HBM、台湾生产 FAS、荷兰生产 ASML 那样，那么像印度或尼日利亚这样的国家该怎么办？他们现在应该做什么？如果你现在和莫迪谈话，你会说什么？

是的。

对。

是的。在我看来，这像是"混乱中间地带"案例的延伸。嗯。混乱中间地带可能只在很窄的场景下才糟糕，原因之一不仅仅是重新分配很容易（因为蛋糕可能更大），还因为利率会高得多，或者说，除了人类内在价值之外的所有东西的价格都会快速下降。这其实是同一枚硬币的两面。一点储蓄明年就能变成大量的消费，对吧？所以，要让我们跨过那个门槛——即资本的生产力足以自动化大量工作，但又不足以让利率变高或资本生产的商品价格大幅下降——事情必须变得非常糟糕才行。所以，即使没有重新分配，一点储蓄也能拯救很多人。

抱歉，你的意思是，如果发展中国家有一些储蓄——对，对——在发达国家，那将足以产生大量盈余，然后他们就可以——

所以，但，但我是说，嗯，在这种情况下，混乱的中间地带可能会更宽。我是说，他们从很低的起点出发，无论是储蓄水平还是与全球经济的挂钩程度。我认为他们现在就开始行动很重要。至于具体形式，是建立主权财富基金投资于正确的供应链，还是直接补贴本国公民让他们购买一点——

这实际上，我认为，是一个关键点。我们之前讨论过，为什么像洛克菲勒家族这样的人，如果我们的论点——即这类贪婪优化者的选择成立——他们的后代却没有控制一切。一个论点就是，追踪整个经济非常困难。也许他们本可以决定让后代追踪经济，让财富随着经济增长率增长，那么他们现在就会是万亿富翁。他们的后代现在就会是万亿富翁。但在指数基金出现之前，很难获得一个代表性的——实际上，过去100年中，只有很小一部分经济份额创造了现在大部分的价值。如果你错过了那些特定的东西，你的财富基本上就会停滞不前。嗯，也许从指数基金诞生到大约5年前，有一个短暂的金色窗口期，那时你确实可以追踪经济，让你的财富随经济增长率增长。但现在我们处在一个回报高度集中的世界，尤其是对私营公司而言，正如我们在博客文章中指出的，这种资本普通人获得的机会不成比例地少，而他们的大部分资本，至少在美国，就像拥有一栋随机房子。

或者房子的一部分。

是的。正如我们所说，这是一种独特的资本，特别不适合作为AI生产、AI服务、机器人或富人竞相抬价的那种商品的补充。完全正确，因为现在房子的价值是什么？实际上是土地靠近其他人以及模块化的关系性东西。这不会成为主要的生产要素。

对。

但退一步说，我想表达的是，如果现在追踪经济变得更难，而这本应是发达国家普通人通过某种普遍基本收入来调节AI财富的主要方式，也是发展中国家获取AI财富收益的主要方式。但这很难。我不知道。尼日利亚拥有很多SK海力士和Anthropic的股份吗？我猜没有，对吧？仅仅拥有标普500指数是不够的。

但这确实是个有趣的观点。你越想——我还不完全认同这个观点，我只是在随口说。你越想AGI会像——嗯，我们的经济会像现在依赖电力一样依赖AGI。也就是说，整个经济会发生广泛的根本性变革。它越像电力，就越像未来标普500中的每一家公司。

没错。

如果它能进入标普500，那一定是因为它利用了AI。

是的，没错。但话说回来，我想这完全是——如果你看看标普500随时间推移的集中度，就像这些大型科技公司，集中度更高。我想这是一个很好的——所以根本问题是，很难推断这些私营公司能控制多少AI收益。

这说明每个问题都相互关联，因为关于是否存在失控收益的问题，又连接到递归改进的问题，即使没有递归改进，还有持续学习或在线学习，让模型在工作中学习。所以一旦部署，它就能学到更多。这些只是技术问题或预测技术问题，最终会影响乌干达是否能获得AGI的回报。嗯，但听起来你的答案实际上是——我之所以强调这个问题，是因为我认为对于混乱的中间地带和发展中国家，一个常见的幼稚建议是：你得搞再培训，搞就业计划，或者让他们在我们国家建数据中心。而我认为你们在建议更接近“买入AGI指数”。这可能是更清晰、更可能成功的策略。

是的。

是的。

是的。所以回到问题，是选择再培训还是尝试追踪指数。我会优先考虑追踪指数，因为AI可能很快冲击世界。但我肯定不会只依赖这个，因为混乱的中间地带或长期时间线的情况——如果我们不会很快得到AGI——如果你能通过再培训让人们更好地利用最新计算浪潮，那就会留下很多价值。我不认为这两者是非此即彼的。

也许对此悲观的原因是，一个国家贫穷的原因之一就是教育体系差。所以成为全球最擅长再培训人们使用AI的国家，对这个贫穷国家来说似乎不是一个特别有前景的策略。

是的。

关于索引的便利性，我想快速说一句。我认为这确实值得关注和留意。但正如我们自己的文章中所讨论的，也像其他人指出的那样，索引本身已经不算难了。所以，虽然私有化回报有所增加，但在美国，非小型公司的总市值中，私有化部分仍然远低于20%。每个人都在想OpenAI和Anthropic，如果所有财富都集中到它们那里，那么关于开放模型是否只会稍微落后的问题就变得重要了。不过，它们可能也很快会上市。而且，那些阻碍公司上市的摩擦因素，本身也可能被AI大大缓解，比如各种披露要求等等。它们也想接触更多潜在投资者。如果让我猜的话，我猜长期趋势仍然是降低这些摩擦，让越来越多的人更容易进行索引，尽管最近出现了反向波动。

这让我比之前更希望实验室能被商品化，或者至少尽快上市。但最好是完全商品化，因为我认为，如果AI的收益像电气化那样难以被独占，那么AI会更受欢迎，更重要的是，更有可能带来广泛的繁荣增长。

我的意思是，电力不会抢走你的工作，但好吧，它确实会取代一些人的工作。

对。

希望这不会太跑题，但我觉得如果不指出商品化前沿AI模型的一大代价，那就是技术竞赛的动态。出于安全考虑，你可能希望前沿公司少一些，这样每家公司都有缓冲，以便在需要时放慢速度以确保安全。这与我们之前关于收益广泛获取的观点相关，我认为这里的权衡比一些人想象的要小得多。有些人认为，要么前沿AI被商品化，我们享受好处，但市场激烈竞争可能带来风险；要么因为领先者和落后者差距大而更安全，但领先者会变得极其富有。其实不然，你可以保持相对较大的差距，但通过上市公司所有权广泛分布。

是的，是的，是的。最近我一直在想，商品化的风险——即它扩散了将AI用于有害目的的能力——是值得的，因为好处是，我担心不仅这些集中化的实验室会让剩余价值无法在社会中广泛分配，还会为政府创造一个非常具体、清晰的政治目标。我们看到了针对Anthropic的《国防生产法》威胁。如果没有一个或几个明显领先的实验室，这种威胁就很难实施。谢谢你们参与这次讨论。

谢谢。我觉得还有很多未解决的问题，但至少知道在这些重要维度上的第一个分支是什么，还是很有帮助的。

谢谢。好了。