🔬“我们有语言基础模型，但没有物理基础模型”——阿尼玛·阿南德库马尔，布伦计算学教授

于是我们开始寻找有趣的案例，其中一个就是天气建模，因为天气数据是开源的。既然数据就在那里，我们就想，好吧，直接试试看。这就是它的美妙之处——只要有数据可用，就是好消息。但当时很多气象科学家确实提醒过我们。那是2021年，他们说，不不不，这太难了。传统天气预报已经发展了几十年，那是非常谨慎的、自下而上的基于物理的建模，对吧？所以假设这是流体动力学，你能预测第二天的天气吗？当时很多想法是，AI不可能击败天气建模领域几十年的积累。但出乎意料的是，我们直接去做了，训练了模型，用神经算子有效捕捉了这些现象。然后我们发现，它不仅准确，几乎接近传统模型能达到的精度，而且速度快了几万倍。以前需要大型超级计算机才能运行的任务，现在就能跑起来。我们只需要一块消费级GPU。模型很小，适配得很好，速度快，精度也高。我觉得这彻底改变了大家的想法。

是的，谢谢Brandon和RJ。很高兴来到这里。我真的很喜欢“潜空间”这个词，因为它在我很多工作中都扮演重要角色，因为世界本质上就是潜在的。简单介绍一下，我在AI领域工作了二十多年，甚至在深度学习之前，当概率模型的理论基础还需要构建时，我就参与其中。后来深度学习开始兴起，我也一直涉足工业界，直到最近。我之前在NVIDIA领导AI研究，再之前在Amazon Web Services帮助创立了云AI团队，并在近十年前构建了第一批云AI产品。所以，一只脚在工业界，一只脚在学术界，我觉得这给了我很多有趣的视角，知道如何将理论与实践结合，思考大规模AI，同时也思考有原则的AI。

对我来说，广义上讲，我的主题是AI与科学，如何把它们结合起来。大约十年前我开始在加州理工学院工作时，我的热情一直是科学和物理。但我在做AI，所以如何结合两者，就是最初奠定基础的地方。对我来说，这有几个方面。一是人们一直在想如何用语言模型做科学。是的，你可以做很多假设生成，可以有想法，但光有想法不够，对吧？你可以有很多想法，瓶颈在于去测试和验证它们在现实世界中是否有效。这个方面是我最近很多关注的焦点——如何确保我们构建的AI有保证，能在物理世界或科学领域的任何方面工作。一种思考方式是，我们能否建模物理世界并保持物理正确？这就是神经算子发挥作用的地方。另一个方面是，我们能否在符号层面验证某些东西？比如，如果我们声称某个定理是正确的，就必须去验证它。这就是Lean作为形式语言在验证中的用处。那么如何把它与语言模型结合，是数学推理的前沿领域。TorchLean就属于这个范畴，我们不仅想验证数学陈述，还想验证神经网络自身声称能交付的东西。比如，如果你现在用神经网络，想知道它是否稳健，比如你想在控制回路中使用神经网络，或者你想控制无人机、核反应堆。所有这些，最终当我们用深度学习构建AI系统并放入控制回路时，我们需要稳健性。所以TorchLean可以帮助我们无缝地进行这些验证。我们现在可以让神经网络成为验证回路的一部分，并确信可以恰当地使用它们。

我们在播客里已经讨论过Lean，大家应该也熟悉神经网络，但神经网络看起来非常不受约束。你说的证明是什么类型的？是说输出的界限、输入的界限吗？你能用TorchLean证明什么？

是的，TorchLean是一个整体框架。它真正实现的是，你现在基本上可以用Lean写神经网络。不是用PyTorch，而是类似PyTorch的抽象，但可以在Lean中编写。所以它可以完全在Lean中形式化。然后有几种实现。我们有用于认证稳健性的算法，比如CRONE。这些都在这个框架下实现。所以——

CRONE。CRONE是其中之一——你能解释一下吗？对于认证稳健性，有不同的方法来界定界限。界限有多紧，取决于松弛技术。不深入细节，有很多这样的算法，但我们正在实现它们并在Lean中启用。所以我们可以无缝运行两者——既可以用类似Torch的框架简单写出神经网络，也可以对它们做形式化陈述并验证。所有这些都可以在一个框架中结合起来。

那么你能声称的界限的例子是什么？比如，我们在运行核反应堆，不希望它熔毁。你能对输入和输出提供什么样的保证来帮助避免熔毁？

我的意思是，最自然的一个就是之前提到的认证鲁棒性。也就是说，如果我们的输入受到一定量的扰动，输出会受到多大扰动，对吧？这种敏感性分析是另一个术语。因此，为不同的神经架构提供这类界限，自动获得这些界限，不仅能帮助我们在控制回路中训练神经网络表现良好，还能关注安全性、鲁棒性或稳定性。这些都是控制系统中人们关心的问题。所以这是一个应用例子。实际上，这更广泛地涉及在多种涉及神经网络的场景中需要验证。控制回路是其中之一。另一个例子是，我们使用物理信息神经网络来求解偏微分方程或构建保证满足特定物理定律的系统。但我们还想验证，比如，我们的神经网络是否仅在有限精度下训练，对吧？那么我们能克服这些要求吗？当我们使用有限精度时，会有什么缺点？我们能否也对这些进行界定？

哦，对。

所以这些是TorchLean中处理的另一类界限。因此，关于精度的影响、扰动的影响等所有方面，我们现在都可以通过Lean中实现的算法无缝地成为验证循环的一部分。

那么，TorchLean的描述能力是否足以描述任何神经网络，还是存在一些限制？

是的，它本质上是一个类似PyTorch的框架，对吧？你可以以相同的方式方便地定义神经网络的层，但后端使用Lean帮助我们形式化和证明。

对于像Transformer这样的架构，例如，在非常大的神经网络上证明这类界限是否合理？

这个问题很好。一方面是有框架，另一方面是可扩展性。Lean在这方面还有很多不足。基于CPU的，而且将其移植到GPU上有很多细微之处。所以还有很多工作要做。我们开始做的是框架，但要使其在非常大的规模上更高效，仍需大量工作。

但这对Lean整体来说也是如此。

是的，物理信息神经网络是说，我写下偏微分方程，希望优化成功，得到答案，对吧？当然，如果优化完全不是问题，这将是通用的。你可以解决所有问题。我们都高兴，但事实并非如此。优化通常非常困难，尤其是对于时间依赖的问题，即不仅仅是静态的。你还有时间，时间分量在许多情况下可能是湍流的，比如流体动力学。如果你运行足够长时间，它可能变得混沌。这时非常小的细尺度效应很重要。因此，在这些情况下，试图在所有时间求解偏微分方程是绝望的。这不是我们能掌控的优化景观。这就是为什么从头开始用神经网络解决这些方程是不可能的。所以PINNs并非处处有效。我们提出的神经算子想法就是为了克服这一点，对吧？也就是说，我们不能仅依赖物理约束来得出答案。我们有很多可用的数据。我会提到天气例子，我们甚至收集数据，对吧？所以我们不仅解方程得到合成数据，还有通过观察天气获得的真实数据。为什么不利用所有可用数据，而不是仅依赖从头解决偏微分方程和其他物理问题？因为正是数据驱动的方法使得快速获得答案成为可能。通过神经算子，我们可以将两者结合起来。我们可以利用所有可用数据，添加物理约束，从而克服PINNs面临的限制。

你能多给一点关于区别和为什么这可能实现的直觉吗？我听到你提到，在PINNs中，你基本上是将物理约束嵌入神经网络，但随时间或其他变量会变得不稳定。而如果加一点数据，我直觉上能理解为什么会有帮助，但你能给一点关于发生了什么、区别在哪里的直觉吗？

对于PINNs，每个方程实例都是从头开始解的，至少在经典意义上是这样。你开始，取你要解的方程规格，希望优化景观成功，但很多情况下不会。而使用神经算子，我们做的是拥有大量数据。所以我们有训练阶段，教它如何为不同方程实例生成解。就像其他监督学习一样，在测试时，你可以问，你能给出答案吗？你仍然可以用物理约束来指导。所以，它可以是数据驱动和物理信息相结合的。但好处是因为我们有数据，就像你不会被困在优化景观中，对吧？训练时你知道答案，所以即使在测试时，你也有更好的机会得出正确答案。

我的理解是，神经算子是对数据拟合的函数，或者神经网络学习将函数拟合到数据。这是一个好的直觉吗？

是的，所以神经算子在这方面与神经网络类似，对吧？你是在数据上学习。但区别在于，神经算子可以看作是神经网络的泛化。对于标准神经网络，输入和输出的大小是固定的。比如在语言中，我们有固定的词汇表，固定输入和输出是什么。在计算机视觉的图像和视频中，我们假设一个固定的分辨率，输入和输出始终在那个固定分辨率上，事后无法更改。而对于许多物理数据，关键在于我们的世界本质上是多尺度的。所以你不应该事先决定分辨率。比如，你可能只有粗分辨率的气象数据，但实际现象发生在更细的尺度上，对吧？而且你可能之后想整合更细分辨率的数据或加入更细分辨率的物理约束。所以我们应该拥有这种灵活性，应该把世界看作不是固定分辨率的，而是无限分辨率的，我们真实世界就是发生在无限分辨率上的。这正是神经算子所实现的，因为它们将输入和输出建模为连续函数，可以无限解析，可以无限离散化。这样，在推理时，你可以输入数据并请求任意分辨率的输出。所以你不受限于标准神经网络中训练分辨率的限制。这就是神经算子带来的能力，让我们可以随意放大缩小。

那么显然，正如所说，任何函数在约束不足的情况下，对吧？可能有很多很多函数能拟合这些数据，很容易过拟合。那你如何正则化呢？

是的，当然，如果你问的是在比所见更高分辨率下做预测，也就是我们所说的零样本超分辨率，你是在做一些猜测，对吧？这些模型就是这样做的。它们试图正则化并平滑地扩展到更高分辨率。但当然，如果你给模型额外的信息，比如物理定律，你可以给它偏微分方程约束、守恒定律，然后你可以在比现有数据更细的分辨率上强制执行这些约束，那么从某种意义上说，就有了更多指导。这样，即使在更高分辨率下，它也能得出正确答案，因为你在更高分辨率上给了它约束。这就是我们如何确保这些物理信息神经算子能在比可用训练数据更高的保真度和分辨率下工作。

我的理解是，你的很多工作使用了一种特定的神经算子，即傅里叶神经算子。傅里叶是一个对偶域，它扩展到了输入的整个域。这可能有很多术语。你能给出一些直觉，说明为什么这很重要吗？它如何帮助？

我刚才提到的，神经算子是一类模型，允许任意分辨率的输入和任意分辨率的输出，对吧？并学习它们之间的映射。这实际上被称为算子，即函数空间之间的映射。这就是“神经算子”这个名字的由来。而傅里叶神经算子是我们早期提出的设置或架构之一。它之所以如此成功，是因为它在效率和表达力之间取得了很好的平衡，对吧？那么为什么傅里叶空间是好的？傅里叶空间允许我们，如你所说，它是一个对偶空间，但它真正让我们能够捕捉非局部现象，对吧？也就是说，在傅里叶域中非局部的东西可以被高效地捕捉。自然界中很多现象，无论是流体动力学、材料变形、量子化学，很多都是非局部的。微分方程，比如导数是局部的，但它的逆运算本质上是在做积分，是非局部的，对吧？所以解是非局部的，这些模型能够捕捉这一点。但与此同时，做傅里叶变换是高效的，并且它很好地捕捉了我们在许多自然现象中看到的归纳偏置。但这并不意味着我们完全在傅里叶基中捕捉世界，对吧？它不是傅里叶基中的线性表示，那是经典数值方法所做的。我们在傅里叶层之间添加非线性，就像Transformer和其他神经网络中那样。我们还添加了残差连接。所以所有这些受其他神经网络启发且在其他神经网络中表现良好的架构方面，结合起来确实帮助我们获得两全其美。你可以这样想，如果我们使用Transformer并且需要非常高的分辨率，由于二次复杂度和全连接，它会变得不可行。另一方面，如果做傅里叶变换，我们有准线性复杂度，并且仍然有全局连接，可以建模这些非局部现象。所以这就是为什么它是一个很好的中间地带。

所以这让你能从其他地方学习——比如，芝加哥发生的事情可能对旧金山发生的事情有影响。也许不是，但这就是这个想法。

是的，这就是这个想法。而且时间上，比如，是的，在这一点上可能是局部的，但最终它们会影响其他位置。所以，是的，在空间和时间上，我们都想捕捉这种依赖关系。

是的，所以今天芝加哥发生的事情，一个月后会对旧金山产生影响，或者类似这样。

是的，所以，你知道，有短期和长期效应。短期来看，我们考虑可预测的天气，但长期来看，我们谈论的是气候，对吧？所以，你可能无法精确地说出芝加哥会发生什么，旧金山会发生什么。这就是蝴蝶效应。另一方面，我们可以给出平均值，比如如果这个整体区域有热浪，我们大致知道气温会高于平均水平。所以这些是我们能预测的方面，一起捕捉。

从架构的角度来看，对于这里所有的AI工程师，我们只是在傅里叶域中做所有工作，但基本上还是同一个神经网络，只是我在傅里叶域中操作？还是有其他方面是正确实现所必需的？

所以想想，也许最简单的理解方式是，你可以把Transformer架构中的注意力图换成傅里叶，但你仍然有其他非线性部分。你有残差，有架构中许多其他部分仍然提供表达力。我们还有提升到更高维度，比如在通道空间中，以增加表达力。所以所有这些最佳原则仍然存在，但傅里叶帮助我们捕捉全对全的依赖关系，而不需要像Transformer那样巨大的复杂度。

有道理。

是的，这是个很好的问题。这正是表达力发挥作用的地方，对吧？否则，如果你只是对信号进行傅里叶变换并尝试表示它，那正是数值方法一直在尝试做的事情。这需要非常精细的离散化，这也是经典方式模拟成本高昂的原因。而如果我们想摆脱这种模式，转向学习特征——这正是深度学习的核心——那么就不能强制它只停留在傅里叶域中。我们必须赋予它非线性，让它自行发现适合表示信号的基或最佳基。这就是我们拥有的那种巧妙组合：所有这些非线性将帮助它找到正确的潜在空间。这里没有双关语，就是正确的潜在空间。所以，如果你在那个潜在空间中进行傅里叶变换，那可能是一种更高效的表示方式。这是一种思考角度，因为首先，我们将信号提升到更多维度。即使信号本身是二维或三维的，我们现在也将其提升到更高维度。在那个空间中，学习更容易，而且我们是以非线性方式提升的，对吧？所以那里已经存在一个潜在空间。然后我们在傅里叶变换之间进行进一步的非线性变换。这意味着我们在说，是的，也许用这些有限数量的频率模式，表达力还不够。但当我加入非线性时，我可以更优雅地捕捉这些信息。

不，我认为这是个很好的问题——这里存在一个权衡。有趣的是，我二十多年前的本科论文就是关于分数傅里叶变换的。所以是的，单靠这些技术本身并不足以完成计算机视觉任务，但我当时很好奇，这些技术是什么，它们的效果如何。我完全同意你的看法，我们不能强迫自己使用石器时代的技术或经典技术，对吧？我们必须有特征学习，必须有灵活性和表达力，而且它们必须易于优化。这些方面在深度学习中都非常重要。但涉及物理世界和物理数据时，数据量永远不会像语言模型那样丰富，因为我们的天气模型大约只有5万个样本，对吧？5万个样本。虽然分辨率相当高，是全球天气图，但和语言数据相比简直微不足道。在其他领域，数据量更少，因为模拟成本太高，而真实数据可能根本无法获得。因此，我们必须更多地考虑归纳偏置，必须加入物理约束，不能仅仅依赖数据。这就是我认为需要更多思考架构设计的地方。另一个方面是计算复杂度。想想语言，它只是一维的。即使在那里，上下文长度已经达到数百万，我们还在苦苦挣扎，对吧？另一方面，我们现在考虑的不只是二维、三维，甚至四维，即三维加时间。如果每个维度只有几百个网格点——而工业规模通常从每个维度1000个网格点开始——那我们谈论的就是数千亿甚至万亿级别的上下文长度，对吧？所以别指望任何Transformer能处理这种规模。全世界的计算资源加起来都不够。而且首先，它们必须集中部署才能实现这一点。这就是为什么我们需要其他架构。

但我想稍微反驳一下，对吧？视觉和视频语言模型，它们基本上是在学习一种映射。

但分辨率非常低，这是关键。对于物理世界，我需要的分辨率是多少？我提到的是1000乘1000乘1000。所以，如果你算一下，那已经是数千亿的量级了。

是的。

所以，当我们考虑图像和视频时，目前并没有达到那么高的分辨率。

而且视频也是自回归式的，本质上只需要预测下一步。

对，没错。但你在学习，我的意思是，通常你是在学习一个码本，对吧？你基本上是在学习从真实世界到潜在空间的映射偏置。所以如果存在一种从物理世界到潜在空间的压缩方式，那么这些自回归技术就能取得成功。

是的，但关键在于，很多这些用于视觉和视频模型的自回归技术，主要目的是让效果看起来不错，对吧？它们并不是用于非常精确的模拟。而在模拟中，高分辨率和细节至关重要。所以我们必须至少接收那种高分辨率的数据，对吧？我们需要能够处理并推理这些数据。这就是瓶颈所在，因为我们不能简单地抛弃一切，说“哦，让我们在每个维度只保留100个或50个网格点”，因为那样就没有足够的细节来正确建模流体动力学、等离子体、材料变形等现象。所有这些都需要高保真度，而高保真度需要高分辨率。

我的理解是，你有一个论点，即AI需要将物理世界融入其中，才能在未来实现扩展和准确性。很多人都有这个论点。你的独特之处在于，你有几个将神经算子应用于物理世界的实例，而且你似乎在围绕自己的经验构建一个论点。那么，你能和我们分享一些你使用神经算子和其他技术所做的真正有趣且令人兴奋的事情吗？

是的，我的意思是，对我们来说，当我们开始研究偏微分方程的神经算子时，但更广泛地说，你甚至不需要假设它们是偏微分方程，对吧？可以是任何时空数据或多尺度数据。所以我们开始寻找有趣的例子。其中之一就是天气建模，因为天气数据是开源的，可以从ECMWF（欧洲中期天气预报中心）获取，叫做ERA5。既然数据在那里，我们就想，好吧，让我们试试看，对吧？这就是它的美妙之处。只要有数据可用，就是好消息。但当时很多气象科学家确实警告过我们。那是2021年。他们说：“不，不，不，这太难了。”你知道，传统天气预报已经有几十年的发展，那是非常谨慎的自下而上的基于物理的建模，对吧？所以假设，哦，这是流体动力学，你能预测第二天的天气吗？等等。所以很多想法是，AI不可能击败几十年的天气建模工作。但出乎我们意料的是，我们直接去做了，训练了模型，用神经算子有效地捕捉现象。然后现在我们惊讶地发现，它不仅准确，几乎接近传统天气模型能做到的精度，而且快了几万倍。所以以前需要大型超级计算机运行的任务，现在只需要消费级GPU就能完成。你知道，这是一个小模型，拟合得很好，非常快，而且准确。我认为这改变了所有人的想法。之后，DeepMind、华为等许多机构在一年后也发布了他们自己的模型。我们是第一个真正开源我们的天气模型ForecastNet并以宽松许可发布的。所以这让公司、气象机构以及所有人都能在此基础上构建。所以，看到天气模型现在已经普及，气象机构正在采用它们，这真是一场有趣的革命。它让全球南方的中小型气象机构也能拥有过去只有大型机构才能达到的精度，对吧？所以这正在民主化天气建模。这只是其中一个例子，展示了快速进展和范式转变，即我们现在可以说，AI可以成为可靠的天气建模方式。

我看到，你提到的那些模型，你提出了一个别人没有的洞见，其他人能够设计其他机制来跟随你。但这里需要某种思维转变。是不是简单地说，我们相信这些数据中有足够的结构可以学习，而人们只是做错了，人们找到了其他学习结构的方法，但你的方法非常——

让我澄清一下，对吧？首先，最早的工作是说，看，传统上这是通过反复求解偏微分方程来完成的，而AI从数据中学习，学习模式，可以同样准确但更快。然后接下来的迭代是，我们如何让它更准确？还有一个方面是，短期天气，比如未来两周内可预测的。然后是长期，从次季节到最终的气候建模。传统上人们做的是为这些不同场景使用不同的模型。所以有一套系统适用于短期，另一套系统适用于长期。但对我来说，只有一个地球。你知道，如果你想要一个基础模型，如果声称它应该能同时处理非常短期和非常长期的任务，那就是在ForecastNet 3，也就是模型的最新迭代中，我们能够做到两者兼顾。这是因为你还融入了地球的球面几何。所以很多其他架构在短期天气上取得了相当好的精度，但当你在更长时间尺度上运行它们，比如几个月甚至一年，甚至更早，它们很快就会发散，对吧？因为它们假设世界是矩形的，而实际上不是。所以将所有几何信息融入神经算子意味着我们可以忠实地在更长时间尺度上运行同一个模型，并将其变成气候模型。这就是Allen AI研究所现在基于我们的神经算子架构构建气候模型的原因。这是唯一一个作为AI模拟器有效的架构，对吧？其他架构都不适用于气候，因为气候要求我们假设世界是一个球体，如果你反复滚动，你需要保持这些信息。而如果它是一个狭窄的替代模型，我认为那就是天气模型，你只是狭隘地看几个指标，很多不同的架构都能胜任，对吧？但如果你要求一个架构像基础模型一样处理一系列不同的任务，那就是融入地球几何（即它是一个球体）并使用神经算子作为高效方式来实现这一点的地方。

首先，澄清一下，我们是在全球天气模型上训练的，对吧？所以我们有地球周围的所有信息，然后我们让它预测，比如给定当前天气，比如风况、湿度等，以自回归方式预测接下来会发生什么，每6小时一次。所以接下来6小时会发生什么，然后你滚动并训练模型预测。所以，你可以让同一个模型无限期预测，对吧？但可预测窗口就像天气一样。如果你想超越这个，你必须做我们所说的集合预报，意思是你对几个月到几年内会发生什么有一个概率估计，这就是你得到气候模型的方式。啊，好的。

所以你有，实际上你有一组这些局部预测器的集合，然后你对集合使用某种统计方法来得到气候预测。

是的，所以你有点像有几次滚动。基本上你有几条滚动轨迹，然后你得到概率性的结果。

所以不确定性在这里其实很关键。

是的，这就是为什么，这是传统气候建模最大的瓶颈，因为即使只运行一次也非常昂贵。你必须做长轨迹，非常非常高的分辨率。而且，这就是为什么我们目前没有很多高分辨率能力来做气候变化预测，比如。

是的，你知道，这是个棘手的问题，对吧？例如，你必须确保满足所有的物理约束。如果你只是进行标准的推演，那很可能无法实现这一点。因此，我们正在进行的一些研究是，如何在推演过程中强制执行正确的物理约束？你不想完全抹去那些精细的细节，因为那样就不准确了。但另一方面，如果你保留它们，它们可能在物理上是不成立的。所以这仍然是一个开放的问题，这也是为什么困难之处在于，你希望AI既快速，又能进行这些长期气候模拟，同时还能对它们有充分的信心。但这些正是我们现在正在努力解决的问题。

是的，是的。我们有——我知道我没有关于这个具体事件的信息，但我们在我们的 ForecastNet 3 模型中测试了各种极端天气事件，对吧？这就是关键，比如，在看待极端事件时，你需要概率性的答案。仅仅给出一个确定性的输出，说这就是天气，是不够的。所以我们需要仔细的概率校准，我们证明了我们能够很好地捕捉这些。我认为即使在我们的第一次尝试中，当我们可视化某些飓风和风暴时，它表现得很好，这也是令人惊讶的，因为你会认为罕见事件不是AI擅长的领域，对吧？它应该在典型事件上表现良好。但我认为这里更广泛的教训是，物理世界可能更加宽容，因为像飓风这样的极端事件具有非常特定的物理特征，对吧？所以它虽然是极端的，但方式非常特定。也许你不需要那么多样本，因为物理世界有很多结构。这是我们一次又一次看到的现象，在许多其他例子中也存在大量结构。你知道，我谈到等离子体和聚变反应堆。我们几乎只有几千个样本，但我们能够非常准确地预测像破裂这样的事件。而且我们能做到的速度比传统模拟快一百万倍。对我来说，是的，所有这些听起来都非常令人惊讶，但这是因为我认为自然帮了我们很多忙。你知道，它有很多潜在空间结构。

潜在结构。我认为传统数值方法无法揭示这一点，因为它们更注重正确性，即在任何情况下都应该能够求解这些方程。另一方面，AI从数据中学习，它揭示结构，揭示这些问题有多容易或可处理，这就是我们在许多案例中看到的。

是的，完全同意。

那么回到我的问题，我们有气候或天气和气候，我们有等离子体，我们有生物学。我知道你为我们准备了一些可视化材料。你能和我们分享一下吗？这些可视化是什么样的？贯穿其中的主线是什么？我想听众可能已经有所暗示，但我真的很期待看到。

是的，我当然可以分享一些。我的意思是，这张图只是展示了我们在不同尺度上的世界，对吧？这些是从原子到蛋白质，甚至到行星尺度（如我们谈到的天气）的不同尺度现象的例子。你知道，我们需要捕捉所有这些。这就是神经算子设计的目的。你可以输入这些不同尺度的数据。这确实是使许多物理世界问题变得困难的一个方面，即对精细尺度的需求。你知道，我们谈到许多传统的计算机视觉视频模型只是为了让事物在视觉上看起来好看。这需要足够低的分辨率，使其可处理，自回归就足够了，视频足够短，这样就能奏效。但这不是许多工业级、高保真度的物理模拟的方式。你真的需要高分辨率。大气就是一个例子。根据你观察的分辨率，可以捕捉到不同的现象。所以如果没有高分辨率，你就会错过这些。现在的问题是，有了AI，我们能否比传统模拟更快地做到这一点？这张关于神经算子的图展示了，如果你使用标准神经网络，并且有固定数量的像素，就像你在这一侧看到的，当你放大时，它会变得模糊，对吧？这就是极限了。在那些固定分辨率之外，你无法捕捉到任何东西。但神经算子的想法是，因为它是一种函数空间表示，意味着你可以不断放大，通过提供更高分辨率的数据或更高分辨率的物理约束来添加相关细节，你可以将这种多尺度现象结合起来。

是的，可能是，对吧？它可以是任何性质的。现在的想法是，你可以添加守恒定律，例如，在不可压缩流体中。你可以添加材料变形，比如物体如何拉伸。或者它可以是一个完整的偏微分方程。这也是我们一直在研究的一个有趣问题。不同物理的课程设置，就像你提到的。你知道，有些物理可能很难作为损失函数来施加或添加。其他的可能更容易。所以你也需要考虑施加什么。

这里的直觉是，当我加入一个物理约束时，我是把它加到损失函数里。大致就是这么回事吧？

是的，因为那是可行的做法。你知道，把它作为硬约束是不可行的。

对。

而把它作为损失函数加入则可行。当然，这仍然需要平衡这个损失和我们手头的数据。所以我们必须以适当的方式来做这件事。

对。

是的。所以，正如我提到的，这是天气模型的例子，我们展示了如何捕捉大气河流，这是我们在加州看到的现象，你知道，会导致风暴。我想我们这周晚些时候会有一个预期的风暴，所以。

我们会盯着你的。

所以我展示这个的原因是，这是一种全球现象，对吧？这些现象有数千英里宽。所以你真的需要非局部模型来捕捉这些跨度非常大的现象，并且要准确。这正是我们的神经算子能够做到的。

这是不同来源的组合。我们称之为再分析数据。这是历史天气数据，经过某种方式的再分析，意思是SADROC卫星数据与物理求解器给出的结果相结合，进行同化。这些数据由气象机构提供，我们可以用来训练。

所以你把这一点分摊到所有——每个人都需要这样做。然后有人做了，你就能利用它。

是的。我的意思是，这是数据，对吧？已经准备好了。但关键是，这种用物理进行的数据模拟已经让我们的模型隐式地具有物理信息。所以它能够保留这些信息。这也是为什么它在极端天气事件上表现良好的原因之一。是的，这只是展示我们的模型在ECMWF（欧洲中期天气预报中心）可用，这是欧洲的气象机构。这个模型是在两年多前推出的，我想是2023年秋天。所以，我认为ECMWF向公众提供这些基于AI的天气模型，对我来说是一个很大的进步，因为那时每个人都能看到发生了什么。有几个飓风，比如飓风李，公众可以看到这些天气模型在为我们做什么。例如，我们的ForecastNet能够比标准天气预报模型提前几天正确预测飓风的登陆。所以，这些模型在极端天气事件中表现出色，并能提前预测，这对人类生命和经济成本来说都是非常重要的。那时公众和气象科学家对这种模型的认可度大大提高了，因为它在这些事件中表现得太好了。这就是我在谈论集合预测时所说的，无论是极端天气还是气候，不仅仅是看一条轨迹，对吧？因为，除非你是那种用马克笔随便画飓风路径的人，没有冒犯的意思。但你知道，你真正想要的是概率预测，意思是，我会在初始条件中加入不同的噪声水平。当飓风在加勒比海形成时，我会加一些噪声，因为无论如何，那里是有噪声的。我并不真正知道那里的测量值是什么。然后我会观察可能的飓风路径会发生什么，然后我可以得出不同地区登陆的概率，这样我就能进行风险评估。这就是传统天气模型成本更高的地方，因为你需要运行所有这些集合。而现在AI天气模型如此之快，快了几万倍，意味着我们可以进行非常大的集合预测。这对风险评估来说是一个很大的改进。

是的，是的。在ForecastNet 3的论文中，我们有极端天气事件和集合预测的指标。事实上，我们已经训练了模型来做好的集合预测。这就是校准在这些事件中重要的地方。

是的，第一版是使用傅里叶神经算子，但我们没有考虑球面几何，对吧？在下一版中，我们认为，世界是一个球体这一点很重要，因为首先，否则会有畸变。所以你不是在一个——预测。

是的，标准的，就像所有其他天气模型一样。

真的吗？

对。所以他们只是用标准投影，然后预测天气。这对短期预测来说还行，但我们的目标是让同一个模型也能做更长期的预测。这时加入球面几何增加了额外的稳定性。我们可以做更长的滚动预测。然后在ForecastNet 3中，关键是不只是确定性预测。我们想把集合预测做对。所以我们必须基于这个目标来训练，确保概率预测也是正确的。

你们预测多长时间，做多少次滚动？

——做？是的，滚动就是你预测的时间长度，对吧？每一步是6小时，然后你想预测多久就预测多久。

你知道，你只需要滚动。抱歉，集合中有多少个例子？

这又是我们的选择。我们可以有不同规模的集合。所以，我想目前展示的是几十个左右，但你可以做得更大。

这足以预测多远？我的直觉是，你想预测得越远，就需要越多——

不一定。关键在于校准集合，确保它们有正确的分布，而不是——我明白了。

好的，所以你的集合中有几十个这样的模型或例子，即使是非常长的滚动预测，这也足够了。

所以再说一次，正如我所说，仍有许多悬而未决的问题，关于进行非常非常长时间的推演，对吧？因为你需要以某种方式融入物理约束来确保这一点。这是我们目前正在积极研究的内容。但我们现有的这些模型，相比其他完全忽略球形假设及其他一系列因素的天气模型，能够进行最长时间的推演。

不，我们的想法是确保你查看每个集合成员，并确保它遵守物理规律。

不，因为那样你会失去分辨率和保真度。好的，这让我有点困惑。

等等，所以不是平均？你们是怎么组合集合的？

不，你是在做平均，但你是对每个成员分别进行预测。

哦，你是分别预测每一个。

这就是你确保物理有效性的方式。是的。

没错。所以这就是Fourier救我们的地方。是的。这些几何形状也适用。所以我认为要非常忠实于地球的实际情况。

是的，可以说这比墨卡托投影或其他什么要自然得多。

是的，你知道，那种投影下格陵兰岛变得巨大。那是另一回事。但确实，我认为这就是在物理世界中更广泛地融入更多几何和领域信息变得更为重要的方面，对吧？所以我再次强调，我们需要融入更多结构，因为一方面数据有限，另一方面我们要求的很多是外推，要超越训练数据范围。你知道，我们只是训练它预测接下来的6小时，也许做一些多步微调用于自回归推演，对吧？所以我们不是训练它做非常长的气候模拟，因为那太昂贵了。但我们希望它神奇地工作得很好。如果你只是说“我就放一个标准Transformer或其他什么”，那它不会奏效。所以我们加入了更多领域约束，比如球形几何。我们以某些方式加入更多物理信息。这就是算法上变得更有趣的地方。这里有更多涉及的设计。

那么你训练的时间尺度是多长？

预测接下来的6小时。

哦，只有6小时？

是的，加上一些多步微调。

就像你有点——是的，我说过了。好的，明白了。

所以这非常令人惊讶。是的，确实非常令人惊讶。

我本以为会是几周或几个月之类的。

是的，不，然后就是——它居然工作得很好，即使现在我们展示了几个月的时间它都能做到。

步数是在——

几百或几千步。是的。

而你的Fourier基，是基本谐波的许多倍。

我的意思是，那是在空间上，对吧？所以我们说的是推演在时间上是自回归的。

不，但像在时间上？也许我理解错了，因为这是在Fourier域中，对吧？

不，不，在时间上不是。这就是我说的。它是自回归的。

哦，哦，我明白了。好的。所以是空间上的，是的。

至少在这个场景中。在其他情况下，我们在时间上也有用Fourier域表示的。这也是一个问题。我们能那样做吗？但在这个例子中，是的。自回归器。

明白了。

是的。所有可用的数据大概是，我想是四分之一，0.25度。

所以这就像，哦，你是指我们使用了多少个模式。我想，对于那个分辨率，我们基本上使用了大部分，只有少数几个会省略。我忘了细节，但。

是的，我的意思是，那就是我们得到的数据，对吧？所以现在我们得到的数据大概是四分之一，0.25度。

我想大概相当于，我不知道，700乘几千的分辨率。但这已经是标准的处理方式了。

是的，我的意思是，这确实取决于分辨率，想法是，你知道，现在我们的天气数据只受限于这个分辨率，但如果你能，你可以做更高分辨率的合成气候模拟，对吧？这就是下一步如何结合这些。

再说一次，是的，我们总是可以用神经算子来预测，但你确实想融入更多的物理约束来确保它们是有效的。

好的，那我们可以谈谈其他一些技术吗？

是的，是的，我知道。有很多。所以这只是展示了我描述的内容，左边假设世界是矩形的，它很快就爆炸了。右边因为我们假设世界是球形的，它持续推演并保持稳定，所以。

是的，它仍然是，你知道，所以想法是，是的，因为这是一个非常长的推演，我们没有物理护栏，我们没有把它投影到正确的物理上，对吧？这是完全的外推。但想法是球形假设在更大程度上稳定了它。

没错，所以极点是最难的部分，所以。这是聚变反应堆的例子。这是一个托卡马克，我们能够模拟复杂的等离子体演化，并且比传统模拟快一百万倍。这在某种程度上，我们是在创建等离子体的数字孪生，对吧？然后我们可以做进一步的事情，比如现在我们下一步是在研究控制，但要有完整的有效物理，理想情况下能够防止破裂并使聚变可持续。

是的，这可能会损坏反应堆。这是一个很大的瓶颈，因为在那发生之前你不得不关闭它。而且，这样一来，可持续的聚变就不再可能实现。所以这里有很多未解决的挑战，但关键在于，进行物理实验非常昂贵。你越能在数字孪生中捕捉这些现象，同时确保物理有效性，就越能在数字领域进行设计和其他考虑，我们希望这样能取得进展。而这些正是迈向那个目标的第一步。

目标是，如果发生这类事件，你能以某种方式调整磁场，使其包含并稳定住它。

是的，这正是我们下一步要做的事。我们正在考虑将控制和模拟一起设计。

我只是好奇。这次是与英国原子能机构合作的。好的。现在我们也在与美国其他几个机构合作。所以，我们正在从不同的聚变方法中获取信息。这是托卡马克。我们也在与仿星器合作。我们正在与不同的……仿星器很棘手。

但理想情况下，我们的目标是能够在数字孪生中设计它们。所以，我们能否提出好的设计，使其更实用？我认为，作为AI从业者，这也是一个好处，我更像是一个不可知论者，不会事先选定赢家，对吧？我喜欢尝试不同的方法，看看AI是否能加速所有方法。然后我们可以，不要过早地排除一种方法而选择另一种。这就是AI让我们能够承担更多风险、探索不同方法的地方，而在物理世界中，尝试构建任何一种，你不得不砍掉很多有风险的方法，说我只做这个，因为这是最可能成功的。

当然。对我来说，我觉得我是随着AI一起成长的，对吧？当AI处于神经网络因为数据不足和其他各种原因而无法工作的阶段时，你不得不建立理论基础，希望这能引导你找到让算法工作的方法，对吧？那时，张量方法就是基于这个想法，在深度学习之前，我们仍然想要结构。我们有概率模型，比如用于主题建模的潜在狄利克雷分配。解决这些问题很难，但张量方法给了我们一种非常实用的方式。它是并行的，可以大规模进行，但仍然有很好的理论基础。所以那是我们起步的地方。然后随着深度学习开始起飞，我们看到它在实践中效果很好，虽然有一些理论理解，但因为其复杂性，理解并不深入。对我来说，理论不应是约束，而应是推动力。所以很多探索都是为了让它能在实践中良好运行。我去了亚马逊网络服务，然后是NVIDIA。所以真正让事情在大规模上运行，并真正动手实践，对吧？那是很多发展的方向。现在我看到一个循环，因为很多纯粹数据驱动的方法在某种程度上看到了饱和。所以现在我们想问，要么让它们更硬件高效，对吧？现在有很多空间可以说，我们能否让它们更节能或硬件高效？这是其中一个方面。但另一个方面是像这样的领域，在物理世界中我们没有足够的数据。我们要求的是困难的推断。你知道，我们想进行发现，本质上就是推断。所以我们永远不会有关于新发现的数据，对吧？这是我的定义。因此，我们需要再次回到原则性的思考方式，无论是架构设计、算法设计，还是正确的损失函数。所以我们需要更加谨慎。我看到这是一个循环，因为所有与深度学习有效的方法，我们都可以采用，但让它们更有原则性。

是的，对我来说，可能性是无限的，对吧？你可以将这项工作应用于任何数据。我们还有其他几个例子。比如，我们能否在地下封存二氧化碳，并模拟二氧化碳如何扩散，或者这些储层中的压力如何积累？我们能否模拟它们如何在几十年间迁移？在这方面，我们比传统模拟快得多。另一个方面是能够处理各种几何形状，比如模拟汽车、飞机等的空气动力学。这又是一个潜在空间的很好例子，因为你可以将汽车或任何其他形状变换成甜甜圈，然后在甜甜圈上建模，再将甜甜圈变换回汽车。

所以，利用潜在空间来处理各种不同的几何形状，并在潜在空间中很好地捕捉物理特性，意味着我们现在可以有一个模型，能够泛化到许多不同的几何形状。

我的理解是，更大的愿景可能是，你可以训练一个基础模型，能够用同一个模型模拟许多不同的物理现象。你可能需要微调，或者给它某种提示，让它理解特定的几何形状，但你在所有这些不同的物理问题上训练，然后你有你自己的特定问题，你就能非常有效地建模它。

是的，我的意思是，那确实是未来，对吧？因为我们现在有语言、也许视觉的基础模型，但没有物理方面的。所以，你知道，现在的想法是，与其像我们现在看到的窄范围替代模型，并试图不断扩大它们的适用范围，理想情况下我们应该有更广泛的模型，能够处理一系列现象，而且是多物理场。不只是单一的物理，而是耦合的物理。现实世界中的所有物理现象都是以耦合方式结合在一起的。那么我们能把这些都整合起来吗？所以这是一个方面，比如，拥有能做设计和模拟的基础模型。但另一个真正有趣的方面是逆问题，对吧？所以我现在不仅能模拟，还能问什么是最佳设计？然后这类模型可以做模拟，但你甚至可以隐式地做到这一点，直接得出最佳设计，而不是像早期那样，由人类提出设计，然后去模拟或进行风洞测试或任何物理测试来验证。但现在有了AI提出优化设计，同时有物理作为护栏。所以你有在物理上准确的模型，你有信心它们能很好地工作。所以你也能在同一个模型中做到这一点。

有没有理由——你有没有看到任何证据，关于你提到的这种多物理场能够迁移，或者你可能能够泛化到未见过的物理现象？

所以，我的意思是，你知道，物理本质上，如果是完全未见过的，那就不可能迁移，对吧？当然。我的意思是，如果你说我们超越了模型，完全没有数据，那是不可能的。但如果你问的是，比如，比如说，我给它展示了热量如何传播的例子，以及材料如何拉伸的例子。现在有了耦合，比如因为热量，也有拉伸，或者说是联合现象，你现在可以希望用更少的样本进行微调，因为它单独知道这些现象。然后把它们结合起来，也许它不能从零开始做到，因为那要求太高了。这是高度非线性和耦合的，但它可以用更少的例子做到。我们在很多论文中看到了证据，你基本上可以构建一个课程。这就是我们在许多例子中反复看到的，现实世界，我们可以在很大程度上控制课程，说，让我们构建模块并把它们组合起来。这就是现在让我们能够以系统化的方式做到这一点。我想设计方面，我不知道你是否想快速展示一下。所以这个例子是，比如，为逆向光刻设计掩模，意思是这是一个逆向设计问题。我们也能为量子点中的门设计做到这一点。这是非线性光子学。所有这些的共同点是，你知道，有一个正向模型在模拟物理，但现在我们想要的是逆向设计，也就是我们可以优化最佳设计的问题。而人类通常不擅长这个，对吧？我们不擅长观察高度非线性的现象然后说，“哦，也许所有这些门的组合能帮助在量子门中把电子拉在一起。”所以我们的合作者手动做这个很困难。而有了AI，我们现在能够提出非常高效的设计，而且我们知道这些设计实际上有效，因为模拟已经在循环中，表明它们工作得很好。所以我认为这些例子表明，这不仅仅是模拟，而是真正新颖的设计和发现，使我们能够推动创新本身的发展。

这些例子每一个都需要大量的领域知识。如果是一个领域专家，怎么能快速开始应用神经算子和其他你开发的框架来解决他们的问题？

是的，你知道，神经算子是一个开源库。它已经被广泛采用。它是PyTorch生态系统的一部分。它被许多研究人员和公司使用。我们有很多文档，所以我鼓励人们去那里。我们有各种不同的架构、示例和配方。所以我认为那是一个很好的起点。

不，我真的很荣幸能成为联合国那个顾问委员会的一员。在这些充满地缘政治挑战的时期，你知道，我并不是这方面的专家，但当涉及到特别是与AI相关的方面时，有科学家在场是我认为非常重要的。我希望我能有一个公正的视角，并尝试为任何方面提供科学证据，对吧？我们想思考AI如何全球性地影响，比如，我们如何确保AI的好处惠及每个人？我们如何使AI的获取民主化？我们如何确保意外后果和有害影响得到控制？我认为这些只是开始。当然，另一方面，当涉及到天气模型时，我已经很兴奋了，比如，有一个推动力在探索如何拥有更好的天气和气候建模。然后是粮食，比如，利用天气来改善农业。所以所有这些方面也是联合国在世界各地有专门机构和人员的地方。所以我期待贡献并成为其中的一部分。

是的，谢谢。你知道，对我来说，我认为，正如我所说，我试图保持公正，作为一名科学家。作为一名科学家，我认为AI有很多有益的方面，当我们只考虑有害影响时有时会被忽视，对吧？特别是关于AI用于科学，因为很多监管框架把AI等同于语言模型。是的，语言模型可以操纵人，可以有各种我们应该考虑控制的有害影响。但AI用于科学是不同的。所以我认为这种一刀切的做法是很多问题出现的地方。所以我们必须意识到，有能够通过新发现改变世界的AI。我们应该让世界各地的人们不仅从中受益，而且能够进行研究，能够获得AI，让他们去创新并以有趣的方式使用它们。

我们一直试图问每位嘉宾的一个问题是，如果你能神奇地消除你领域中的一个瓶颈，那会是什么，为什么？

更多的算力。你知道，这是——我知道这是个简单的答案，也许有点偷懒，对吧？因为，你知道，当然我们现有的算力比几年前增长得多了，多亏了NVIDIA，也多亏了其他公司。再次感谢他们，是的。所以对此没什么可说的。但我指的是，对于研究来说，能够获得越来越多的算力，你知道，这非常重要。我知道有些国家实验室正在建造更多的超级计算机，希望我们能有更多算力用于研究。但我认为，没有这些，我们就无法实验，无法创新。我觉得这是我一直强调的部分，而且，你知道，我觉得再怎么强调它的关键性也不为过。

如果你有一个行动号召，或者你希望人们去做、去思考、去了解的事情，那会是什么？

是的，所以，你知道，你可以去Neural Operator Library，亲手体验不同的架构、配方，看看用例。但也要想想，AI for science不仅仅是语言模型和智能体。是的，那是它的一方面，但归根结底，你知道，那些在某种程度上仍然像是外部包装，对吧？除非我们拥有能完全理解物理世界的AI——不仅仅是作为符号，而是能基于此进行模拟、设计和控制——你知道，那还缺了一大块。所以，这是我认为人们应该真正以这种方式思考AI for the physical world的另一个方面。

Anima，这真是太迷人了。我很期待自己去看看Neural Operators。我脑子里已经有一些想法了。非常感谢你抽出时间与我们坐下来交流。

谢谢你，Arjit。谢谢你，Brandon。我真的很享受这次对话。我们深入探讨了很多事情，所以我很感激你们这么做。谢谢。谢谢。