为何视频Agent模型是下一个方向 — Ethan He, xAI Grok Imagine

谢谢，很高兴来到这里。

是的，我还展示了 MOE 的内容。

展示了两次，在 Latent Space。

不是，其实是社区。我意识到，哦，原来有个线上社区，大家每周通过论文俱乐部讨论 AI，互相学习。感觉非常好。

那就停吧。

来展示一下。

在 xAI 之前，我在 NVIDIA 做 COSMOS 世界模型。COSMOS 是一个巨大的视频基础模型，旨在模拟世界，为所有机器人研究者提供基础。在那里，我构建了 KOSMOS-1 之后，发现这个东西也有类似语言模型的缩放定律。我们需要进一步扩大视频模型的规模。所以我意识到需要去一个计算资源更充足的地方。这就是我——

GPU 资源最丰富的公司？是的。

大概是 2024 年底。2024 年底。然后 2025 年中，我去了 xAI。当时我加入的时候，xAI 正要开始构建视频模型和多模态模型。没有基础设施，没有数据，也没有模型。只有几个工程师，我们在三个月内建成了，发布了第一个模型 Groq-IMAGINE 0.9。从那以后，我一直做视频模型，工作重心从预训练转向后训练。比如，我可以做视频引用，类似 Cameo 功能，还有视频扩展。在我离开之前，我负责一个世界模型项目，带领一个小团队专注于实时长时域视频生成。

是的，我要说这多亏了我在 NVIDIA 的经验。因为第一次我们一起构建 KOSMOS 时，花了大约一年时间。所以这是我第二次做，大概知道该怎么做。我认为最重要的是人才，但每个人都很有能力、很聪明，彼此紧密合作，朝着共同目标努力。这大大加快了速度。所以减少了人与人之间的沟通成本，每个人都能朝着同一个目标努力。就像每天日程上没多少会议，可能一天一次同步会，之后就是埋头干活。那段时间挺有意思的。另外，xAI 有非常扎实的数据、数据基础设施和模型基础设施基础，这些支持对模型开发帮助很大。当我观察模型训练时，实际上最重要的不是别的，而是你每天能做多少次迭代？迭代次数越多，训练模型就越快。所以如果你有很强的基础设施和大量计算资源，就能在很短的时间内训练这些模型。这给了你更大的容错空间，也让你有机会发现更多 bug。

比如说训练模型，从获取新数据，可能设计新算法，然后训练一个新模型，可能规模小一些。

对，端到端的周期时间，直到评估这个模型。这个模型比上一次迭代好吗？是的。

对，我觉得那里的基础对于开发和研究模型来说非常好。而且我经常觉得这有点无聊，但很多改进并不来自新算法，而是来自在数据管道、模型训练管道中发现各种小 bug。这些对模型质量的提升最大。

是的。

我记得当时是 2025 年中，编码模型还没那么成熟。我记得 2025 年 12 月的时候，它已经非常好了。对，我当时就在用。它很有帮助。但有时候它生成的代码很难维护，虽然第一次构建东西非常快，但会生成一团乱麻似的代码，几千行，我维护不了，LLM 自己也搞不清哪里有问题，怎么改进。但现在我觉得好多了。对，我还想提一点，现在编码模型效率高多了，能帮我们更快地实现东西。计算资源可能再次成为瓶颈，因为以前如果你想训练一个新模型，比如生成新的合成数据，或者写一个新算法，可能需要几周。在那段时间里，你可能没有实验可跑。现在你可以在几小时内完成，然后立刻训练模型。现在你得有足够的计算资源来尝试所有想法。所以计算资源可能再次成为迭代速度的瓶颈。

那确实压力很大。不过我觉得现在有了编码模型，很多这类工作都可以自动化了，这好多了。其次，这是一场马拉松，所以你得保持健康，作息规律。

你是怎么开始的？嗯，我不能具体说我是怎么做的，但过程相当标准。我可以拿 KOSMOS 举例。主要是这样：要构建视频模型，你得先构建图像模型，而构建这两个模型所需的数据是 100% 合成的配对数据——语言和图像，或者语言和视频。因为互联网上的视频其实和文本没有天然关联。比如 YouTube 上，视频有标题、描述和评论，但这些通常和视频本身不相关。比如视频是山景的自然画面，标题却是"我今天好开心"。两者毫无关联。所以第一步，你必须生成语言和视频的合成配对。你从互联网获取视频，然后用 VLM 给视频写描述。这里有个问题：一开始怎么得到 VLM？如果没有——

比如如果根本没有 VLM 存在，你怎么生成文本？那是不可能的。

一开始，你得让人尽可能详细地描述视频。比如，让他们描述所有物体、所有角色、所有互动和对话。这就是 COSMOS 标注的协议。我们给标注员的目标是：你必须尽可能详细地描述视频，让一个盲人听到这段文字后，能在脑海中重建出视频的样子。

你说图像？视频或图像，两者都行。好。

对，有意思的是，你其实两种数据都需要。比如，你需要先启动起来。在生成模型训练中，通常也会加入一小部分未标注数据。这样模型被要求在没有文本指令的情况下生成视频，也能帮助模型泛化。所以在这个生成合成配对的阶段之后，一个重要的常见步骤是训练一个图像或视频的压缩器或分词器。因为理论上你可以在纯像素上训练图像或视频模型，但问题是 token 太多了。比如一张 1000x1000 的图像，就是 100 万个 token，100 万个像素。用 Transformer 训练是不可能的。所以你需要训练一个分词器，把图像映射到潜空间，再从潜空间映射回图像。

对。

在生成模型中，词汇是连续的，是一个连续空间。你可以理解为把图像映射成一个固定长度的向量，比如 16 或 48 维。然后把这个向量映射回图像空间，这个映射是基于 patch 的。比如你有一个 16x16 的 patch，把这个 patch 的像素映射到潜空间。

VAE。对，VAE。

对。

是的。实际上在 VAE 中，既有卷积网络也有 Transformer，两者都可以用。经过 VAE 之后，你得到的是潜空间 token 和语言 token。然后训练扩散 Transformer——通常生成模型用扩散 Transformer——过程其实相当标准，和训练语言 Transformer 模型非常相似，差别不大。只是输入视觉 token，输出视觉 token。唯一的区别是有一个去噪过程。你训练模型去掩盖部分噪声：给视觉 token 加上随机噪声，然后训练模型去除这些噪声，生成干净的 token。在推理时，模型可以从 100% 的噪声开始，迭代地去噪。

训练出这样一个图像模型后，它之所以能成为视频模型的基础，是因为图像模型训练成本更低，而且语言与文本——抱歉，是语言与图像之间的连接更密集。例如，你在十亿张图像上训练，文本到图像之间存在映射关系；而训练同样规模的十亿个文本到十亿个视频，成本要高得多，因为视频自然比图像包含更多 token。扩散模型对语言的理解完全来自这种映射。如果映射不足，比如只训练了一千万个视频，训练数据中可能看不到足够的语言 token，模型就无法充分理解人类意图。所以通常的做法是，先训练图像扩散模型，然后在此基础上引导出视频模型。

有几种不同的方法。首先，如果你想直接使用 MP4 压缩，把压缩结果作为 transformer 训练的 token，人们确实试过，但主要挑战是 MP4 token 的潜在空间对模型来说不太容易理解，训练起来极其困难。所以我们创建了 VAE，它能生成更连续的潜在空间，让模型更容易理解和学习。即使在 VAE 内部，潜在空间的难度也不同。你可以想象，最简单的 VAE 就是把一张图像的所有像素打乱成一个向量，这样就不需要训练任何 VAE，但那个潜在空间对模型来说极难在上面训练。这就是为什么关于如何压缩 token 存在一些争论。你提到可以逐帧压缩，也可以压缩时间维度。是的，区别在于，如果压缩时间维度，压缩率会高得多，因为帧与帧之间存在时间冗余——这一帧和上一帧很可能大部分相似，只有一些微小差异。例如，在 1.2.1 VE 中，压缩率是 8x8x4，四个时间 token 被压缩成一个 token，这能节省大量上下文长度。如果逐帧压缩，可能只能做到 8x8x1，上下文长度会大四倍。不过，逐帧压缩的好处——我们稍后可能会再提到——是实时性和交互性。因为如果逐帧流式输出模型结果，模型可以立即响应用户的任何请求。而如果有 4:4 的时间压缩，即四倍压缩，就可能会有延迟。是的，天生就有延迟。

Flipbook 有点像网页浏览器，你可以看到它顶部有浏览器 UI。区别在于，所有 UI 都是由生成式图像模型实时生成的。这里的一切都是假的，但你可以在这个想象的世界里探索。比如这里，我们展示的是“工程大金字塔”，模型生成这个来帮助我们理解它是如何运作的。如果我们想四处浏览并进一步了解，可以点击这里的一些描述，模型就会生成一个新页面、新子页面，描述我们想知道的细节。

是的，挺酷的。

是的，他们也有视频模式，但我想很多人都在用。

对。

是的。我认为这是世界模型的最终状态。想象一下，互联网不存在，你输入 google.com，模型应该展示什么？模型可以想象出一些东西，这就是它想象出来的。这些网页完全不存在。所以我认为，随着推理成本下降，我们将拥有生成式 UI 来覆盖一切。想想编码模型的工作原理：它们为网页写代码，然后渲染——代码可能被转换成二进制，二进制再在屏幕上渲染像素。在机器学习中，每次有突破，显然都更趋向端到端。那么，为什么不让用户指令直接到像素呢？生成式 UI 将实现用户意图直接到像素，比如，即使我想要电子邮件，假设每个人都有相同的界面，但我希望它略有不同。我希望电子邮件像 TikTok 一样展示给我，这样我可以左右滑动处理邮件。或者你想要别的，我们可以有完全不同的东西。又比如，我在看 Instagram 故事，我不喜欢点赞按钮，总是误点，那就生成没有它的 UI。这将是对界面的革命性替代。未来，我们可能在后台有更强大的 LLM 和编码模型运行，而前端，扩散模型实际上会成为展示内容的前端。这就是我的想象。

对。

如果考虑成本。假设 H100 每小时 1 美元，每天用 8 小时，每月 30 天，那么每月要付 240 美元。你可能不想付这个钱，这甚至比 Cloud Code Max 还贵。但如果计算成本每年下降两倍，我认为未来很可能到来。

我想补充一点。人类在观看视频时，输入带宽最大；而在说话时，输出带宽最大。所以未来可能会是这样：我们和AI模型对话，AI模型用生成式UI回应。这样，在Neuralink实现之前，我们就能以最大的输入和输出带宽与AI模型交互。

是的。

这让我想到视频模型如何变得越来越好。Neural OS如果只看表面，感觉就像是我们现有Windows的劣质版本，对吧？但区别在于，这个模型是过拟合于现有操作系统的。它只能生成和这些系统一样的东西。但这其实也和视频模型类似。当我们训练这些视频模型、图像模型时，我们用互联网上的数据训练。互联网上没有超自然的想象内容。但一旦我们训练好这个模型，你可以提示它生成数据集中从未存在过的超自然内容。所以，如果你用整个互联网上的标准屏幕录制来训练你的Neural OS或Neural Computer，这个模型就能想象出全新的界面来与计算机交互。

是的。

我可以分享一些粗略估算。令人惊讶的是，视频模型的成本和大语言模型相当。显然，最大规模的是语言模型。也许相当于中等规模的语言模型。光是存储视频本身，成本就很高。你可以查一下AWS之类的。假设你有10亿个视频，每个视频5兆字节，那么你需要5PB来存储这些视频。而且别忘了，我们用VAE压缩视频，还需要存储这些连续特征，存储量也和视频本身差不多。所以，光是存储这些视频和特征，就需要几十PB。

而且你还需要，比如TensorFlow数据库，20万美元。更贵的是互联网的入站和出站流量。你下载这些视频就需要流量。我相信在AWS上，这比存储视频还贵。每次训练运行，你可能需要拉取一次数据。如果训练多次，成本更高。所以，光是存储和网络成本，我猜每月就要几百万美元，还没算GPU成本。

所以，这是个好主意，但也会带来一些自身的挑战。当然，当然。比如建GPU数据中心的人，可能没预料到需要这么多存储。而建存储的人，通常只是把存储建在某个地方，用CPU就行。

是啊，甚至比存储还贵。

对。所以在 KOSMOS 中，我们做了很多优化来避免 I/O 瓶颈。嗯，说到训练，实际训练模型时的 GPU 成本，如果你看看开源模型，这些视频模型有多大。比如 LTX 有 190 亿参数，那是一个密集模型。而且人们也在探索 MOE（混合专家模型）。所以可能是 200 亿活跃参数、总共 1000 亿参数。那甚至和中等规模的 LLM（大语言模型）差不多大。再看 token 数量，我们在 Cosmos 中公开过，也是几十万亿个 token，而且是视觉 token。综合来看，训练这些视频模型的成本实际上与 LLM 相当，更不用说基础设施与 LLM 略有不同，所以训练这些模型的效率可能更低。

对，区别在于推理侧完全是另一回事。我认为训练侧要降低成本可能有点难。而推理侧最大的收益来自这些模型的蒸馏，这叫做步数蒸馏，与 LLM 中的知识蒸馏略有不同。通常对于流匹配模型，你需要大约 100 步，而扩散模型甚至需要 1000 步才能生成一张好的图像或视频。步数蒸馏是尝试让模型学会用更少的步数生成。有点像现在，你用完整模型在 100 步内生成，然后你拿一个只生成 10 步的模型，让它从完美模型那里学习。对。为什么这能行？强到弱模拟。有点像强到弱。我猜从建模角度看，强模型（教师模型）试图对整个互联网上的图像和视频进行建模，那个分布极其复杂。而蒸馏后的模型只是试图从教师那里学习。教师是一个模型，大小固定，其分布比整个互联网简单得多。这就是我认为步数蒸馏能奏效的直觉。所以通常这些用于生产的模型只运行几步。在 KOSMOS 中，我相信我们有 4 步和 8 步的版本。如果你做一些更简单的任务，比如图像到图像的转换，它甚至可以在第一步就完成，比如 KOSMOS transfer 中的一步生成。

有几种不同的方法。哦对，就是这个。

已经做出来了。有几种不同的方法，比如一致性模型。还有，实际上我们不应该忘记 GAN（生成对抗网络）。GAN 其实是步数蒸馏的鼻祖，因为它一开始就只训练一步。所以实际上很多方法，比如分布匹配蒸馏，就使用 GAN 作为其损失函数之一。GAN 只是告诉你，嘿，生成一张图像，然后它有一个判别器来判断这张图像是真是假。所以模型只需要学习一种分布，而不是完整分布，因为在训练中，模型被要求从互联网上重建真实图像，这极其困难。而训练 GAN 时，它是一个一步过程，只是说，嘿，你生成图像，这张图像看起来和互联网上的图像一样真实吗？这是一个简单得多的任务。人们通常会把多种方法结合起来，比如一致性模型和分布匹配。这样我们就能得到这些少步模型。

对。GPT-4 Imagine 0.9，我相信它是第一个大规模部署的音频-视频联合模型。

对，那是 Grok Imagen 的第一个模型。它是音频-视频联合生成。我认为难点在于模态对齐，因为在这个联合模型之前，我们有文本到视频的对齐，有文本和视频之间的对应关系。通常大多数 VLM（视觉语言模型）能理解图像和视频，视频很少，而且它们大多不理解音频。如果你看语言模型侧的音频生成，你可以和它们正常对话。但如果你让它们唱首歌之类的，通常效果不太好。而且它们也没有音乐。难点在于音频实际上有两个组成部分：离散部分和连续部分。离散部分就像语言，当我们说话时，它只是——这是一个 ASR（自动语音识别）问题。对。对。可以说是带有某些特征的文本 token。但音乐——我想语音领域的人会不同意。

我说大致如此，但音乐完全不同。它非常连续，你不能像语言模型那样用离散 token 来建模。这就是模型面临的难点。更不用说我们还要把文本、视频和音频对齐在一起。对。所以怎么做？一些重大挑战是：首先，我们谈到 VLM，它们大多无法理解音频。所以你必须想办法为音频生成合成数据。你必须给模型加标注，这涉及大量的合成数据和人工标注工作。而且毫不意外，大多数 LLM 在识别节拍、音调和音乐细节方面非常差。它们能给出一些大致预测，比如这是哪首歌，但很难描述音乐的细节。就像我们在图像生成中提到的，你必须尽可能详细地描述图像，这样盲人才能重建它。这里也一样，聋人不需要实际听到就能重建音乐听起来的样子。也许你可以认为它需要具备所谓的“子要素”。你必须包含音乐的所有细节。还有对话。

所以一个关键点是对齐。作为模型，它需要知道视频和音频在时间上的对应关系，比如在哪个时间戳上视频和音频的 token 是匹配的。实际上，大多数其他模态都没有这种对齐。想想文本和图像、文本和视频，它们只是松散对齐。你可以有一段描述说明视频里发生了什么，但通常不需要精确到——比如在 1 秒这个时间点发生了什么？这种描述非常粗略。对，没错。

这取决于你如何设计模型，让它具备时间模态的感知能力。所以模型是能感知时间的，这在 LLM 中相当独特。如果你让 LLM 完成一个任务，比如问它，它会说这个任务大概需要 12 小时。但一小时后它回来说，我已经花了 2 天，什么都耗尽了。对，LLM 本身没有时间概念。

没错，它来自互联网上的语料。人们会有个估计。

你怎么看这两者？对，先声明一下，我不打算争论什么是世界模型。定义很多，我就从多模态领域的角度说说我的定义，主要围绕视频。世界模型就是实时交互的长时域视频。有三个部分，我们一个一个说。首先是交互。看看 Playbook 和神经计算机。世界模型的交互部分允许你通过键盘、鼠标，可能还有语音与它互动。这些都是你可以与模型交互的模态，模型应该给出合理的回应。第二部分是实时性。比如你移动鼠标，如果世界模型生成一个游戏，它响应能有多快？如果你是职业 CS:GO 玩家，响应时间得在 10 毫秒以下甚至更短。不过大多数——哦，60 FPS。那就 300 FPS。

好，300 FPS 就是 3 毫秒。所以你得在毫秒级内响应。大多数视频模型做不到。但如果是数字人这样的视频模型，响应时间可能更宽松，比如实时语音交互通常是 200 毫秒。这宽松多了。但即使 200 毫秒也很有挑战，因为记得我们提到过 VAE 带来的时间压缩。如果你不压缩时间维度，序列长度会爆炸。所以要让模型具备实时性，你必须处理长上下文问题。第三部分是长时域。因为我们不会只玩几秒钟的视频游戏。大多数视频模型只能生成几秒。我们要玩几分钟、几小时。模型必须能生成长内容。把这三者结合起来，就是实时、长时域的交互式视频。我认为最终状态会是，比如一个视频版的 Playbook，你可以与神经计算机交互。你移动鼠标，点击生成式界面，它通过实时生成的像素来回应。但要达到这一步，路还很长。所以我在 Gorky Imagine 领导一个小型世界模型团队时，第一步就是构建视频扩展。视频扩展——啊，这是交互性的第一步。对，第一步。

对，第一步。因为它解锁了长时域视频。通常大多数视频生成模型，你给一个提示或一张图片作为初始帧，生成视频，就完了。一次性的。有些创作者会尝试把最后一帧作为第二段视频的第一帧。有时能行，但重复几次就会退化，而且没有整个视频的上下文。

没错，正是。

对对对。举个例子，Vue 我记得Vue 3只有1秒的上下文，就是上一段视频。这比只用最后一帧好一点，但存在同样的问题，质量会下降。比如你多次扩展生成到1分钟，视频质量会比第一段差很多。第二个问题是，模型缺乏对之前发生事件的长期记忆。比如生成两人对话时，他们的声音可能会随时间变化，尤其是当这1秒的条件信息没有覆盖之前的上下文时。这些都是核心挑战。而Groq Imagine Video扩展功能拥有所有之前生成视频的历史上下文。它能知道谁在说话、出现过什么物体等等，并基于这些信息生成下一段视频。如果简单粗暴地把所有历史视频token都塞进上下文，上下文长度很容易爆炸。对于视频模型来说，我估计上下文长度可能达到几百万。上下文长度。这有什么问题？比如在KOSMOS中，仅仅5秒的视频就需要5万到6万个token。如果你生成50秒，那就是50万个token。再长一点，很容易就爆炸了。这个长时程问题是我们试图用模型解决的第一步。结果发现，用户非常喜欢视频扩展功能，很多创作者都用它来制作更长的视频。这也是我喜欢的一点，你们在最终目标之前先有了一个中间步骤，而不是直接一步到位。

对，这确实是个很好的观点。在视频中，其实有很多冗余信息。我们通过VAE解决了很多像素级别的冗余，但在长距离、长时程的视频中还有更多冗余。比如，一个角色在第一段中出现，然后消失，直到视频结尾才再次出现，那么在生成中间部分时，你可能不需要这个上下文。你只需要在需要的地方用到那个角色。所以这也是我帮助构建另一个功能的原因，叫做“参考到视频”（Reference to Video）。

是不同的。你可能需要搜索“reference to video”。参考视频功能允许你上传最多7张图像作为条件来生成视频。比如，可以是角色、物体甚至场景。比如我想用肖恩的自拍照和一把刀作为条件。

把狗放进去。对，你可以把它们放进去，视频模型就会生成视频，并从参考中复制上下文。这可以解决很多问题。比如长上下文问题，它不需要很长的上下文，但我觉得这是一个中间解决方案。有点作弊。对。所以模型应该能够有选择地知道在哪里引用参考。比如，如果我想生成一部电影，我每次自动回归生成10秒。现在这个角色出现了，我可以回溯到它第一次出现的地方，把那个上下文带回来。对，这个我放了参考。这是Optimus、爱因斯坦、我自己、安妮。

是啊，我不知道。可能不同实验室的沟通风格略有不同。

所以我觉得这就像是一种从历史中选取上下文的机制。你可能不会把整个历史都放进上下文里。比如有一篇叫 FramePack 的论文，它采用了一种启发式方法：最近的历史，比如最近1秒，我会把整个历史放进去；而更早的历史，我会压缩它，让视频变得更小。所以我遵循这个模式，这个漂亮的模式，即最大序列长度是固定的。离当前帧越远，图像就越小。这只是一个启发式方法。我认为它可以更自动化。模型本身是知道的，比如它知道历史中的哪些部分可以被选中。所以这部分研究实际上有很多人在积极进行。这也挺有趣的。我觉得这部分关于长上下文的研究，其实比大语言模型（LLM）部分要稍微超前一些。比如在 LLM 中，如果你的上下文不断增长，假设你调用了工具，工具调用的历史非常长，那它仍然在上下文中，并且不断增长、不断增长。即使你把话题切换到别的东西，整个上下文还在那里。有一些 agent 框架可以帮助你修剪工具结果，比如当你查询一个文件时，只显示前200行之类的。这些都非常依赖启发式方法。

是的。我认为持续学习的一个突破可能在于一种自动管理自身上下文的方式——

没错。有趣的是，LLM 和视频模型都在研究同样的事情。

是的，不同之处在于，attention——先不提稀疏 attention——像普通的 UKV attention，你必须关注所有的 token。是的。所以你没有一种高层机制来丢弃那些你不想关注的 token。作为人类，我们的注意力跨度其实小得惊人。是的。你只能记住一个电话号码的11位数字。但我有特征检测能力，对吧？

但人类的上下文，比如注意力之所以能工作，是因为我们可以动态地从不同地方拉取信息。我认为同样的机制也会发生在 LLM 和视频模型上。

是的，我觉得作为一种文化，它挺有趣的，也有点被低估了。这种文化可以用三句话概括：快速行动、构建、没有目标太大、以及第一性原理。比如，目标设定得非常宏大。当我最初思考的时候，这几乎是不可能实现的。

这是个很好的问题。所以这是从第一性原理思考出发的。如果你想想，人们可能会说第一性原理更适用于物理世界而不是模型。我会说，比如，如果你考虑一些限制，比如获取数据，我们获取视频的速度能有多快？再比如训练模型，端到端训练一个模型的迭代速度是多少？增加更多 GPU 会如何加速这个时间线？还有，如果你需要人工数据，人工数据的交付周期是多久？如果你把这些都放在一起，这就是第一性原理思考：哦，你知道，时间线是什么，实现某件事最少需要多少天？

是的，我觉得在 xAI 工作的一个好处就是有机会更多地和 Elon 互动。我很幸运能从他那里得到一些指导，这很有趣。而且他和人们合作非常紧密，就像网上人们想象的那样，他非常亲力亲为。有两件事。

那其实不是我所在的团队负责的。

很多国家不允许生成式数据、带有水印的生成式AI视频。所以在这些国家，Grok Imagined 都加了水印，而且很多视频被极快地删除。

嗯，我觉得检测这些东西会越来越难。SynthID 有一个问题，以前只有谷歌在用，现在很多不同的实验室也开始采用它。它的一个局限是，相关技术的论文已经公开，人们可以逆向工程找出如何去除水印。而且我认为，即使技术不断进步，逆向工程仍然可能实现。

是的。而且光靠肉眼判断也越来越难。我记得几年前，还能看到六根手指之类的明显破绽。

如果你想想这些模型是如何训练的，就像我之前提到的，GAN 在训练过程中。GAN 的目标是模型生成一张图像，然后有一个判断器来判断图像是否真实。模型被训练得让图像更真实。所以随着模型越来越先进，判断会越来越难。对我个人来说，现在我必须通过视频是否有逻辑意义来判断。这个视频是否有世界模型。

是的，这是个好问题。实际上，我有一个相当大胆的说法。视觉智能其实主要来自语言。像这些视频模型，尤其是现在，因为扩散模型技术更成熟了，每次你看到这些模型有改进，我敢说大部分改进又来自语言模型，而不是视频模型本身，也就是视频描述模型本身。在 KOSMOS 中，这些模型通常有两个部分。有一个提示重写器或提示上采样器部分。我认为在 KOSMOS 中，我们使用 LLaMA 或 Mixtral，而 Cosmos 视频模型本身只有 7B，语言模型作为提示重写器，比它大得多。所以提示重写器的任务是接收用户指令，并将其转换为极其详细的视频描述。因为视频扩散模型，我会说它们有点“笨”，因为它们会严格按照输入指令执行，因为在训练过程中，记住，我们在创建合成文本对时必须尽可能详细地描述视频。所以这些模型会接收这类指令来生成视频。当你接收用户指令时，用户指令其实很简单。只说“一只猫”之类的。如果你把“一只猫”输入视频模型，它们会严格按照指令执行。它们可能真的只显示一只猫在白色背景上，因为你没有描述背景。猫不会动，因为你没有描述。它非常严格地执行指令，有点笨。而提示重写器实际上是一个更大的模型，它是一个语言模型，接收用户指令并将其扩展。所以你提到的思考过程就来自那里。所以如果你看 GPT-Image，它生成一张图片需要 3 分钟。这 3 分钟不全是像素生成。很多时间花在改进上。所以提示重写现在已经发展到不仅仅是思考，它还可以是一个智能体模型。例如，假设你想生成今天新闻的图片。它很可能会去网上获取今天的新闻，然后处理、消化一些内容，再组织布局并生成。

它是自回归的，还是仍然有？有不同的方法。例如，像 Gemini Omni，既然它说是 Omni，我相信它是一个单一模型。也许它类似于一个带有扩散头的语言模型，或者语言模型负责思考、进行智能体工具调用，然后最终使用扩散头生成图像。也有像 COSMOS 这样的方法，其中有一个独立的语言模型和独立的扩散模型。还有纯粹的语言模型方法，比如你将图像离散化，然后以离散 token 的形式生成图像。所以有不同的方法。我会说——

是的，我不确定他们是否有这个过程。但我认为在 Omni 范式下这绝对是可能的。所以如果你考虑传统的多模态语言模型，它们会有一个 VIT 编码器来编码图像。所以如果它们有一个扩散头，它们可以生成图像，然后将其放回 VIT 编码器。编码后再进行结果的迭代优化。

我只是想明确一下。我认为共同的部分是图像部分。所以很令人惊讶的是，很多改进其实来自语言侧——思考、工具调用。我还记得在 KOSMOS 里，我生成一只快乐的羊。如果不做任何改写，它看起来像 CGI 效果，改写之后就很漂亮了。我认为不需要任何联合训练。实际上，不需要联合训练，只靠改写就已经好很多了。我觉得一个很有趣的趋势是，视频智能体（video agents）——主要是语言模型——会把这些生成模型当作工具来调用，不管是独立的模型还是扩散头之类的。这样模型就能通过很长的思维链（chain of thought）迭代优化结果，甚至生成更长的内容。这其实和人类创作艺术的方式很像。我们不是直接生成像素，而是先画点什么，然后通过这个过程，这些模型不仅把扩散当作工具之一，还可以用传统工具、Photoshop 的图像编辑工具、视频编辑器、FFmpeg 等等，把这些和生成式 AI 技术组合成一套工具，迭代地创作出更高质量、达到制作水准的视频。如果你看看现有的专业创作者，他们不会止步于用这些模型生成一个视频，而是会把视频拿到编辑器里修修补补。

对，实际上有个 Groq Imagine 智能体测试版，那是这个方向的第一次尝试。所以我认为这个过程会类似——你可以让它——没有相关的博客文章。比如让它生成一个 1 分钟的视频，如果用同样的提示词直接问视频模型是做不到的。但这个模型会调用不同的工具来实现。所以这确实是个有趣的事情。当我们首次发布视频编辑模型时，我在 X 上看到有人尝试视频编辑功能，比如"把这个视频编辑成 1 分钟"，但他们不理解视频编辑的工作原理。视频编辑通常只是删除、添加、替换、风格迁移这类操作。但在视频智能体的假设下，这其实是个合理的请求。这些智能体应该能理解这种长周期任务，从而真正创作出长视频。我觉得这很迷人，因为它走的路径和 AI 辅助编程类似——先是标签补全（tab completion），比如 GitHub Copilot，然后逐渐进化到 Codex 和 Cloud Code，实现全自动化。在 GPT-4 Imagine 模式下，你还可以自己动手操作。随着模型能力提升，它最终能完全自动化地完成所有事情。

对，有很多因素，比如我们讨论过的隔离，还有思考。如果你没有思考预算，模型可以思考 3 分钟再回复你。另外推理方面，推理基础设施团队非常有才华，他们能大幅加速这些模型。是的。

所以这很有趣。确实，视频模型能力的提升实际上来自语言模型变得更智能。我认为视频智能体能解锁的东西可能比你想象的更多。有几点。第一点是，当我们给这些模型写提示词时，大多数人其实并不擅长写提示词。实际上，语言模型更懂如何给 AI 模型写提示词。AI 模型更了解 AI 模型。所以如果你联合训练这些模型，模型可能会更懂如何给每个模型写提示词——不同的模型可能不同。另一点是，这个过程可能不只是生成几个片段然后用 FFmpeg 拼起来那么简单。可能还会有更多的图像和视频编辑操作。比如你想在某个时间戳精确地添加一段文字，视频模型可能无法理解这个意图，而且做不到很精确。但这些用确定性工具是可以实现的。视频智能体可以使用各种工具，所以你不需要把所有能力都塞进生成模型本身。对，我觉得这很对。

我猜到今年年底，这会成为一个大热门。所以拐点会到来，视频agent生成的视频能达到制作级质量，可以用于展示和广告分发。一旦发生这种情况，我认为企业会给视频模型拨更多预算，因为agent本身比视频模型更贵，它们要做迭代过程，生成很多变体。是的，但一旦这些模型跨过可用性门槛，之后就会是指数级增长。

我认为机器人肯定会是其中很大一部分。我猜这个过程可能会自然发生。所以我对机器人的预测是，物理AI的问题可能通过视频来解决——它们其实都需要在真实世界中。所以可能被视频解决。LLM如果有很强的视频能力，还记得我们讨论的实时交互长程视频吗？一旦这些模型——现在它们只是在屏幕录制和电脑屏幕上训练——一旦这些模型能很好地使用电脑并理解电脑的未来状态，机器人可能成为强大AI能使用的工具之一。所以强大AI可能自然就能控制物理具身。

对我来说，有很多研究你想做，但在公司里做不了。而且公司的优先级和目标通常变化很快，xAI也一样。所以现在差不多是时候了，有些研究我想做，尤其是语言模型这边，在xAI做不了。哦，好的。

我意识到一个事实，视频模型，即使一开始，进步可能来自扩散技术的改进，但现在这个节点，实际上大部分进步来自语言模型本身。

我觉得有一件挺有趣的事，可能很快会发生，就是语言模型会具备上下文感知能力并管理自己的上下文。从视频模型这边看，我们一直受长程问题困扰，比如想生成越来越长的视频，我们尝试用各种方法解决上下文长度问题。一种是暴力方法，训练更长的上下文长度；另一种是更好地管理上下文。我认为语言模型这边很快也会发生同样的事。比如，语言模型不知道自己上下文长度是多少。一旦达到80%左右，自动上下文压缩就会被触发，而模型在工作时并不知道这一点。也许让模型知道"哦，我快接近80%了"是件好事。还有一件很有趣的事，比如在OpenClaw里，每次你输入东西，当前本地时间会自动附加到你的消息里，所以模型实际上知道现在几点。这让模型有了时间感知。还有在工具调用中，很多中间工具调用结果会自动修剪。所以有上下文移除、上下文添加和上下文压缩。这些都是来自harness本身。从我们的经验看，启发式工程也会被模型吸收到自身中。我猜这是很有趣的探索方向。

我在想象，如果模型能访问整个agent harness的代码，并能按需修改它，会怎样。比如，如果agent harness足够短，你可以直接把它放在系统提示的上下文窗口里。然后模型说，当我想生成未来的自己时，我可以修改agent harness。例如，如果agent harness可以设定为：当我读长文档时，我可以选择分块读完，回来把摘要拼在一起，或者只读前200行然后丢弃其余部分。所有这些选择，如果都能由模型自己做出，看到模型能在测试时在线编程自己，可能会非常有趣。

说到我的职业生涯，回顾起来，其实经历了很多巨大的转变。十年前，我和ResNet的作者张晓宇、陈晨一起做研究。那时候的研究方向完全不同，主要是计算机视觉，比如图像识别、目标检测、目标跟踪。我当时也在做神经网络压缩，和现在的知识蒸馏很不一样。那时我想成为教授，于是申请了博士项目。申请时我已经在顶级会议上发表了几篇第一作者论文，所以自信地申请了顶尖学校。结果我被所有顶尖博士项目拒之门外，只好去了工业界。当时我在Yann LeCun领导的Facebook AI Research（FAIR）工作。

嗯，我们可以改天再聊。那时我转向了自监督学习，和之前做的东西很不一样。之后是NVIDIA Cosmos。我意识到规模化极其重要，所以在NVIDIA主要专注于规模化。一方面是Cosmos将视频描述模型扩展到几十亿参数，另一方面是研究MoE（混合专家模型）。Megatron MoE是第一个开源框架，能够高效训练千亿甚至万亿参数规模的MoE，MFU（模型浮点利用率）达到40%左右。转到xAI后，我试图在更大的计算规模上更进一步。回顾这条轨迹，我其实做了很多不同的事情。我觉得在机器学习领域，切换方向比想象中容易。很多人可能觉得，我做了计算机视觉就得一直做下去，不能转到语言方向。但根据我的经验，至少在NVIDIA，我既做过语言模型、MoE，也做过视频模型，其实并非如此。很多核心原则，比如如何训练大模型，基本上是相通的。对我来说，现在视频模型的瓶颈其实是语言部分和智能体（agent），这也是我想更多研究OLM的原因。这算是一个挑战，但我不觉得是巨大的跨越。

谢谢。我很快会分享更多关于下一章的内容。好的，感谢邀请我。谢谢你来。