PhiZero：围绕物理语言构建的世界模型

我们推出PhiZero，一个围绕物理语言构建的物理世界模型，物理语言是一种世界状态转换的紧凑离散表示。现有的物理世界模型通常直接在像素空间中预测未来视频，将底层世界动态隐含在高维视觉预测器中。受人类从视觉经验中抽象预测结构并将其组织为自然语言以进行显式推理的能力启发，我们通过自监督从野外视频中学习物理语言，并利用它显式推理物理世界如何演化。据此，PhiZero采用先推理后渲染的范式：它首先将未来世界演化推断为物理语言序列，然后将推断的转换渲染为视频。在生成和理解基准上的广泛实验验证了PhiZero建模物理一致世界演化的能力。我们进一步展示了其在真实感和交互式世界建模、细粒度动作条件模拟以及零样本运动迁移方面的潜力。