Orca：世界在你心中

我们提出Orca，一个通用世界基础模型的初步实例。Orca从多模态世界信号中学习统一的世界潜在空间，并通过多模态读出接口将其呈现。不同于优化孤立的下一token、下一帧或下一动作预测，我们聚焦于下一状态预测建模，提供一条统一的状态转移建模路径，用于理解、预测和作用于世界。Orca通过两种互补范式学习：无意识学习从连续视频中捕获密集的自然状态转移，有意识学习则通过语言描述的事件和VQA监督来建模稀疏的有意义状态转移。预训练阶段，我们构建了大规模的世界学习库存数据，包括125K小时的视频数据和1.6亿条事件标注。预训练后，Orca学习到一个统一的世界潜在空间。为检验所学潜在空间是否支持下游任务，我们通过三种代表性下游读出任务进行评估：文本生成、图像预测和具身动作生成。Orca的主干网络被冻结，仅轻量级的模态特定解码器可训练。实验表明，所提范式具有可扩展性，并验证了更强的世界潜在空间能带来更强的下游读出性能。Orca在性能上超越了同等规模的专业基线模型。这些结果表明，Orca作为通用世界基础模型，为理解、预测和作用于世界提供了一条有前景的路径。最后，我们讨论了当前局限性，旨在为社区提供有益的见解和启发。