Agentic游戏开发：可验证轨迹数据引擎，助力世界模型扩展

扩展世界模型的一种常见策略是，利用更多算力在更多抓取的视频上进行训练。我们认为这一策略效率低下：扩展世界模型还需要一个递归数据引擎，以提供有依据的奖励信号。代码智能体的成功说明了这一点为何重要。由于代码是可执行的，编译器和运行时可以为大语言模型的强化学习（RL）后训练提供高质量奖励。相比之下，空间生成仍主要依赖模糊的代理指标，如CLIP分数。这些信号模糊且有偏，难以支撑强化学习后训练。与之相比，游戏开发为空间世界模型提供了一个缺失的奖励环境。由游戏引擎编码的场景是一种可执行的世界规范：引擎能高效检查碰撞、物理、可导航性和有界可玩性，而开发者通过判断场景是否应被接受来提供全局验证信号。游戏开发还提供了用于强化学习后训练的真实世界长时程轨迹数据。因此，我们提出一种结合密集引擎信号与开发过程中隐含的人类接受反馈的后训练范式——人类-引擎验证强化学习（RLHEV）。