OmniDirector：无需交叉配对数据的通用多镜头相机克隆

从参考视频中克隆相机运动是视频生成中的一项重要任务，因为视频提供了直观且精确的控制。现有方法要么直接使用参数化表示，但无法处理多镜头生成；要么合成跨配对数据，但受限于数据稀缺，导致在复杂相机运动克隆中表现不佳。为解决这些问题，我们提出了一种通用的相机运动表示方法，将相机编码为网格运动视频。这种相机网格以视觉方式表示相机参数，并支持集成多样化轨迹以实现多镜头视频生成。在此基础上，我们提出了OmniDirector，这是一个统一框架，在百万级相机网格-视频配对数据上训练，能够协调角色、动作和相机，为多模态扩散Transformer提供导演级别的控制。此外，我们设计了一种新颖的分层提示扩展智能体，通过系统性地描述相机运动和视觉内容并理解信号之间的关系，和谐地整合不同的控制信号。大量实验表明，我们的框架具有卓越的性能和出色的可控性。项目页面：https://ymlinfeng.github.io/OmniDirector.github.io