DreamX-Creator:以2K分辨率普及原生音视频生成
DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution
来自 AMAP-ML
摘要
近期视频生成器往往省略音频,或在独立阶段合成音频,限制了对视觉动态与声学事件的相互建模。我们提出DreamX-Creator 1.0,一个以7B生成器为核心的紧凑型原生联合音视频生成系统。在首帧和文本提示的条件下,生成器联合去噪模态专属的音频与视频流。这些流在网络前半部分独立处理,在后半部分通过门控跨模态注意力(Gated Cross-Modal Attention)耦合,其中token级和头级输出门控调节每个活跃跨模态注意力头的输出。统一的音视频数据系统构建并过滤时间连贯的片段,生成结构化多模态标注,并将片段组织为面向能力的数据池。渐进式联合训练包含两个音视频预训练阶段,随后进行高质量微调。音视频强化学习进一步通过模态感知多模态反馈对生成器进行后训练,将视频、音频和跨模态反馈路由至相应流。对于高分辨率输出,我们的自回归1步2K细化流程将双向多步教师适配为自回归多步细化器,并将其蒸馏为每时间块仅需一次去噪评估的学生模型。总体而言,DreamX-Creator 1.0实现了原生同步的音视频生成,性能与最先进的开源系统相当。通过发布我们紧凑的7B生成器和2K细化器,我们旨在普及原生音视频生成,并为统一音视频生成建模的未来研究提供可访问的基础。
译自 Hugging Face · Daily Papers · arXiv:2608.31106 · 录于 二〇二六年九月一日