Hugging Face · Daily Papers

LiveEdit:面向实时扩散流式视频编辑

LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing

Xinyu Wang, Chongbo Zhao, Fangneng Zhan, Yue Ma
来自 Tsinghua University
二〇二六年六月三十日 · arXiv:2606.26740 · PDF · Code

流式视频编辑近年来取得了快速进展,但其实际部署仍受限于两个核心问题:在时间维度上保持背景及未编辑区域的稳定性,以及实现实时交互场景所需的低延迟。与此同时,现有的流式视频生成方法大多面向合成任务,由于严格的保留要求和区域特定控制,无法直接应用于编辑。本文提出了一种新颖的流式视频编辑框架,能够以因果方式逐帧执行编辑,同时具备强大的内容保留能力和实时响应性。我们的核心设计是一个三阶段蒸馏流程,逐步将编辑能力从强大的双向基础模型迁移至高效的单向流式编辑器,从而在不牺牲视觉保真度的前提下实现稳定的长时域编辑。为进一步支持实时部署,我们引入了一种面向AR(增强现实)的掩码缓存机制,跨帧复用与区域相关的计算,显著减少了冗余处理并加速了推理。最后,我们为流式视频编辑建立了专用基准测试。大量评估表明,我们的方法在流式基线中达到了最先进的视觉质量,同时将推理速度大幅提升至12.66 FPS,使其适用于交互式和增强现实应用。

译自 Hugging Face · Daily Papers · arXiv:2606.26740 · 录于 二〇二六年六月三十日