我们能抵御针对现实危机事件的AI生成视频攻击吗?检测器、生成器与社会传播的系统评估
Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination
近期视频生成器能够伪造出关于战争、灾难、公共紧急事件及其他现实危机的逼真画面,构成重大的虚假信息风险。然而,现有基准在检测器和生成器在此类情境下的行为方面提供的证据有限,包括可检测性如何随生成条件变化、人们如何感知生成视频,以及检测器在社交传播过程中是否保持可靠。为填补这一空白,我们引入RA-Bench,一个以真实视频为锚点的AI生成视频检测基准。RA-Bench包含17,886个视频,涵盖10个社会风险类别中的1,830个真实视频锚点,以及来自四个开源和五个闭源生成器的16,056个生成片段。基于RA-Bench,我们从三个维度组织评估。首先,我们评估检测器在七种传统检测器、三种审查设置下的十种零样本多模态模型,以及两种专门针对AI生成视频检测进行微调的多模态大语言模型上的泛化能力。在这些方法中,三类检测器家族均未能在RA-Bench实例上实现一致的泛化。接着,我们考察可检测性如何随生成质量、条件信息和采样种子变化。这些分析表明,生成属性对不同检测器家族的影响各异,而源级检测模式在不同种子间保持稳定。最后,我们研究人类真实性判断及社交传播期间的检测器可靠性。我们发现,误导人们的视频同样难以被当前检测器识别,且社交传播使检测更加困难。综合这些发现,当前方法在检测逼真AI生成视频方面存在困难,凸显了对能适应不断演进的视频生成器的稳健检测器的需求。