VGI-BENCH：探析视频生成模型中的视觉智能

近期研究表明，视频生成模型可通过生成的帧展现出某种形式的零样本视觉推理能力。然而，可靠的评估仍具挑战性：基准测试应采用与当前视频模型视觉先验相一致的输入，要求有效的演化过程而非仅合理的最终状态，并校准任务难度以保持既有挑战性又部分可行。为此，我们引入VGI-bench，包含27个任务和810个实例，通过任务领域和技能标签的两级分类体系，对视频生成模型的视觉推理能力进行细粒度评估。我们的评估显示，当前生成系统能解决部分基于视觉的推理任务，但远未达到可靠水平，即使最强的模型Seedance~2.0，在我们的评估标准下也仅达到51.0%的准确率。我们的分析进一步探讨了输出失败模式、输入条件敏感性、合成微调的性能迁移边界，以及内部去噪视角揭示的有限自我修正能力——后续步骤主要细化早期假设，而非纠正推理错误。我们希望VGI-bench能有助于推动下一代视频生成模型的发展。我们将发布代码和数据。