SCAIL-2：通过端到端上下文条件实现统一受控角色动画

SCAIL-2 是一个用于端到端受控角色动画的开源模型。它能够使用驱动视频对参考角色进行动画化，同时还支持角色替换和多角色场景，无需依赖中间姿态表示。

🔎 概述

先前的角色动画方法严重依赖中间表示，例如骨架图或修补掩码。这些中间表示在复杂运动下存在歧义，将驱动源限制为人体运动，并限制了替换和多角色动画的适用范围。

SCAIL-2 消除了这种依赖，实现了端到端驱动。通过使用多个现成模型（SCAIL-Preview、Wan-Animate、MoCha），合成了 60K 个运动对，并通过统一的运动传输接口（配备专用掩码通道和 RoPE 设计）进行训练。这种统一的反向驱动训练方案使模型能够学习超越其教师模型的能力，从而产生涌现能力，例如：

• 跨身份角色替换
• 动物驱动场景
• 对高级控制中间表示（如 SAM3D-Body 网格渲染）的零样本支持

📦 模型

下载后的文件布局：

SCAIL-2/
├── Wan2.1_VAE.pth
├── model
│   ├── 1
│   │   └── fsdp2_rank_0000_checkpoint.pt
│   └── latest
└── umt5-xxl
    └── ...

🚀 使用

推理代码、环境设置和详细说明已在项目仓库中提供。请参考项目页面和代码仓库了解如何运行模型。

📄 引用

@article{yan2025scail,
  title={SCAIL: Towards Studio-Grade Character Animation via In-Context Learning of 3D-Consistent Pose Representations},
  author={Yan, Wenhao and Ye, Sheng and Yang, Zhuoyi and Teng, Jiayan and Dong, ZhenHui and Wen, Kairui and Gu, Xiaotao and Liu, Yong-Jin and Tang, Jie},
  journal={arXiv preprint arXiv:2512.05905},
  year={2025}
}