标注即展开：视频多模态大模型的高效可扩展强化学习

多模态大语言模型（MLLMs）已成为统一视频感知的主流范式。然而，在大规模多任务数据集上进行后训练仍具挑战性，因为现有的强化学习方法即使在昂贵的思维链（CoT）生成下，也仅采样少量高质量轨迹的在线策略组。本文研究了视频MLLMs强化学习后训练的样本效率和可扩展性，并提出了OraRL。我们识别出注释的一个被忽视的作用：除了对轨迹评分外，每条注释都可作为其在线策略组中的一条“神谕轨迹”进入，成为直接的正向优化目标。然而，直接整合神谕并非易事：高奖励的神谕会抬高组基线，并将原本为正的策略优势反转，我们将这种失败称为“优势反转”。OraRL的核心是解耦优势估计器：策略轨迹确定无神谕基线，而神谕-策略差距同时调节方向增益和独立的分离神谕优势。符号平衡剪枝提升了效率：通过仅保留神谕和每个符号的最强轨迹，OraRL的步进时间仅为SFT的2.2倍，远低于GRPO加CoT所需的4.9倍。OraRL随模型大小和数据规模扩展，在0.8B至9B的骨干模型上均超越其基础，并在多达10万条提示上优于GRPO。无需思维链，Video-ORA-9B的解码时间从4,780毫秒降至130毫秒。与各自先前最优模型相比，它将时间mIoU从62.5提升至66.0，跟踪AO从73.0提升至78.2，分割从64.3提升至70.4，以及三基准空间智能宏平均值从51.0提升至56.1；在VSI-Bench上，它得分为73.1，而GPT-5为55.0，Gemini-3-Pro为55.1。