视觉-语言模型中抑制幻觉的在线自校准

大型 Vision-Language Models（LVLMs）常受 hallucination（幻觉）问题影响，生成的描述会包含输入图像中不存在的视觉细节。近期的 preference alignment 方法通常依赖从 GPT 等更强模型蒸馏得到的监督信号。然而，这种离线范式会引入 Supervision-Perception Mismatch：student model 被迫对齐超出其感知能力的细粒度细节，从而学会猜测而不是看见。

为获得可用于在线学习的可靠 self-supervision，我们发现 LVLMs 内部存在 Generative-Discriminative Gap，即模型在判别式验证上的准确率高于开放式生成。利用这一能力，我们提出 Online Self-CAlibRation（OSCAR），这是一个将 Monte Carlo Tree Search 与 Dual-Granularity Reward Mechanism 相结合的框架，用于构建 preference data，并通过 Direct Preference Optimization 迭代优化模型。

大量实验表明，OSCAR 在 hallucination benchmark 上达到 SOTA 性能，同时提升了通用多模态能力。