Qwen-Drive-1.0：迈向自动驾驶视觉语言基础模型的初步探索

我们提出Qwen-Drive-1.0，这是迈向自动驾驶视觉语言基础模型的初步探索。Qwen-Drive-1.0保留了预训练视觉语言模型（VLM）的架构，并在统一框架内整合了3D感知、视觉问答和运动规划。一个外部鸟瞰图（BEV）感知头联合执行3D目标检测、语义占用预测和BEV地图分割。它作为共享表示中可获取3D信息的探针，并提供对3D场景结构的显式、可检查接口。一个规划专家模块基于共享的VLM表示生成未来的自车轨迹。分阶段训练方案将驾驶监督与通用视觉语言数据相结合，以获取驾驶特定能力，同时帮助保持广泛的视觉理解和指令跟随能力。实验表明，该方法在3D感知和驾驶场景理解方面表现强劲，同时基本保留了通用视觉语言能力。在开环、伪闭环和闭环设置下的全面评估进一步展示了极具竞争力的运动规划性能。