Qwen-Drive-1.0-4B

[!Note] 本仓库包含 Qwen-Drive-1.0 的权重和配置，格式为 Hugging Face 格式。相关代码、演示数据和文档已在 QwenLM/Qwen-Drive-1.0 中发布。

Qwen-Drive-1.0 保留了预训练 Qwen3.5 视觉语言模型的架构，并在统一框架中集成了 3D 感知、视觉问答和运动规划。原生多模态的 Qwen3.5-4B 作为共享 VLM，附加了两个外部模块：一个 BEV 感知头，联合执行 3D 目标检测、语义占用预测和 BEV 地图分割；以及一个 规划专家，基于共享 VLM 表示，通过 flow matching 生成未来的自车轨迹。未改动的 VLM 回答关于驾驶场景的自由形式问题。分阶段的训练方案将驾驶监督与通用视觉语言数据相结合，使模型在获得驾驶特定能力的同时，保持广泛的视觉理解和指令跟随能力。

更多详情，请参阅我们的技术报告：Qwen-Drive-1.0。

亮点

• Qwen-Drive-1.0 是首个在预训练阶段统一 3D 感知和视觉问答，并进一步扩展到运动规划的自动驾驶视觉语言基础模型，同时完全保持预训练 VLM 架构不变。
• 外部 BEV 感知头作为显式、可检查的 3D 探针，联合学习 3D 检测、语义占用预测和 BEV 地图分割，为同一预训练 VLM 提供清晰的感知输出，同时保持极具竞争力的视觉语言性能。
• 分阶段的训练和数据方案统一了跨数据集标签、重写了响应、过滤了不一致的样本，并将驾驶数据与通用视觉语言监督相结合，支持领域适应，同时缓解灾难性遗忘。
• 针对预训练 VLM 表示定制的规划专家通过 flow matching 生成未来自车轨迹。统一的轨迹标注支持在多个公开驾驶数据集上进行联合训练，并在开环、伪闭环和闭环评估中取得极具竞争力的结果。
• 发布了两个规划专家：planner-sft 支持直接规划和推理规划；planner-rl 在 NAVSIM PDMS、WOD-E2E RFS 和位移项上进一步进行了奖励优化，在推理规划模式下表现最佳。

运动规划

Qwen-Drive-1.0 的规划样本完全来自公开数据源，统一了跨数据集的轨迹格式，并从开环预测评估到闭环驾驶。SFT 模型在所有 benchmark 上已具备竞争力。经过强化学习后，模型仅以微小的开环位移代价，换取了在人类偏好对齐和闭环安全性方面的全面提升。

视觉语言理解

驾驶 VQA。 Qwen-Drive-1.0-SFT 在驾驶问答方面领先于通用 VLM 和驾驶或具身智能专家，具有最锐利的空间理解和更准确的物理尺度感知。因果推理能力的提升最为显著，其驾驶决策能力从广泛的驾驶数据中泛化而来，而非记忆特定场景。

通用视觉语言理解。 大规模驾驶训练未引起明显的灾难性遗忘。Qwen-Drive-1.0-SFT 在很大程度上保留了其通用视觉语言能力，在知识、推理、识别和空间理解 benchmark 上与基础 Qwen3.5-4B 表现相当，同时很好地保持了指令跟随能力。

3D 感知

单个 Qwen-Drive-1.0-SFT 模型即可产生连贯的 3D 检测、语义占用和 BEV 地图分割结果，这些结果反映了真实的 3D 结构，而非继承标签噪声。BEV 感知头被刻意保持简单，使其作为共享 VLM 表示的显式、可检查的 3D 探针，而非面向高级感知 benchmark 的专家模型。

仓库内容

所有内容均在一个目录中。VLM 位于根目录，为所有任务共享，每个任务头位于其旁边的子文件夹中。

Qwen-Drive-1.0-4B/          9.1 GB  VLM，单独即可支持 VQA 模式
├── planner-sft/            2.1 GB  规划专家，模仿学习训练
├── planner-rl/             2.1 GB  奖励优化后的规划专家
└── perception/             0.5 GB  BEV 感知头

快速开始

从 GitHub 仓库安装推理代码：

git clone https://github.com/QwenLM/Qwen-Drive-1.0 qwen-drive && cd qwen-drive
pip install -e . --no-build-isolation

下载权重（根目录的 VLM 及其子文件夹中的每个任务头）：

hf download Qwen/Qwen-Drive-1.0-4B --local-dir Qwen-Drive-1.0-4B

加载带有规划专家的 VLM 并预测轨迹：

import torch
from qwen_drive import InferenceMode, QwenDriveForPlanning
from qwen_drive.benchmarks import read_scene_file
from qwen_drive.images import ImageArchive

model = QwenDriveForPlanning.from_pretrained(
    "Qwen-Drive-1.0-4B",
    planner="Qwen-Drive-1.0-4B/planner-rl",
    dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
).to("cuda").eval()

scene = next(
    read_scene_file(
        "data/demo/planning_scenes.jsonl",
        image_archive=ImageArchive.open("data/demo/frames.parquet"),
    )
).scene

result = model.run(InferenceMode.REASONING_PLANNING, scene=scene, num_samples=6)
print(result.reasoning)
print(result.trajectories.shape)   # (6, 50, 3) -> (x, y, heading), 5 s at 10 Hz

• VQA。 加载根目录（不带规划器），VLM 即可独立回答自由形式的驾驶问题。
• 感知。 使用 QwenDrivePerception.from_pretrained("Qwen-Drive-1.0-4B/perception") 附加 BEV 头；它绑定同一个 VLM，并输出 3D 检测、占用和 BEV 地图分割结果。
• planner-rl 仅在推理条件下的 rollout 上进行了奖励优化，因此请在推理规划模式下运行。planner-sft 支持直接规划和推理规划。

GitHub 仓库中的 scripts/demo.py 可端到端运行四个内置规划场景和六个感知帧，无需额外数据。

引用

如果您觉得我们的工作有帮助，欢迎引用我们。

@misc{zhou2026qwendrive10initialstepvisionlanguage,
      title={Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving}, 
      author={Xin Zhou and Zongchuang Zhao and Zhibo Yang and Mingsheng Li and Humen Zhong and Shuai Bai and Du Chu and Ruizhe Chen and Zhaohai Li and Jun Tang and Qiuyue Wang and Mingkun Yang and Jiazhao Zhang and Dayiheng Liu and Dingkang Liang and Xiang Bai},
      year={2026},
      eprint={2609.00111},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2609.00111}, 
}