BitCPM-CANN-0.5B-unquantized

二〇二六年六月六日 · 英文原文

摘要

OpenBMB 发布 BitCPM-CANN-0.5B-unquantized，这是一个未量化的 QAT（量化感知训练）检查点，保留全精度权重并包含三值伪量化器（权重 → {-1, 0, 1}，带分组缩放，通过 STE 训练），专为继续预训练和微调设计。该模型通过 `modeling.py` 中的伪量化器在前向传播时自动应用量化约束，支持 DeepSpeed、LLaMA Factory、HuggingFace Trainer 等框架训练。训练后可使用 `qat-convert.py` 融合伪量化器生成推理权重。模型系列涵盖 0.5B 至 8B 参数规模，采用 Apache-2.0 许可证发布。

概述

BitCPM-CANN-0.5B-unquantized 是 BitCPM-CANN-0.5B 的未量化 QAT（量化感知训练）检查点，专为继续预训练和微调而设计。它保留了全精度的潜在权重，并包含在 modeling.py 中定义的三值伪量化器（权重 → {-1, 0, 1}，带分组缩放，通过 STE 训练），使模型能够在量化约束下持续学习。技术细节请参阅我们的技术报告。

⚠️ 此模型不用于直接推理。 如需推理，请使用伪量化版本：openbmb/BitCPM-CANN-0.5B。

继续预训练与微调

唯一的要求是前向传播必须通过附带的 modeling.py（其中包含三值伪量化器）。使用 trust_remote_code=True 加载，不要替换或绕过模型的前向逻辑。

方案一：DeepSpeed（推荐）

我们在 example 目录中提供了可直接使用的训练脚本（以 1B 模型为例）：

继续预训练：example/run.sh + example/train.py
SFT（监督微调）：example/run_sft.sh + example/train_sft.py

快速开始：

# 继续预训练
cd example && bash run.sh

# 监督微调
cd example && bash run_sft.sh

方案二：兼容 HuggingFace 的框架

任何支持通过自定义代码加载 HuggingFace 模型的框架均可使用，例如 LLaMA Factory、HuggingFace Trainer 等。关键是确保设置 trust_remote_code=True：

from transformers import AutoModelForCausalLM, AutoTokenizer

path = 'openbmb/BitCPM-CANN-0.5B-unquantized'
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
)

# 与你偏好的框架（LLaMA Factory、HF Trainer 等）一起使用
# modeling.py 中的三值伪量化器会在前向传播时自动应用。

训练后转换

训练完成后，使用 qat-convert.py 融合伪量化器，生成可用于推理的伪量化权重：

python qat-convert.py \
    --input_bin <path-to-finetuned-pytorch.bin> \
    --output <path-to-output-pseudo-quantized-pytorch.bin> \
    --quant_type ternary \
    --group_size -1

转换后的模型可以像 openbmb/BitCPM-CANN-0.5B 一样加载进行推理——无需特殊的量化库。

工作流程

┌─────────────────────────────────┐
│  BitCPM-CANN-0.5B-unquantized  │   ← 此模型（QAT 检查点 + modeling.py 中的伪量化器）
└───────────────┬─────────────────┘
                │
                ▼  训练（DeepSpeed / LLaMA Factory / HF Trainer / ...）
┌─────────────────────────────────┐
│   微调后的检查点                  │   ← 仍包含未融合的 QAT 参数
└───────────────┬─────────────────┘
                │
                ▼  python qat-convert.py --quant_type ternary --group_size -1
┌─────────────────────────────────┐
│   伪量化模型                      │   ← 可用于推理（格式与 BitCPM-CANN-0.5B 相同）
└─────────────────────────────────┘

BitCPM-CANN 模型系列

模型	HuggingFace（推理）	HuggingFace（微调）
BitCPM-CANN-0.5B	openbmb/BitCPM-CANN-0.5B	openbmb/BitCPM-CANN-0.5B-unquantized
BitCPM-CANN-1B	openbmb/BitCPM-CANN-1B	openbmb/BitCPM-CANN-1B-unquantized
BitCPM-CANN-3B	openbmb/BitCPM-CANN-3B	openbmb/BitCPM-CANN-3B-unquantized
BitCPM-CANN-8B	openbmb/BitCPM-CANN-8B	openbmb/BitCPM-CANN-8B-unquantized

声明

作为语言模型，BitCPM-CANN 通过从大量文本中学习来生成内容。
然而，它不具备理解或表达个人观点或价值判断的能力。
BitCPM-CANN 生成的任何内容均不代表模型开发者的观点或立场。
因此，在使用 BitCPM-CANN 生成的内容时，用户应自行承担评估和验证的全部责任。

许可证

本仓库及 BitCPM-CANN 模型采用 Apache-2.0 许可证发布。

引用

如果您认为我们的工作有价值，请引用我们的技术报告。

@article{bitcpmcann,
  title={{BitCPM-CANN}: Native 1.58-Bit Large Language Model Training on Ascend NPU},
  author={BitCPM Team},
  year={2026}
}

译自 OpenBMB · HF · 录于二〇二六年六月六日