BitCPM-CANN-3B-未量化

概述

BitCPM-CANN-3B-unquantized 是 BitCPM-CANN-3B 的未量化 QAT（量化感知训练）checkpoint，专为继续预训练和微调设计。它保留了全精度的潜在权重，并包含在 modeling.py 中定义的三值伪量化器（权重 → {-1, 0, 1}，带分组缩放，通过 STE 训练），使模型能够在量化约束下持续学习。技术细节请参见我们的技术报告。

⚠️ 此模型不用于直接推理。 如需推理，请使用伪量化版本：openbmb/BitCPM-CANN-3B。

继续预训练与微调

唯一的要求是前向传播必须通过附带的 modeling.py（其中包含三值伪量化器）。使用 trust_remote_code=True 加载，不要替换或绕过模型的前向逻辑。

选项 1：DeepSpeed（推荐）

我们在 example 目录中提供了可直接使用的训练脚本（以 1B 模型为例）：

• 继续预训练：example/run.sh + example/train.py
• SFT（监督微调）：example/run_sft.sh + example/train_sft.py

快速开始：

# 继续预训练
cd example && bash run.sh

# 监督微调
cd example && bash run_sft.sh

选项 2：HuggingFace 兼容框架

任何支持通过自定义代码加载 HuggingFace 模型的框架均可使用，例如 LLaMA Factory、HuggingFace Trainer 等。关键在于确保 trust_remote_code=True：

from transformers import AutoModelForCausalLM, AutoTokenizer

path = 'openbmb/BitCPM-CANN-3B-unquantized'
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
)

# 与你偏好的框架（LLaMA Factory、HF Trainer 等）一起使用
# modeling.py 中的三值伪量化器会在前向传播时自动应用。

训练后转换

训练完成后，使用 qat-convert.py 融合伪量化器，生成可用于推理的伪量化权重：

python qat-convert.py \
    --input_bin <path-to-finetuned-pytorch.bin> \
    --output <path-to-output-pseudo-quantized-pytorch.bin> \
    --quant_type ternary \
    --group_size -1

转换后的模型可以像 openbmb/BitCPM-CANN-3B 一样加载进行推理——无需特殊的量化库。

工作流程

┌─────────────────────────────────┐
│  BitCPM-CANN-3B-unquantized  │   ← 此模型（QAT checkpoint + modeling.py 中的伪量化器）
└───────────────┬─────────────────┘
                │
                ▼  训练（DeepSpeed / LLaMA Factory / HF Trainer / ...）
┌─────────────────────────────────┐
│   微调后的 checkpoint             │   ← 仍包含未融合的 QAT 参数
└───────────────┬─────────────────┘
                │
                ▼  python qat-convert.py --quant_type ternary --group_size -1
┌─────────────────────────────────┐
│   伪量化模型                      │   ← 可用于推理（与 BitCPM-CANN-3B 格式相同）
└─────────────────────────────────┘

BitCPM-CANN 模型系列

声明

• 作为语言模型，BitCPM-CANN 通过从大量文本中学习来生成内容。
• 然而，它不具备理解或表达个人观点或价值判断的能力。
• BitCPM-CANN 生成的任何内容均不代表模型开发者的观点或立场。
• 因此，在使用 BitCPM-CANN 生成的内容时，用户应自行负责评估和验证。

许可证

• 本仓库及 BitCPM-CANN 模型采用 Apache-2.0 许可证发布。

引用

• 如果您认为我们的工作有价值，请引用我们的技术报告。

@article{bitcpmcann,
  title={{BitCPM-CANN}: Native 1.58-Bit Large Language Model Training on Ascend NPU},
  author={BitCPM Team},
  year={2026}
}