BitCPM-CANN-8B-未量化
BitCPM-CANN-8B-unquantized
OpenBMB 发布 BitCPM-CANN-8B-unquantized，这是一个未量化的 QAT（量化感知训练）检查点，保留全精度权重并内置三值伪量化器（权重映射至{-1,0,1}，分组缩放，通过 STE 训练），专为继续预训练和微调设计。该模型不用于直接推理，需通过附带 modeling.py 以 trust_remote_code=True 加载。支持 DeepSpeed、LLaMA Factory 等框架训练，训练后可用 qat-convert.py 融合伪量化器生成推理权重。系列包含 0.5B、1B、3B、8B 四个版本，均基于 Apache-2.0 许可证发布。
概述
BitCPM-CANN-8B-unquantized 是 BitCPM-CANN-8B 的未量化 QAT（量化感知训练）检查点，专为继续预训练和微调而设计。它保留了全精度的潜在权重，并带有在 modeling.py 中定义的三值伪量化器（权重 → {-1, 0, 1}，带有分组缩放，通过 STE 训练），使模型能够在量化约束下继续学习。技术细节请参见我们的技术报告。
⚠️ 此模型不用于直接推理。 如需推理，请使用伪量化版本：openbmb/BitCPM-CANN-8B。
继续预训练与微调
唯一的要求是前向传播必须通过附带的 modeling.py（其中包含三值伪量化器）。使用 trust_remote_code=True 加载，并且不要替换或绕过模型的前向逻辑。
选项 1：DeepSpeed（推荐）
我们在 example 目录中提供了可直接使用的训练脚本（以 1B 模型为例）：
- 继续预训练：
example/run.sh+example/train.py - SFT（监督微调）：
example/run_sft.sh+example/train_sft.py
快速开始：
# 继续预训练
cd example && bash run.sh
# 监督微调
cd example && bash run_sft.sh
选项 2：HuggingFace 兼容框架
任何支持使用自定义代码加载 HuggingFace 模型的框架都可以使用，例如 LLaMA Factory、HuggingFace Trainer 等。关键在于确保 trust_remote_code=True：
from transformers import AutoModelForCausalLM, AutoTokenizer
path = 'openbmb/BitCPM-CANN-8B-unquantized'
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
path,
torch_dtype=torch.bfloat16,
trust_remote_code=True
)
# 与你偏好的框架（LLaMA Factory、HF Trainer 等）一起使用
# modeling.py 中的三值伪量化器会在前向传播期间自动应用。
训练后转换
训练后，使用 qat-convert.py 融合伪量化器，生成可用于推理的伪量化权重：
python qat-convert.py \
--input_bin <path-to-finetuned-pytorch.bin> \
--output <path-to-output-pseudo-quantized-pytorch.bin> \
--quant_type ternary \
--group_size -1
转换后的模型可以像 openbmb/BitCPM-CANN-8B 一样加载进行推理——无需特殊的量化库。
工作流程
┌─────────────────────────────────┐
│ BitCPM-CANN-8B-unquantized │ ← 此模型（QAT 检查点 + modeling.py 中的伪量化器）
└───────────────┬─────────────────┘
│
▼ 训练（DeepSpeed / LLaMA Factory / HF Trainer / ...）
┌─────────────────────────────────┐
│ 微调后的检查点 │ ← 仍包含未融合的 QAT 参数
└───────────────┬─────────────────┘
│
▼ python qat-convert.py --quant_type ternary --group_size -1
┌─────────────────────────────────┐
│ 伪量化模型 │ ← 可用于推理（与 BitCPM-CANN-8B 格式相同）
└─────────────────────────────────┘
BitCPM-CANN 模型系列
| 模型 | HuggingFace（推理） | HuggingFace（微调） |
|---|---|---|
| BitCPM-CANN-0.5B | openbmb/BitCPM-CANN-0.5B | openbmb/BitCPM-CANN-0.5B-unquantized |
| BitCPM-CANN-1B | openbmb/BitCPM-CANN-1B | openbmb/BitCPM-CANN-1B-unquantized |
| BitCPM-CANN-3B | openbmb/BitCPM-CANN-3B | openbmb/BitCPM-CANN-3B-unquantized |
| BitCPM-CANN-8B | openbmb/BitCPM-CANN-8B | openbmb/BitCPM-CANN-8B-unquantized |
声明
- 作为语言模型，BitCPM-CANN 通过从大量文本中学习来生成内容。
- 然而，它不具备理解或表达个人观点或价值判断的能力。
- BitCPM-CANN 生成的任何内容均不代表模型开发者的观点或立场。
- 因此，在使用 BitCPM-CANN 生成的内容时，用户应自行承担评估和验证的全部责任。
许可证
- 本仓库和 BitCPM-CANN 模型根据 Apache-2.0 许可证发布。
引用
- 如果您认为我们的工作有价值，请引用我们的技术报告。
@article{bitcpmcann,
title={{BitCPM-CANN}: Native 1.58-Bit Large Language Model Training on Ascend NPU},
author={BitCPM Team},
year={2026}
}