BitCPM4-CANN-3B-未量化

简介

BitCPM4-CANN-3B-unquantized 是 BitCPM4-CANN-3B 模型的未量化 QAT 训练检查点。该模型存储了在 fake-quantizer 融合之前的原始量化感知训练（QAT）参数——三元 fake quantizer 在 modeling.py 中定义，并在前向传播过程中应用。

⚠️ 此模型不适用于直接推理。 它被设计为 BitCPM4-CANN 微调的起点。如果你需要一个用于推理的模型，请使用伪量化版本：openbmb/BitCPM4-CANN-0.5B。

关键特性

• 🎯 用途：仅用于微调。模型权重是未融合的 QAT 参数，fake quantizer 嵌入在 modeling.py 的前向逻辑中。
• 🔬 三元 Fake Quantizer：modeling.py 中的前向传播包含三元量化逻辑（将权重映射到 {-1, 0, 1}，并带有分组缩放），这确保了模型在微调期间继续在三元约束下学习。
• 🔄 训练后转换：微调后，可以使用提供的 qat-convert.py 脚本将模型转换为伪量化格式。

BitCPM4-CANN 模型系列

模型	HuggingFace（推理）	HuggingFace（微调）
BitCPM4-CANN-0.5B	openbmb/BitCPM4-CANN-0.5B	openbmb/BitCPM4-CANN-0.5B-unquantized
BitCPM4-CANN-1B	openbmb/BitCPM4-CANN-1B	openbmb/BitCPM4-CANN-1B-unquantized
BitCPM4-CANN-3B	openbmb/BitCPM4-CANN-3B	openbmb/BitCPM4-CANN-3B-unquantized
BitCPM4-CANN-8B	openbmb/BitCPM4-CANN-8B	openbmb/BitCPM4-CANN-8B-unquantized

使用方法

微调

此模型设计用于支持自定义建模代码的框架进行微调。关键要求是前向传播必须经过此模型附带的 modeling.py 文件，该文件包含三元 fake quantizer 逻辑。这确保了模型参数在整个微调过程中与三元量化约束保持兼容。

支持的微调框架

• DeepSpeed（推荐）：参见 MiniCPM 微调指南
• LLaMA Factory：支持使用 trust_remote_code=True 加载自定义模型
• 其他框架：任何支持 HuggingFace 兼容模型加载并允许自定义建模代码的框架

重要：确保 Fake Quantizer 处于激活状态

微调时，你必须确保：

1. 使用 trust_remote_code=True 加载模型，以便使用自定义的 modeling.py（包含三元 quantizer）。
2. 训练期间的前向传播经过 modeling.py 中定义的三元 quantizer——不要替换或绕过模型的前向逻辑。

from transformers import AutoModelForCausalLM, AutoTokenizer

path = 'openbmb/BitCPM4-CANN-3B-unquantized'
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
)

# 继续你的微调流程（DeepSpeed、LLaMA Factory 等）
# modeling.py 中的三元 fake quantizer 将在前向传播期间自动应用。

微调后转换

微调完成后，使用 qat-convert.py 脚本融合 fake quantizer，生成可用于推理的伪量化模型权重：

python qat-convert.py \
    --input_bin <path-to-finetuned-pytorch.bin> \
    --output <path-to-output-pseudo-quantized-pytorch.bin> \
    --quant_type ternary \
    --group_size -1

转换后的模型可以像 openbmb/BitCPM4-CANN-3B 一样加载用于推理——无需特殊的量化库。

工作流程总结

┌─────────────────────────────────┐
│  BitCPM4-CANN-3B-unquantized  │   ← 此模型（QAT 参数 + modeling.py 中的 fake quantizer）
└───────────────┬─────────────────┘
                │
                ▼  微调（DeepSpeed / LLaMA Factory / ...）
┌─────────────────────────────────┐
│   微调后的 pytorch.bin           │   ← 仍包含未融合的 QAT 参数
└───────────────┬─────────────────┘
                │
                ▼  python qat-convert.py --quant_type ternary --group_size -1
┌─────────────────────────────────┐
│  伪量化后的 pytorch.bin          │   ← 可用于推理（格式与 BitCPM4-CANN-0.5B 相同）
└─────────────────────────────────┘

技术背景

BitCPM4-CANN 使用三元 quantizer，将每个权重组映射到由分组因子缩放的 {-1, 0, 1}，并通过 Straight-Through Estimator（STE）进行梯度流动训练。未量化的检查点保留了全精度潜在权重以及 quantizer 参数，使模型在微调期间能够在量化约束下继续学习。

有关完整的技术细节，请参阅我们的技术报告。

声明

• 作为语言模型，BitCPM4-CANN 通过从大量文本中学习来生成内容。
• 然而，它不具备理解或表达个人观点或价值判断的能力。
• BitCPM4-CANN 生成的任何内容均不代表模型开发者的观点或立场。
• 因此，在使用 BitCPM4-CANN 生成的内容时，用户应自行承担评估和验证的全部责任。

许可证

• 本仓库和 BitCPM4-CANN 模型根据 Apache-2.0 许可证发布。

引用

• 如果您认为我们的工作有价值，请引用我们的技术报告。

@article{bitcpm4cann,
  title={{BitCPM-CANN}: Native 1.58-Bit Large Language Model Training on Ascend NPU},
  author={BitCPM Team},
  year={2026}
}