MiniCPM5-2B-DSpark
MiniCPM5-2B-DSpark
OpenBMB 发布 MiniCPM5-2B-DSpark，一个为 MiniCPM5-2B 及其 tokenizer 配对的 DSpark draft checkpoint。模型含 5 层 draft 层、323,776,001 参数，每次前向生成 7 个 draft token，精度为 BF16。训练数据由目标模型生成，共 1,959,525 序列、70.5 亿 token，训练 6 epochs，最大序列长度 12,288，采用 AdamW 优化器及 CE、L1 与 confidence loss。评估显示在数学、代码、通用领域汇总接受长度分别为 5.5174（T=0）与 4.0514（T=1.0）。模型权重以 Apache-2.0 许可证发布。
MiniCPM5-2B-DSpark
MiniCPM5-2B-DSpark 是一个 DSpark draft checkpoint，专为与 MiniCPM5-2B 及其 tokenizer 精确配对而训练。
模型规格
| 属性 | 值 |
|---|---|
| 目标模型 | MiniCPM5-2B |
| Draft 层数 | 5 |
| Draft 参数量 | 323,776,001 |
| 每次前向传播的 draft token 数 | 7 |
| 目标 hidden-state 层 | [1, 10, 20, 30, 39] |
| Checkpoint 精度 | BF16 |
训练方案
训练响应由 MiniCPM5-2B 从通用领域、数学和代码 prompt 的混合数据中生成。
| 设置 | 值 |
|---|---|
| 训练序列数 | 1,959,525 |
| 训练 token 数 | 7,054,154,509 |
| Epochs | 6 |
| 最大序列长度 | 12,288 |
| 优化器 | AdamW |
| 目标函数 | CE + L1 + confidence loss |
评估
接受长度定义为总补全 token 数除以总投机验证步数。评估使用自然 EOS 终止和 max_new_tokens=4096。
| 领域 | T=0 |
T=1.0 |
|---|---|---|
| 数学 | 6.0496 | 4.6050 |
| 代码 | 6.1106 | 4.4381 |
| 通用 | 4.1585 | 3.0997 |
| 汇总 | 5.5174 | 4.0514 |
与 SGLang 配合使用
python -m sglang.launch_server \
--model-path <target-model-path> \
--trust-remote-code \
--speculative-algorithm DSPARK \
--speculative-draft-model-path <draft-model-path> \
--speculative-dspark-block-size 7
局限性与免责声明
本模型没有自主意图或法人资格；其输出是基于统计模式生成的文本，可能不准确、带有偏见或具有冒犯性，并且可能被精心构造的 prompt（"越狱"）操纵以产生非预期内容。其在政治、健康、金融和法律等敏感话题上的回复未经专家审核，不应被视为专业建议。
本模型按"现状"提供，不附带任何明示或暗示的担保，开发者不对因使用本模型而产生的任何损害承担责任。用户必须仅将模型用于合法、合规和合乎道德的目的，自行配置安全防护措施，并在需要时标注 AI 生成内容；禁止故意越狱、注入攻击或诱导有害输出，任何此类测试的风险由用户自行承担。
许可证
本仓库及 MiniCPM 模型权重根据 Apache-2.0 许可证发布。
引用
如果您觉得我们的工作有价值，请引用我们的论文：
@article{minicpm4,
title={Minicpm4: Ultra-efficient llms on end devices},
author={MiniCPM, Team},
journal={arXiv preprint arXiv:2506.07900},
year={2025}
}