transformers v5.16.1
transformers v5.16.1
v5.16.1 发布，新增 GLM-5.3-Flash 原生多模态模型。该模型总参数 320B，激活参数 18B，基于 30T-token 多模态预训练语料，采用稀疏与线性 attention 混合架构及 Manifold-Constrained Hyper-Connections（mHC），在 benchmark 和真实工作负载上优于 GLM-5.2，价格为后者十分之一，编程和 agentic benchmark 接近 Claude Opus 4.8。同时修复 tensor-parallel API 的 BC 行为及 ESMFold2 kernel 路径，相关 PR 由 @Dovis01、@ArthurZucker、@Rocketknight1 提交。
发布 v5.16.1
这是一个特殊版本，因为我们加入了 GLM！（以及一些小修复）
GLM-5.3-Flash
GLM-5.3-Flash 是 GLM-5 系列中首个原生多模态模型。总参数 320B，仅 18B 激活参数，在 benchmark 和真实工作负载上均优于 GLM-5.2，而价格仅为后者的十分之一，在编程和 agentic benchmark 上接近 Claude Opus 4.8。
GLM-5.3-Flash 基于新训练的基座模型，其架构和训练方案围绕能力与效率重新设计。GLM 系列首次引入结合稀疏与线性 attention 的混合架构，大幅降低长上下文服务成本，同时保持精确的长上下文能力。该模型还采用 Manifold-Constrained Hyper-Connections（mHC）进一步提升扩展效率。结合我们最新的 30T-token 多模态预训练语料，这些改进使 GLM-5.3-Flash 能以更少的算力提供更强的智能。
链接： 文档
- [Glm 5.3 Flash] GLM 5.3 Flash 支持 (#48342) 由 @Dovis01 在 #48342 中提交
小补丁修复
主要是 TP 的 BC 行为以及出于安全原因固定 hf kernel :hugs:
- 恢复 tensor-parallel API 的 BC（#48300）由 @ArthurZucker 提交
- 修复 ESMFold2 的 kernel 提交和仓库路径（#48186）由 @Rocketknight1 提交