扩展分类流图
Scaling Categorical Flow Maps
摘要
连续扩散与流匹配模型被视为自回归方法在语言建模(LM)中的替代方案,可支持加速采样与倾斜处理。近期研究通过在高斯分布与独热编码数据分布间进行流匹配,实现离散数据连续生成,并验证了类别流映射(CFMs)加速采样的可行性,获得具有竞争力的样本质量。
连续扩散与流匹配模型有望成为自回归方法在语言建模(LM)领域的有力替代方案,因为它们解锁了一系列目前仅适用于连续模态的优势,包括加速采样和倾斜处理。近期,多项研究展示了通过在高斯分布与独热编码数据分布之间进行简单流匹配过程,实现离散数据连续生成的可能性。这些研究进一步证明了通过类别流映射(CFMs)进行加速采样的可行性,从而获得了具有竞争力的样本质量……
译自 Apple · ML Research · 录于 二〇二六年八月八日