驯服扩散Transformer中的异常Token
Taming Outlier Tokens in Diffusion Transformers
摘要
本研究考察扩散变换器（DiTs）在图像生成中的离群token现象。结果显示，该现象在表示自编码器（RAE）-DiT流水线的编码器与去噪器中均存在：预训练ViT编码器可产生离群表示，DiTs自身亦会在中间层发展出内部离群token。研究揭示了离群token在生成模型中的具体表现与分布特征。
我们研究了扩散变换器（DiTs）在图像生成中的离群token现象。先前的工作表明，视觉变换器（ViTs）可能产生少量高范数token，这些token吸引了不成比例的注意力，同时携带有限的局部信息，但它们在生成模型中的作用仍未得到充分探索。我们展示了这一现象在现代表示自编码器（RAE）-DiT流水线的编码器和去噪器中均会出现：预训练的ViT编码器可能产生离群表示，而DiTs自身也可能发展出内部离群token，尤其是在中间层……
译自 Apple · ML Research · 录于 二〇二六年八月六日