apple-ml-research
Conditional Diffusion 中组合泛化的局部机制
Local Mechanisms of Compositional Generalization in Conditional Diffusion
摘要
研究探讨 conditional diffusion models 的组合泛化机制，聚焦 length generalization，即生成对象数量超过训练集的图像。在受控 CLEVR 设置中，实验发现模型在部分条件下可实现该能力，部分条件下失败，说明其仅在某些情况下学习到底层组合结构。
Conditional diffusion models 似乎具备组合泛化能力，即能够针对 out-of-distribution 的条件组合生成可信的样本，但这一能力背后的机制仍不清楚。为使问题更具体，我们研究 length generalization，即生成包含比训练期间所见更多对象的图像的能力。在受控的 CLEVR 设置（Johnson et al., 2017）中，我们发现 length generalization 在某些情况下可以实现，而在另一些情况下则不行，这表明模型只是有时学到了底层的组合结构。随后我们进一步研究……
译自 apple-ml-research · 录于 二〇二六年五月八日