从树到流再回到树：统一 Decision Trees 与 Diffusion Models

Decision tree 和 diffusion model 表面上是截然不同的模型类别：一个是离散且层级化的，另一个是连续且动态的。本文通过在适当的极限情形下建立 hierarchical decision tree 与 diffusion process 之间清晰的数学对应关系，将二者统一起来。我们的统一框架揭示了一个共同的优化原则：Global Trajectory Score Matching（GTSM）；对于该原则，gradient boosting（在理想化版本中）在渐近意义上是最优的。

我们通过两个关键的实际实例强调这项工作的概念价值：\treeflow 在 tabular data 上实现了具有竞争力的生成质量，并具备更高的保真度和 2\times 的计算加速；\dsmtree 是一种新的 distillation 方法，可将层级 decision logic 迁移到 neural network 中，并在许多 benchmark 上将性能控制在 teacher 的 2% 以内。