Hugging Face · Daily Papers
Prox-E:基于基元抽象的细粒度 3D 形状编辑
Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions
摘要
基于文本的 2D 图像编辑模型近来已达到相当成熟的水平,推动了大量依赖这些模型来驱动 3D 编辑的研究。虽然这类方法在外观修改上效果良好,但以 2D 为中心的 3D 编辑 pipeline 往往难以处理细粒度 3D 编辑:这类任务需要在严格保留对象整体身份的同时,施加局部结构变化。
为解决这一限制,我们提出 Prox-E:一种无需训练的 framework,通过显式的、基于 primitive 的几何抽象实现细粒度 3D 控制。我们的 framework 首先将输入 3D 形状抽象为一组紧凑的几何 primitive。随后,pretrained vision-language model (VLM) 会编辑这一抽象表示,以指定 primitive 级别的变化。这些结构编辑随后用于引导 3D generative model,从而在保留原始形状未变化区域的同时,实现细粒度、局部化的修改。
通过大量实验,我们证明,相较于多种现有方法,包括基于 2D 的 3D editor 和基于训练的方法,我们的方法在身份保留、形状质量和指令一致性之间始终取得更有效的平衡。