Hugging Face · Daily Papers
BlenderRAG:通过检索增强代码合成实现高保真 3D 对象生成
BlenderRAG: High-Fidelity 3D Object Generation via Retrieval-Augmented Code Synthesis
来自 University of Bologna
摘要
从自然语言自动生成可执行的 Blender code 仍然具有挑战性,目前 SOTA LLM 经常产生语法错误,并生成几何上不一致的 object。我们提出 BlenderRAG,这是一个 retrieval-augmented generation 系统,基于一个经过筛选的 multimodal dataset,包含 500 个由专家验证的示例(text、code、image),覆盖 50 个 object categories。通过在生成过程中检索语义相似的示例,BlenderRAG 在四个 SOTA LLM 上将 compilation success rate 从 40.8% 提升到 70.0%,并将 semantic normalized alignment 从 0.41 提升到 0.77(CLIP similarity),且无需 fine-tuning 或专用硬件,使其可立即用于部署。数据集和代码将发布于 https://github.com/MaxRondelli/BlenderRAG。