草庐IT

弥合2D和3D生成领域之间的次元壁,X-Dreamer实现高质量的文本到3D生成

近年来,在预训练的扩散模型[1,2,3]的开发推动下,自动text-to-3D内容创建取得了重大进展。其中,DreamFusion[4]引入了一种有效的方法,该方法利用预训练的2D扩散模型[5]从文本中自动生成3D资产,从而无需专门的3D资产数据集。DreamFusion引入的一项关键创新是分数蒸馏采样(SDS)算法。该算法利用预训练的2D扩散模型对单个3D表示进行评估,例如NeRF[6],从而对其进行优化,以确保来自任何摄像机视角的渲染图像与给定文本保持较高的一致性。受开创性SDS算法的启发,出现了几项工作[7,8,9,10,11],通过应用预训练的2D扩散模型来推进text-to-3D生成