1. Adobe研究院和斯坦福大学的研究者提出了一种基于Transformer的3D生成方法DMV3D,利用单个A100GPU仅需30秒即可生成各种高保真3D图像。
2. DMV3D是一种全新的单阶段全类别扩散模型,通过2D多视图图像扩散、3D NeRF重建和渲染的集成,实现端到端的训练,避免了传统3D生成方法中的问题。
3. 通过使用稀疏的多视图投影作为训练数据,DMV3D能够在单个图像或文本输入的情况下实现3D生成,取得了在单图像3D重建方面的State-of-the-Art(SOTA)结果,超越了先前方法。
近期,Adobe研究院和斯坦福大学的研究者推出了一项创新的3D生成方法,命名为DMV3D。通过基于Transformer的新型单阶段全类别扩散模型,该方法能在单个A100GPU上仅需30秒的时间内生成高保真3D图像。DMV3D通过将2D多视图图像扩散、3D NeRF重建和渲染集成到一个端到端的训练过程中,成功避免了传统方法中的问题。
![Adobe发布创新的DMV3D方法 单个A100生成3D图像只需30秒](http://www.okzhineng.com/wp-content/uploads/2023/07/niao3.jpg)
论文地址:https://arxiv.org/pdf/2311.09217.pdf
官网地址:https://justimyhxu.github.io/projects/dmv3d/
这项研究的关键在于使用稀疏的多视图投影作为训练数据,以解决传统3D生成方法中存在的模糊和难以去噪的问题。相比之下,DMV3D展示了在单个图像或文本输入的情况下实现3D生成的能力。通过固定一个稀疏视图作为无噪声输入,并对其他视图进行类似于2D图像修复的降噪,DMV3D能够在30秒内生成各种高保真3D图像,这一成果超越了先前基于SDS的方法和3D扩散模型。
研究者还介绍了DMV3D的训练和推理过程,包括基于重建的多视图降噪器的构建、多视图扩散和去噪的方法以及模型的时间和相机调节。此外,通过引入文本或图像的条件降噪器,DMV3D实现了可控的3D生成,为无条件生成模型提供了更多可能性。
这一创新方法的提出对于AI视觉领域的3D生成研究具有重要意义,不仅在技术上解决了传统方法的问题,而且在性能上取得了SOTA的成果。该研究为未来的VR、AR、机器人技术和游戏等应用领域提供了新的可能性。
(站长之家)