DreamFusion

3dtiles的自动生成 自动生成3d图_3dtiles的自动生成

Dreamfusion 是 Google 的大型AI图像模型 Imagen 与 NeRF 的3D功能相结合。从模型发展脉络上看,Dreamfusion 是 Dream Fields 的演变,Dream Fields 是谷歌于 2021 年底推出的一种生成式 3D AI 系统。对于 Dream Fields,谷歌将 OpenAI 的图像分析模型 CLIP 与神经辐射场 (NeRF) 相结合,允许神经网络存储 3D 模型。

3dtiles的自动生成 自动生成3d图_java_02

小杜

Dream Fields 利用了 NeRF 生成 3D 视图的能力,并将其与 CLIP 评估图像内容的能力相结合。我们输入文本后,会经由 CLIP 评估,然后反馈用作 NeRF 模型的校正信号。这个过程中,从不同角度的评估反馈重复多达 20000 次,直到生成与文本描述匹配的 3D 模型。Dreamfusion 进一步发展了这种方法。

模型运作原理介绍

带我们直接看看模型的效果呗~

3dtiles的自动生成 自动生成3d图_3dtiles的自动生成_03

Mixlab

3dtiles的自动生成 自动生成3d图_3dtiles的自动生成_04

小杜

目前 Dreamfusion 还未完全做到工具开源,不过项目网站上也提供了生成的词条组合,我也上手体验了一番。

组合生成词条的生成结果

3dtiles的自动生成 自动生成3d图_编程语言_05

小杜

目前 Dreamfusion 项目官网也提供了生成模型的加载查看体验,若想下载模型,运用浏览器检查工具,复制储存模型的网址,打开后即可下载。

模型加载查看工具

3dtiles的自动生成 自动生成3d图_编程语言_06

小杜

虽然 Dreamfusion 还未开放使用,但项目网站提供了生成画廊,实时更新生成模型,感兴趣的同学可前去探索体验哦~

种类丰富的模型画廊


我记得 Nvidia 也开源了从单个2D图像生成3D模型的AI

#

3dtiles的自动生成 自动生成3d图_3dtiles的自动生成_07

Nvidia 最新的 AI 模型 GET3D 只需一个 2D 图像作为输入,即可在几秒钟内输出许多带纹理的 3D 网格,并可以在标准图形引擎中无缝使用。

我们 ♾️元宇宙创作者基地mo 的群友 Simon  也分享过他自主开发的Text-to-3D 模型。

AI 的发展太快了,我有点跟不上节奏了...

#

#

我是乐观派,已经迫不及待运用新工具开始全新的创意探索啦!

3dtiles的自动生成 自动生成3d图_人工智能_08

小杜

看来大家对3D模型的生成工具非常感兴趣,我也在社群知识库里整理了相关的扩展阅读和开源工具链接,大家可以移步知识星球查看哦