《Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object Representation》

​论文链接​

​项目链接​

主要解决的问题:深度生成形状模型缩放到高分辨率

主要描述

       先前的做法出发点是从对象的行为来提取动机,本文论则提出一张新颖的方法,在体素空间通过网络实现6个直角深度投影得到超分辨率,来实现3D目标进行快速上采样。这种方法比较有效缩放到高分辨率目标上比直接在3D上进行处理。本论文分解2D深度超分辨的问题到剪影和深度预测来捕获结构和较好的细节。该方法比较容易生成锐边比独立的网络。在ShapeNet RGB图像数据集上,本论文提出的方法在3D目标重建实现较好的结果,并且长远证明了第一个有效的3D超分方法。 

系统架构

AI论文探讨室·A+·第7期 Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object_计算机视觉

        3D目标重建和超分辨实现框架:输入为一张RGB图像来进行低分率重建或者一个低分率目标来做3D超分辨。使用ODM进行上采样来得到最终的预测。

AI论文探讨室·A+·第7期 Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object_缩放_02

       多视点分解框架MVD:每一个ODM预测任务能够被分解到一个剪影和详细预测。通过只编码残缺的细节来简化预测任务,mask是通过真值的剪影。

实验结果

AI论文探讨室·A+·第7期 Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object_计算机视觉_03

       从图像可以看出,输入为低分辨率图像,经过MVD网络处理后,3D目标的分辨率得到明显的提高,细节也相对变得比较细腻。

指标对比

AI论文探讨室·A+·第7期 Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object_计算机视觉_04

使用当前比较先进的网络跑出的结果,可以明显看到哦MVD网络的F1得到都是相对比较高的。

主要工作

(1)提出多视点分解框架来学习去展示3D目标;

(2)提出ODM上采样算法,可以是目标的分辨率达到

AI论文探讨室·A+·第7期 Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object_3d_05

,得到了16倍的提升;

了解更多关于《计算机视觉与图形学》相关知识,请关注公众号:

AI论文探讨室·A+·第7期 Multi-View Silhouette and Depth Decomposition for High Resolution 3D Object_计算机视觉_06

下载我们视频中代码和相关讲义,请在公众号回复:计算机视觉课程资料