点云分割特征融合 python 点云分割网络

本文介绍一篇3D点云分割网络：Cylinder3D，论文已收录于 CVPR 2021。 这里重点是理解本文提出的 Cylindrical Partition 和 Asymmetrical 3D Convolution Network。

论文链接为：https://arxiv.org/pdf/2011.10033.pdf

项目链接为：https://github.com/xinge008/Cylinder3D

---

0. Abstract

本文提出了新的3D分割网络：由圆柱坐标体素划分和非对称 3D 卷积网络组成。此外本文还引入了一个 point-wise 模块来改进体素块输出，提高辨识精度。

新的网络在两个大型室外场景数据集（SemanticKITTI 和 nuScenes）上进行了评估：在 SemanticKITTI 数据集上，新框架排名第一。在 nuScenes 数据集上，新方法的表现也大大超过了之前的方法。

---

1. Introduction & Related Work

引言部分作者介绍了点云分割的三种处理方式：投影为距离图像，直方体分割、圆柱分割，从下图可以看到，圆柱分割能够有效提高分割精度。

研究现状，作者介绍了 ：

• 室内场景点云分割 ：PointNet和聚类算法，不过室内场景点云数量比较少而且距离范围很小，很难适用于室外场景；
• 室外场景点云分割：将3D投影为2D将不可避免失去3D几何信息；
• 3D 体素分割 ：将点云划分为规则的体素，但是都忽视了点云的稀疏性和密度不均匀性；

---

2. Methodology （重点）

2.1 Framework Overview

网络框架如下图所示，由圆柱坐标体素划分、非对称3D卷积模块、点元素模块组成。

---

2.2 Cylindrical Partition

这里作者首先对比了直方体划分和圆柱体划分产生的非空网格比例情况，可以看到，距离越远时，圆柱体划分能产生更高比例的非空网格。

具体划分流程如右图所示，将直角坐标$(x,y,z)$转换为圆柱体坐标$( ρ,\theta,z)$，距离约远时，划分的网格就越大。同时使用MLP学习点云特征，最终得到的圆柱表示为 $\mathbb{R} \in C \times H \times W \times L$，这里$C$表示特征维度，$H$表示弧度，$W$表示角度，$L$表示高度。

---

2.3 Asymmetrical 3D Convolution Network

这里作者设计了非对称3D卷积块，如下图所示，由下采样和上采样块组成。

---

3. Experiments

首先对比了本文与其它分割算法在SemanticKITTI 和nuScenes数据集上的精度。

然后是对比实验，验证本文设计的各个模块对分割精度的提升。

最后是扩展实验，验证本文设计的模块对全景分割和物体检测性能的提升。