点云分类和语义分割的区别点云分割研究现状

转载

lgmyxbjfu 2024-04-21 17:36:02

文章标签 点云分类和语义分割的区别算法人工智能机器学习 3d 文章分类 计算机视觉人工智能

RandLA-Net

点云分类和语义分割的区别点云分割研究现状_3d

《RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds》发布于CVPR 2020。

1 引言

在自动驾驶等领域，高效的分割网络是目前最基本和最关键的研究方向。目前存在的一些点云处理方法包括PointNet、PointNet++、PointCNN、KPConv等方法，或多或少都存在效率不高或是特征采样不足的情况，以及输入点云大小存在限制的问题。出现这些问题的原因包括：1. 这些网络的点采样方法计算量大、效率低，比如使用FPS最远点采样算法，十分耗时；2. 局部特征提取器通常依赖于计算量大的核或是图网络的构建，导致无法处理大量的点；3. 大规模点云中通常存在大量的对象，现有的局部特征提取器难以捕获大尺度下的特征，感受野受限。

因此，本文的目标是设计一种内存和计算效率高的神经架构，它能够在单次处理中直接处理大规模 3D 点云，而不需要任何预处理/后处理步骤，例如体素化、块分区或图构建。这就需要

一种内存和计算高效的采样方法，以逐步对大规模点云进行下采样以减少GPU内存消耗。
一种有效的局部特征学习器以逐步增加感受野大小以保留复杂的几何结构。本文首先系统地证明随机采样(random sampling)是深度神经网络有效处理大规模点云的关键推动因素。但随机采样会丢失关键信息，尤其是对于点云稀疏的对象。为了防止稀疏点关键信息的丢失，提出了一种新的高效局部特征聚合模块(local feature aggregation module)来捕获逐渐变小的点集上的复杂局部结构。

2 RandLA-Net

2.1 采样算法

目前最远点采样（ FPS ）和逆密度采样（IDIS）常用于小尺度的点云数据，但这两种采样算法的时间复杂度这也成为了网络扩展到大尺度点云的瓶颈之一。作者认为随机抽样（RS）是迄今为止最适合大规模点云处理的采样算法，因为它速度快且可高效扩展。但随机抽样同样容易导致一些问题，因为一些重要的点特征可能会被随机丢弃，导致网络模型没有学习到这些特征，造成模型性能损失。

2.1.1 Random Sampling (RS)

随机抽样算法从原来的 $点云分类和语义分割的区别点云分割研究现状_算法_02$ 个点中均匀选取 $点云分类和语义分割的区别点云分割研究现状_人工智能_03$ 个点。它的计算复杂度为 $点云分类和语义分割的区别点云分割研究现状_3d_04$ ，与输入点的总数无关，即它耗费的时间是恒定的，因此具有潜在的可扩展性。与 FPS 和 IDIS 相比，无论输入点云的规模如何，随机采样的计算效率最高。处理 $点云分类和语义分割的区别点云分割研究现状_算法_05$

2.1.2 Farthest Point Sampling (FPS)

为了从具有 N 个点的大规模点云 P 中采样 K 个点，FPS 返回对度量空间{$ {{p_1 ···p_k ···p_K } } KaTeX parse error: Expected 'EOF', got '}' at position 1: }̲的重新排序，使得每个点p_k$ 是距离前k-1 所有点 { $点云分类和语义分割的区别点云分割研究现状_3d_06$ } 最远的点。 FPS广泛用于小点集的语义分割。虽然它对整个点集有很好的覆盖，但其计算复杂度为 $点云分类和语义分割的区别点云分割研究现状_算法_07$ 。对于大规模点云 (N ∼ $点云分类和语义分割的区别点云分割研究现状_算法_05$ )，FPS 需要 200 秒才能从 $点云分类和语义分割的区别点云分割研究现状_算法_05$ 个点中采样出合适的输入。这说明FPS不适用于大规模点云。

2.1.3 Inverse Density Importance Sampling (IDIS):

为了从 $点云分类和语义分割的区别点云分割研究现状_算法_02$ 个点中采样$ K $ 个点，IDIS 根据每个点的密度对所有 N 个点重新排序，然后选择前 K 个点。其计算复杂度约为 O(N)。根据经验，处理 $点云分类和语义分割的区别点云分割研究现状_算法_05$

除了这些之外，还有一些其他的采样算法，如基于生成器的采样算法、基于连续松弛的采样算法、基于策略梯度的采样算法等。但总体而言，随机采样算法是最适合实时点云分割的，因为其计算效率非常高，同时不需要额外的内存来进行计算。

2.2 局部特征聚合Local Feature Aggregation

点云分类和语义分割的区别点云分割研究现状_点云分类和语义分割的区别_12

局部特征聚合模块包含三部分：Local Spatial Encoding(LocSE)、Attentive Pooling、Dilated Residual Block。

2.2.1 Local Spatial Encoding

$点云分类和语义分割的区别点云分割研究现状_3d_13$ 模块的输入为一个包含N个点的点云数据，包含了xyz的坐标信息以及d维特征(可以是rgb以及其他特征)。点云中的点会和周围点产生交互，形成有意义的点集，这样LocSE模块就可以聚合这些点的相对空间位置信息，来帮助整体模型有效学习复杂的局部结构。对于某个点 $点云分类和语义分割的区别点云分割研究现状_算法_14$ ，通过KNN算法收集其K个相邻点 $点云分类和语义分割的区别点云分割研究现状_算法_15$ 。

Relative Point Position Encoding

对于点 $点云分类和语义分割的区别点云分割研究现状_点云分类和语义分割的区别_16$ 的K个相邻点，通过如下公式进行位置编码。

$点云分类和语义分割的区别点云分割研究现状_3d_17$

其中， $点云分类和语义分割的区别点云分割研究现状_点云分类和语义分割的区别_16$ 和 $点云分类和语义分割的区别点云分割研究现状_人工智能_19$ 为x-y-z坐标， $点云分类和语义分割的区别点云分割研究现状_人工智能_20$ 为concatenation， $点云分类和语义分割的区别点云分割研究现状_算法_21$ 为欧氏距离。

Point Feature Augmentation

对于每个相邻点 $点云分类和语义分割的区别点云分割研究现状_人工智能_22$ ，将编码器的相对位置 $点云分类和语义分割的区别点云分割研究现状_机器学习_23$ 与其对应的点特征 $点云分类和语义分割的区别点云分割研究现状_人工智能_24$ 相连接，得到增强的特征向量 $点云分类和语义分割的区别点云分割研究现状_人工智能_25$ 。

最终， $点云分类和语义分割的区别点云分割研究现状_3d_26$ 的输出是一组新的相邻特征向量 $点云分类和语义分割的区别点云分割研究现状_点云分类和语义分割的区别_27$ 。这组特征显式编码了中心点 $点云分类和语义分割的区别点云分割研究现状_点云分类和语义分割的区别_16$

2.2.2 Attentive Pooling

点云分类和语义分割的区别点云分割研究现状_机器学习_29

该神经单元用于聚合相邻点特征集合 $点云分类和语义分割的区别点云分割研究现状_机器学习_30$ 。

Computing Attentive Scores

首先计算注意力分数。给定的输入局部特征集为 $点云分类和语义分割的区别点云分割研究现状_算法_31$ ，设计一个函数 $点云分类和语义分割的区别点云分割研究现状_3d_32$ 来学习每个特征的注意力分数，通常这个函数使用MLP来代替（激活函数选择SoftMax）。那么输出的注意分数 $点云分类和语义分割的区别点云分割研究现状_算法_33$ 的计算公式：

$点云分类和语义分割的区别点云分割研究现状_人工智能_34$

其中W是MLP的权重。

Weighted Summation

提取的注意力分数可以看做是一个特征的mask，其中对重要特征进行了选择，那么只需要将这个mask与特征本身相乘，即可突出重要特征。

$点云分类和语义分割的区别点云分割研究现状_人工智能_35$

对于点云 $点云分类和语义分割的区别点云分割研究现状_机器学习_36$ 中的一个点 $点云分类和语义分割的区别点云分割研究现状_点云分类和语义分割的区别_16$ ， $点云分类和语义分割的区别点云分割研究现状_3d_13$ 和 $点云分类和语义分割的区别点云分割研究现状_机器学习_39$ 模块将这个点周围的特征和图案进行聚合，最终生成信息丰富的特征向量 $点云分类和语义分割的区别点云分割研究现状_人工智能_40$ 。