PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling

期刊：CVPR2020

时间：2020

code：https://github.com/yanx27/PointASNL

创新

  • 针对fps采样对噪声敏感的问题，提出自适应采样方法，看起来其实就是一个局部特征丰富模块
  • 受non-local的启发，使用全局范围内的上下文信息，对采样点的特征进行增强

1、Adaptive Sampling（AS）模块

2020-CVPR-PointASNL_深度学习

对fps采样后的点，先对其邻域使用self-attention，更新邻域内点的信息。然后对增强后的邻域，在邻域点维度上（就是对每一个邻域点计算一个权重，用来更新采样点的特征和坐标）使用attention机制，然后加权求和得到更新后的采样点特征和坐标

2、local-nonlocal

2020-CVPR-PointASNL_计算机视觉_02

  • local模块类似于PointConv的局部特征提取
  • nonlocal模块本质上还是使用了​​self-attention​​（应该是一种特殊的attention，和self-attention很像），使用了上一层的点云和采样后点云计算相识度。

具体实现

2020-CVPR-PointASNL_点云_03

实验结果

2020-CVPR-PointASNL_点云_04

2020-CVPR-PointASNL_点云_05