Android 渲染3D 点云什么是3d点云

转载

智慧编织者 2023-10-09 06:56:37

文章标签 Android 渲染3D 点云计算机视觉点云数据 3D 文章分类 Android 移动开发

点云数据处理

why？广泛的引用场景：机器人技术、3D图形、自动驾驶、虚拟现实
处理方式：1. 传统方法：侧重于对点的局部几何特征进行编码
what？定义：

1.1 3D点云数据定义：

3D数据的表述形式分为以下4种：
a）点云：由N个D维的点组成
b）Mesh:由三角面片和正方形面片组成
c) 体素：由三维栅格将物体用0和1 表征
d）多角度的RGB图像或者RGB-D图像

3D点云是三维空间种点的数据集，常用来表示3D物体的表面
通常，R、G、B 颜色值和表面法线等附加信息也可以嵌入为点属性，具体取决于用于捕获点的传感器。
与采用规则网格表示的 2D 图像不同，3D 点云是无组织的，没有特定的顺序。这种无序的性质使得在处理点云和设计方法时需考虑其特殊性

1.2 3D点云数据的获取

通常使用LiDAR传感器获得点云数据
激光雷达（LiDAR）代表光检测和测距，与之类似的传感器有雷达和声纳
具体原理如下：激光雷达发射高密度的激光束，光束沿直行传播打到物体的表面，然后以相同的方向反射回去（忽略少量光线发生衍射现象），反射回去的光线由光电探测器（光敏传感器）检测收集，结合激光束往返传播的距离与方向信息就可以生成物体的3D几何形状。实际在使用过程中，激光发射器置于连续旋转的底座上，从而使得发射的激光束能以不同方向到达物体表面（前、后、左、右）。

1.3 点云数据的特点

![[Pasted image 20221020104545.png]]

1.4 3D点云数据在计算机种的储存

点云数据以浮点二进制文件格式储存
每个数据通常由四位16进制浮点数表示，分别表示点云的x，y，z，r（强度和反射值）

点云数据处理

对于点云数据的处理，主要涉及点云滤波、点云配准、点云分类、点云语义分割、点云目标识别等

2.1 点云滤波（数据预处理）

详见：点云数据详情点云滤波，顾名思义，就是滤掉噪声。原始采集的点云数据往往包含大量散列点、孤立点.
点云滤波的主要方法有：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波、VoxelGrid滤波等，这些算法都被封装在了PCL点云库中。

2.2 特征与特征描述

描述点云数据光有位置不够，还需要计算一些额外参数，比如法线方向、曲率、纹理特征等
常用的特征描述算法：法线和曲率计算及特征值分析、PFH、FPFH、3D Shape Context、Spin Image等。

PFH：点特征直方图描述子，FPFH：跨苏点特征直方图描述子，FPFH是PFH的简化形式。

2.3 特征点的提取

将二维特征点的思想推广到三维，关键点的数量远远少于特征点，与局部特征子结合在一起，组成关键点描述子用来形成原始数据的表示，而且不失代表性和描述性，从而加快了后续的识别，追踪等对数据的处理速度。
常见的三维点云关键点提取算法有一下几种：ISS3D、Harris3D、NARF、SIFT3D

这些算法在PCL库中都有实现，其中NARF算法应用较为常见。

2.4 点云配准

2.5 点云分割与分类

点云的分割与分类处理比二维图像的处理复杂很多，点云分割又分为区域提取、线面提取、语义分割与聚类等。同样是分割问题，点云分割涉及面太广，一般说来，点云分割是目标识别的基础。

分割：区域声场、Ransac线面提取、NDT-RANSAC、K-Means、Normalize Cut、3D Hough Transform(线面提取)、连通分析

分类：基于点的分类，基于分割的分类，监督分类与非监督分类。

2.6 目标识别与检测

这是点云数据处理中一个偏应用层面的问题，简单说来就是Hausdorff距离常被用来进行深度图的目标识别和检测，现在很多三维人脸识别都采用这种技术。

2.7 SLAM图优化

SLAM技术中，在图像前端主要获取点云数据，而在后端优化主要就是依靠图优化工具。而SLAM技术近年来的发展也已经改变了这种技术策略。在过去的经典策略中，为了求解LandMark和Location，将它转化为一个稀疏图的优化，常常使用g2o工具来进行图优化。常用的工具和方法如下。

g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、 Cross Correlation、NDT

2.8 变化检测

当无序点云在连续变化中，八叉树算法常常被用于检测变化，这种算法需要和关键点提取技术结合起来，八叉树算法也算是经典中的经典了。

2.9 三维重建

获取到的点云数据都是一个个孤立的点，从一个个孤立的点得到整个曲面就是三维重建的问题。

直接采集到的点云是充满噪声和孤立点的，三维重建算法为了重构出曲面，常常要应对这种噪声，获得看上去很光滑的曲面。

常用的三维重建算法和技术有：

泊松重建、Delauary triangulatoins

表面重建，人体重建，建筑物重建，输入重建

实时重建：重建纸杯或者龙作物4D生长台式，人体姿势识别，表情识别

3. 点云数据集

已有的3D点云数据集主要有ModelNet40，ShapeNet，S3DIS，3D Match，KITTI，其中前3者主要应用于CAD模型，室内建筑物分割，室内场景配准等，KITTI数据集主要应用于自动驾驶、ADAS、外部场景视觉SLAM等。

4. 基于点云数据的目标识别

针对当前视觉SLAM采集的数据，下文重点对比点云数据的目标识别方法，包括传统方法和深度学习方法。

4.1 传统方法

基于边缘的方法

检测点强度快速变化的边缘。这些边通常是点云中不同区域的边界。因此，点云的区域被分割。

基于区域的方法

首先搜索邻域。附近的点具有相似模式的区域被组合成孤立区域，然后是发现不同区域之间的差异。

基于属性的方法

首先计算点云数据的属性，然后基于属性对点云进行聚类。

基于模型的方法

该方法是纯几何的。相同的点数学表示为几何形状，如球体、圆锥体、平面和圆柱体被分组为一个段。

基于图的方法

将点云视为图。一个简单的模型是每个顶点对应一个点，边连接到特定的点与邻近点。

一般来说，分割点云有两个传统的分支。这个首先涉及纯数学模型和几何推理技术比如区域生长或模型拟合。第二个是3D图像的提取，使用特征描述符的特征和使用机器的对象类别分类学习技巧。

第一种方法提供了更快的计算速度，但它只适用于简单的场景。因此，第二种方法更为有效通常在实践中使用，通常表现更好。考虑到第二种方法，分割通常被表述为逐点分类问题。每个点首先由特征描述符描述例如FPFH或SHOT，它们依靠手工设计特征和点的局部几何特性。然后，提取特征被连接到特征向量并输入到分类器中，如支持向量机机器（SVM）和随机森林（RF）。