一、3D点云应用领域分析
- 3D点云领域都关注了哪些方向？
- 课程核心系列-PointNet系列：点云数据如何处理、点云数据如何进行特征提取。后续无论是分类、分割、补全、配准检测，首先都要先对点云数据进行特征提取。
- PointNet系列就是重点系列。算法原理、论文思想、源码实现
- 基础算法、论文核心思想。
点云数据的特点：
① 由点组成，近密远疏
② 有遮挡
实际的点云数据：软件CloudCompare 3D坐标（x,y,z）; 数据格式为.pts
点云的应用：无人机进行环境3D重建。 在城市的交通等领域还是有需求的。点云是有3维的数据的，比2D的数据多了一个维度的。
可以旋转、多视角的观察数据。
公开的数据集如下： 左侧为点云；右侧为分割结果。
2020年开始，点云算是一个比较火热的领域了。计算机视觉的算法、论文研究——然后才有实际输出。
在2020在点云方向的paper越来越多了。视觉领域的图像、视频算法研究已经饱和，目前转向了点云了。不断的在挖掘这个领域了。
点云的应用：
① 点云分割：点云中没有像素值的大小，只有坐标。那怎么做分割呢？
不是做实例分割。部件分割。判断每一个点属于哪一个任务？ 传统的图像是每一个像素属于哪一块。
② 点云补全：近密远疏
把缺失的点补全出来。 编码器encoder，解码器decoder。对抗生成网络。风格迁移、AI变脸、特效等，有点类似的技术。
③ 点云生成：无人机图像做成3D点云。虽然有很多算法，但目前研究的人不是太多，文章也不多。——传统数据，映射成点云数据。
④ 点云物体检测：目前是研究最最热门的一个方向。分割的论文比检测多一些。
先做检测，再去做其他任务。（就像视觉里面的分类-->location YOLO）
3D检测，是一个立体的东西。是很多后续任务的前提。
⑤ 点云配准：无人机数据，地图合成。不同角度拍到的数据，然后组合出来整体的图像。
点云配准是为了给下游任务做服务的，做基础的。比如是家具行业：室内拍摄；达芬奇手术机器人。
⑥ 点云数据特征提取概述
特征提取
我们的点如何进行特征提取，backbone是什么？——PointNet，去解决点云中的检测、分割问题。——PointNet++，做特征提取的。
- 3D数据只有坐标信息；如何将数据给转换为特征。
- 特征转换是通过backbone来进行特征提取。与图像数据有差异的。图像数据和3D点云数据差异是很大的。
- 我们的点(x,y,z)如何转换为特征？ 它和其他点的关系如何考虑？这个点和全局的关系如何考虑？
- 处理点云数据中最重要的backbone是PointNet
- 点补全、分割、检测等领域，都会用到的PonitNet++这个backbone的。
3D点云中有哪些核心的网络？
⑦ 3D 数据应用领域与点云介绍
- 3D点云数据与图像数据有很大的差异：
- 感知端的传感方式与之前不一样了。属于3D方式的采集。360度旋转，扫描得到3D数据，称之为点云。
- 3D数据（点云数据）
- 3D数据应用于自动驾驶无人车、增强现实AR游戏中。
- 一个飞机样本，由如下的点组成。三维的数据(x,y,z) 共10000个点来表达一个目标。 还有三个法向量信息：Nx,Ny,Nz。
- 点云数据可视化展示：6个维度。
- 点云数据特性：分类、部件分割、语义分割
3D的数据有很多其他形式，为什么一定要用点云呢？——
二、PointNet算法解读
① PointNet基本出发点
算法要体现出来交换不变性！ 比如max函数、求和函数，都是满足交换不变性的。跟x的次序无关。
② PointNet基本模型架构和整体网络架构
三维的特征维度太少了，需要进行升维。维度提升。
③ PointNet有哪些问题呢？PointNet++网络
PointNet升级算法需要解决的问题：
最远点采样方法
分组Group方法原理解读
整体流程概述分析
分类与分割问题解决方案
遇到的问题及改进方法分析
