论文读后感
摘要
针对现在遥感图像细弱目标分割任务所存在的分割精度低， 收到背景噪声干扰明显等问题， 提出了一种基于Dense-Unet网络和继承学习的改进语义分割的方法， 实现高分辨率遥感图像中细弱目标的分割方法。
基本思想
首先融合DenseNet思想和U-Net网络结构，提出一种新的Dense-Unet的网络结构，从而可以提取场景中的细小目标，其次为了增强学习能力，使用代价敏感重向量方法， 改进训练时的目标函数， 提升模型在训练过程中的收敛速度和在测试数据上的泛化能力； 最后采用bagging继承学习方法对多个网络模型进行集成， 采用决策融合方法对多个模型预测的结果进行投票表决， 是得对细弱目标的分割精度进一步提升。经过实验，得出结论，使用Dense-Unet网络结构在细弱目标的分割精度上优于目前常用的深度学习分割网络， 并且拥有更好的泛化能力和优异的视觉效果。
实现精准的像素级遥感图像细弱目标分割
针对目前FCN, U-Net, SegNet 等分割网络都面临着遥感图像中细弱目标特征不明显，类别不平衡问题。本文针对这一问题，提出了一种新的网络模型，增加了网络对细弱目标的特征提取和利用能力，加强了网络模型对细弱目标的注意力。 并使用集成学习的方法对结构进行多模型投票表决，增强了模型的分割精度和泛化能力。
DenseNet
DenseNet 是在U-Net网络的基础上进行改进，通过其特有的稠密链接结构，加强了网络各层级之间的特征传递，能够保证每层较少参数的前提仍保持较高的预测精度。 另外稠密连接的思想是得网络抵抗过拟合的能力显著增强， 具有更好的泛化能力， 稠密连接的邮电能够显著加强网络各层级之间的联系，十分适合对细弱目标的特征提取。
DenseNet结合U-net网络中结构简单，对训练数据要求少的基础上，使用稠密卷积块代替了原本U-net网络中的卷积层，通过多个卷积层之间稠密连接和多个稠密卷积层之间的跳跃连接的方式，显著加强了网络各层级之间的联系，使得下采样层中提取的特征信息能够高效的传输到上层中，避免卷积和池化所缺失的目标特征信息，增强了网络对细弱目标的识别精度， 使得网络能够实现精准级别的像素定位。在网络模型的搭建中，进一步又使用了批标准化层和瓶颈层对网络进行优化改进，减小了由于遥感图像细弱目标分割过程出现的数据分布不平衡问题，加快了训练时收敛的速度。
DenseNet网络结构
整个网络由左侧的下采样路径和右侧的转置卷积上采样路径组成，左右两侧分别对应着网络的编码和解码部分。在下采样路径与上采样路径之间引入跳跃连接，补偿由于池化引起的特征损失，帮助上采样路径更好地获得由下采样路径中细弱目标特征信息，加强了特征维度之间的联系。
而在网络具体的上下卷积路径中，首先使用稠密卷积块来代替原本简单的卷积层，稠密卷积块的结构如图 2 所示。每个稠密卷积块内部又由多个 3×3 的卷积层组成，在每个卷积层的前后使用 BatchNorm 层和 SeLU 激活函数来防止训练当中可能引起的梯度消失现象。
稠密连接结构能够融合高维和低维特征来更好的确认目标的边界，从而更好的提升分割精度。
网络结构的优化和类别不平衡的处理方法
1、批标准化的应用
对于图像处理这一类任务，在处理过程中都需要对数据进行批归一化操作，其基本思想时通过降低每一批数据的协变量偏移解决数据分布不同所引发的问题，批归一化可以加快收敛速度，进一步突出数据之间的相对差距，在Dense-Unet网络中在每一个卷积层和转置卷积层之后都引入了批归一化层来缓解梯度消失问题来提高训练速度，使得网络的收敛速度加快。
在网络中，通过批标准化先求出训练过程中的每一个训练批次的均值和方差，之后对该批次中的每个数据做归一化处理，以减少由于数据分布不均引起的训练困难问题。再经过平移和缩放后就保证了每一次数据归一化后既能保留原来学习到的特征，又达到了归一化操作后加速训练收敛过程的效果。
2、损失函数
SeLU 相比于 ReLU 函数，引入 2 个参数ߙ和 λ， ߙ和 λ 是大于 1 的固定常数。SeLU 的优点在于
其函数负半区不包含死区，当输入大于零时，经过激活函数的输出会被放大，在方差过小时，可以增大方差，同时能够防止梯度消失发生，解决了 ReLU 激活函数中输出结果没有负值和神经元失活坏死的问题。
3、图像中类别信息不平衡问题的处理
针对数据中不平衡类别导致网络对于占比较少的类别欠学习这一问题，选择增加类别占比较少目标在训练中的权重和误分类的惩罚代价，并将这种惩罚代价直接体现在损失函数之中。即采取代价敏感的方法，设置权重敏感向量来增大模型在训练过程中对小类别的注意力，对所有的分类均加上一个权重值，每一类的权重大小与该类别占整体样本中的比例负相关。这样的一系列权重值就构成了一个代价敏感向量。
集成优化方法的遥感图像细弱目标分割
1、模型优化及集成学习 Bagging
为了进一步提升网络在测试集上的精度和泛化能力，采用集成学习 Bagging 的方法来进一步提升模型精度。Bagging 是集成学习的一个方法，其特点是可以并行训练多个基分类器，从而在训练过程中节省大量时间开销。具体实现步骤如下：
- 训练 Dense-Unet、U-net 与 SegNet 这 3 个网络作为基本网络，并每次从训练集中有放回地随机抽取部分作为新的训练集，有些样本可能会多次抽到，一共抽取出 3 个新的训练集，这 3 个训练集之间是相互独立的。
- 每次使用一个新训练集得到一个模型，在各自的训练集上分别训练得到 Dense-Unet、U-net 与
SegNet 基本模型，这 3 个模型的训练过程同样是独立的。 - 最终将分别训练得到的 3 个模型分配不同权重(Dense-Unet 为 45%、U-net 为 30%、SegNet
为 25%)进行投票，各模型共同对每个像素点的类别进行预测，最终组合成一个新的集成模型。
最后，将训练集按照如上方法随机抽取得到了3 份新数据集，最终得到3个独立的语义分割模型，并基于此进行组合，对测试图片中每个像素点的分类都由这 3 个基础模型投票表决，以少数服从多数的原则得到最终的预测结果。
