code:https://github.com/weiyao1996/ScRoadExtractor
文章目录
Abstract
使用深度学习方法从遥感图像中提取路面已经取得了良好的性能，而现有的方法大多是基于完全监督的学习的，这需要大量的训练数据和费力的每像素注释。在本文中，我们提出了一种基于涂鸦的弱监督路面提取方法ScRoad提取器，它从容易获得的涂鸦，如中心线中学习，而不是密集注释的路面地面真相。为了将语义信息从稀疏的涂鸦传播到未标记的像素，我们引入了一种道路标签传播算法，该算法同时考虑了道路网络基于缓冲区的特性以及超像素的颜色和空间信息。利用道路标签传播算法生成的方案掩码训练了我们设计的一个双分支编码解码器网络，它由一个语义分割分支和一个辅助边界检测分支组成。我们在三个不同的公路数据集上进行了实验，这些数据集由高分辨率的遥感卫星和世界各地的航空图像组成。结果表明，对于联合相交(IoU)指示器，ScRoad提取器超过经典的涂鸦监督分割方法20%，比最先进的基于涂鸦的弱监督方法至少4%。
Contributions
我们的研究的主要贡献如下:
1)我们提出了一种新的基于涂鸦的弱监督深度学习方法(称为ScRoad提取器)，可以在中心线样涂鸦注释的弱监督下从遥感图像中提取路面。
2)提出了一种道路标签传播算法，利用基于缓冲区的道路属性和基于超像素的图节点之间的局部和全局依赖关系，将语义信息从涂鸦传播到未标记像素，以生成建议掩码。
3)我们设计了一个双分支编码解码器网络(DBNet)，它利用从图像中检测到的建议掩码和边界先验信息进行训练，并输出一个路面分割地图，该地图接近于从自监督方法预测的地图。
4)在世界各地不同的道路数据集上的实验结果表明，我们的方法具有高性能和强大的泛化能力，也优于最先进的涂鸦监督分割方法。
Methodology
我们提出了一种道路提取器，一种新的基于涂鸦的弱监督深度学习方法，从遥感图像中提取路面，该框架如图所示。1.首先，通过基于遥感图像和涂鸦注释的道路标签传播算法生成方案掩码。然后，利用生成的方案掩模和从图像中检测到的边界先验信息，通过最小化联合损失函数，训练双分支编码器-解码器网络进行路面提取。
Road Label Propagation
由于涂鸦注释提供了稀疏的信息，限制了标签的整体准确性，直接训练一个具有稀疏涂鸦的DCNN模型不可避免地会导致糟糕的识别结果。当将来自GPS轨迹或OSM的道路中心线作为涂鸦时，一种直接的方法是用预定义的宽度展开中心线，但它不能随着道路宽度的变化而完美地识别道路边界。另一种可能的解决方案是将具有类似于道路像素的特征的像素标记为道路。从这两个直接的想法出发，我们开发了一个更复杂的上下文感知道路标签传播算法，该算法将语义标签从涂鸦传播到未标记像素，并对图像的每个像素进行标记：已知（道路和非道路）和未知像素，如图所示。2.
首先，考虑到道路网的边界往往平行于道路中心线的性质，采用基于缓冲区的策略，根据距离道路中心线的距离来推断基于缓冲区的掩模。具体地，两个涂鸦缓冲区分别创建缓冲区宽度a1和2（1<a2）。第一缓冲区内的像素被表示为道路像素，第二缓冲区外的像素表示非道路像素，并且其余的像素被归类为未知像素。然而，基于缓冲区的策略只生成粗掩码，并依赖于涂鸦的质量，例如，在过时的GIS地图或OSM数据中可能存在不正确和不完整的中心线。
其次，通过最小化能量函数，在训练图像的超像素上构建一个图形模型，受graph Cut[31,32]的启发，利用一元和成两势来建模图节点之间的局部和全局依赖关系。首先，我们使用简单的线性迭代聚类(SLIC)[44]来生成超像素。其次，我们将图像从红色、绿色、蓝色(RGB)空间转换为色调饱和值(HSV)空间，然后计算所有超像素的颜色直方图，它们在H和S通道上是二维的。采用与涂鸦重叠的超像素作为前景（道路）样本，并将a2缓冲区外重叠的超像素指定为背景（非道路）样本。因此，计算了前景和背景的累积直方图。第三，构建一个图，其中一个节点表示一个超像素。对于每个节点，都有两种类型的对应的边。一种边将节点与其相邻节点连接起来，而另一种类型的边将其与前景节点和背景节点同时连接起来。能量函数的定义如下：
Hist表示所有超像素的颜色直方图，Sc={Sr，Cr}表示涂鸦注释，其中sr是涂鸦r的像素，Cr∈{前景，背景}是涂鸦r的类别标签。一元术语ψi可以表述如下：
在第一个条件下，如果超像素xi与sr重叠，那么在被分配标签cr时其成本为零。第二个条件意味着，如果xi不与任何涂鸦重叠，那么通过li的正一化直方图和cr的累积直方图之间的库背-莱布勒发散(KLDiv)来计算成本。
两对项ψij通过比较两个相邻超像素的标准化颜色直方图，评估了两个相邻超像素(即xx和xj(xi=xj))之间的外观相似性。假设两个外观较近的相邻超像素之间的边缘切割成本较高，即两个相似性较大的相邻节点更有可能具有相同的标签。图模型将标签信息从涂鸦传播到未标记的像素以生成道路掩码映射，但由于基于图像的外观高度变化和基于图切割的方法的容量有限，基于图的掩码可能包含错误。
最后，我们充分利用了缓冲区的推理和图的构造。我们根据以下提示集成了基于缓冲区和基于图形的掩模：如果像素表示基于图形的掩模中的道路，而基于缓冲区的掩模中的非道路，它们被标记为未知像素，其余像素被分配与基于缓冲区的掩模相同。通过这种方法，我们得到了方案掩模，它不仅考虑基于缓冲区的道路网络属性，还考虑从训练图像的超像素上构造的图中获得的颜色和空间信息。我们的上下文软件标签传播算法的优点是明确的。基于图形的掩模中的错误标记像素很难被标准的损失函数来区分，这将不可避免地影响分割的结果；基于缓冲区的掩模主张道路和非道路的绝对区别。相比之下，我们的方案掩模中未知像素在基于学习的方案中的标签是可变的。通过下一节中描述的正则化的弱监督损失，建议掩模的未知像素被迭代地划分为潜在的道路像素或非道路像素。
Dual-branch Encoder-decoder Network
如图所示。3、我们的双分支编码器-解码器网络(DBNet)的架构由三个部分（一个编码器和两个解码器）组成，以大小为512×512的图像的RGB通道作为输入。第一部分是使用ResNet-34[16]在ImageNet[45]上预训练的特征编码网络，它有五个下采样层，最小比例为1/32。除了步步2的7×7卷积层和信道编号64的第一剩余块外，在编码器的每个下采样步骤中，特征通道加倍。在解码阶段，我们并行设计了两个子网络分支：语义分割分支和边界检测分支。
具体地说，分割分支使用5个带步2的转置卷积层[46]将特征图的分辨率从16×16恢复到512×512，除了最后两层外，特征通道在每个上采样步骤的信道减半。在编码器特征映射和解码器（分割分支）特征映射之间有三个附加的跳过连接（表示为圆圈的+）。分割分支中大小为256×256的特征图与边界分支中相应的特征图连接。ASPP模块[22]由(a)一个1×1卷积和3并行3×3三次卷积分别为1、2和4和(b)全局平均卷积组成，应用于编码器的最后一个特征映射。所得到的ASPP特征图被连接并通过通道编号为512的1×1卷积层，最后送入解码器（分割分支）部分。
对于边界分支，重复利用从分割网络中提取的多尺度特征。如图所示。3、解码器（分割分支）中的512维特征首先是4倍上采样，由信道号为128的3×3卷积层处理，并与编码器中的相应的低级别128维特征连接，然后是4倍上采样和信道号为64的3×3卷积层。然后特征图被早期向上采样2倍。
每个卷积层都由整流的线性单元(ReLU)函数激活，除了两个分支的最后一个卷积层，它们使用sigmoid激活分别输出每个像素的概率分别属于路面和道路边界。
DBNet利用编码器-解码器架构、跳过连接和双分支，利用边界分支检测到的边界作为先验知识来细化和指导分割分支。在这里，在整体嵌套边缘检测(HED)[47]边界探测器上预训练的BSDS500[48]的一般边界被用于在没有任何微调的情况下产生我们称为HED掩模的粗边界掩模，我们称为HED掩模。除了HED掩码外，该网络还使用第III-A节所述的道路标签传播算法生成的建议掩码进行训练。在将分割损失和边界损失结合起来的联合损失约束下，纳入了分割损失和边界分支。
基于建议掩码提供的两类标签（已知和未知），分割损失函数为
其中PBCE(Yp，Sp)是方程式（4）中描述的部分二进制交叉熵损失，仅计算已知像素p∈Ωk的二进制交叉熵损失，表示正则化损失[36]，通过快速双边滤波在RGBXY信道上的CRF损失实现，以及两个损失之间的α平衡。
正则化损失对S的梯度为，
基于每像素平均平方误差(MSE)损失，在HED掩模T和边界图B之间定义了边界分支的损失函数
其中，w和h是边界图的宽度和高度。总体而言，共同损失为
其中，β是一个平衡分割损失和边界损失的系数。
Experiments
Conclusion
在本文中，我们提出了一种基于涂鸦的弱监督学习方法，称为ScRoad提取器，用于遥感图像的路面分割，它采用了一种端到端训练方案，可以在无需交替优化的情况下实现良好的结果。为了将语义信息从涂鸦注释传播到未标记的像素，我们引入了一种新的道路标签传播算法来生成方案掩模，该算法将从基于缓冲区的策略推断出的基于缓冲区的掩模与从超像素上构造的图中获得的基于图的掩模集成在一起。此外，我们还引入了一个双分支编码器-解码器网络(DBNet)，其中我们将边界信息注入到语义分割中，以及一个改进语义和边界预测的联合损失函数。在实验中，我们以道路中心线作为一种典型的涂鸦注释形式，证明了我们的方法优于最近的相关方法，并进一步证明了SCRoad提取器可以推广到一般形式的涂鸦注释。
目前，从遥感图像中提取路面的弱监督语义分割的研究工作很少。我们的方法是旅程中的一步，最终将使我们更接近从遥感图像中自动提取道路，只需要很少的人工注释。我们进一步相信，虽然ScRoadExtractor 最初是为道路分割而设计的，但我们预计它也可以适应其他分割任务。
