图卷积在遥感上应用（论文简读）

文章目录

2019

Attention Graph Convolution Network for Image Segmentation in Big SAR Imagery Data

code: ​​https://github.com/mafeimf/Attention-Graph-Convolution-Network-for-Image-Segmentation-in-Big-SAR-Imagery-Data​​

最近出现的高分辨率合成孔径雷达(SAR)的图像导致了大量的数据。为了在可接受的时间范围内对这些大的遥感数据进行分割，越来越多的基于深度学习的分割算法尝试以超像素作为处理单元。然而，过度分割的图像成为了传统的深度卷积神经网络(CNN)不能直接处理的非欧几里得结构数据。在此，我们提出了一种新的注意图卷积网络(AGCN)来对大SAR图像数据进行超像素级分割。AGCN由一个注意机制层和图卷积网络(GCN)组成。GCN可以通过将卷积推广到图域来处理图结构数据，并已成功地应用于节点分类等任务中。引入注意机制层，引导图卷积层关注最相关的节点，从而通过指定邻域内不同节点的不同系数来做出决策。注意层位于卷积层之前，来自相邻节点的噪声信息对注意系数的负面影响较小。在两个机载SAR图像数据集上进行的定量实验表明，该方法优于其他最先进的分割方法。其计算时间也远小于目前主流的像素级语义分割网络。

2020

CNN-Enhanced Graph Convolutional Network With Pixel- and Superpixel-Level Feature Fusion for Hyperspectral Image Classification

code: ​​https://github.com/qichaoliu/CNN_Enhanced_GCN​​

近年来，图卷积网络(GCN)在高光谱图像(HSI)分类中受到了越来越多的关注。与具有固定平方核的卷积神经网络(CNN)相比，GCN可以明确地利用相邻土地覆盖之间的相关性，对任意不规则的图像区域进行灵活的卷积，从而可以更好地建模HSI空间上下文结构。然而，为了降低计算复杂度，促进土地覆盖的语义结构学习，GCN通常用于基于超像素的节点，而不是基于像素的节点；因此，无法捕获像素级的光谱空间特征。为了充分利用CNN和GCN的优势，我们提出了一种名为CNN增强GCN(CEGCN)的异构深度网络，其中CNN和GCN分支分别对小规模规则区域和大规模不规则区域进行特征学习，并分别在像素和超像素水平上生成互补的光谱空间特征。为了缓解面向欧几里得数据的CNN和非面向欧几里得数据的GCN之间数据表示的结构不兼容性，我们提出了图编码器和解码器在图像像素和图节点之间传播特征，从而使CNN和GCN能够在一个网络中协作。与其他基于GCN的方法在预处理过程中将HSI编码成图的方法相比，我们将图编码过程集成到网络中，从训练数据中学习边缘权值，从而促进节点特征学习，使图更适应HSI内容。在三个数据集上的大量实验表明，与其他最先进的方法相比，所提出的CEGCN在定性和定量上都具有竞争力。

Multi-view Self-Constructing Graph Convolutional Networks with Adaptive Class Weighting Loss for Semantic Segmentation

code: ​​https://github.com/samleoqh/MSCG-Net​​

我们提出了一种新的架构，称为多视图自构造图卷积网络(MSCGNet)的语义分割。在最近提出的自构造图(SCG)模块的基础上，利用可学习的潜在变量直接从输入特征自构建底层图，而不依赖于人工构建的先验知识图，我们利用多个视图来显式地利用机载图像中的旋转不变性。我们进一步发展了一个自适应的类加权损失来解决类的不平衡。我们在农业视觉挑战数据集1上证明了所提出的方法的有效性和灵活性，我们的模型与相关的基于纯cnn的工作相比，获得了更少的参数和更低的竞争结果(0.547mIoU)2。

2021

Object-Based Classification Framework of Remote Sensing Images With Graph Convolutional Networks

code and paper:​​https://github.com/CVEO/OBIC-GCN​​

在极高分辨率(VHR)遥感(RS)图像上的基于对象的图像分类(OBIC)得到了广泛的应用。目前，许多现有的OBIC方法只关注每个对象本身的特征，而忽略了相邻对象之间的上下文信息，导致分类精度较低。受光谱图论的启发，我们从VHRRS图像生成的对象构造一个图结构，并提出了一个基于截断稀疏奇异值分解和图卷积网络(GCN)模型的OBIC框架，旨在充分利用对象之间的相对性，产生准确的分类。通过对两个标注的RS图像数据集进行实验，我们的框架在自动和手动目标分割情况下，在基于卷积神经网络(CNN)的方法训练时间约1/100的处理时间内，分别获得了97.2%和66.9%。

Multilevel Superpixel Structured Graph U-Nets for Hyperspectral Image Classification(TGRS)

code: ​​https://github.com/qichaoliu/MSSG-UNet​​ 受形状固定核的限制，卷积神经网络(CNNs)通常很难在高光谱图像(HSIs)中模拟不同的土地覆盖，导致土地利用不足。近年来，图形卷积网络(GCNs)由于具有在图形结构数据中进行形状自适应卷积和建模复杂模式的能力，已被应用于HSI分类。然而，由于GCNs的大量计算，HSI通常基于特定的超像素分割被预处理成一个图，这限制了空间拓扑的建模在相同的尺度上。为了打破这一限制，我们提出了一种多层超像素结构图U-Net(MSSGU)来学习多层图上的多尺度特征。具体地说，我们通过逐步合并相邻的超像素，然后将它们转换为多层图，构造了从精细到粗糙的几种层次分割。同时，基于层次超像素之间的合并关系，建立了池化和非池化函数，将特征从一个图转移到另一个图，从而使不同级别的图能够在单个网络中协作。与在特征融合阶段直接连接不同尺度的特征不同，MSSGU以粗到细的方式对它们进行融合，可以生成自适应像素级分类任务的更微妙的融合特征。此外，我们使用CNN代替GCN来提取和融合像素级特征，这大大减少了计算量。这种混合U-Net可以从多尺度层次的角度利用HSIs的特征，通过在三个基准数据集上的广泛实验，证明其性能与其他基于深度学习的方法具有竞争力。

SPIN Road Mapper: Extracting Roads from Aerial Images via Spatial and Interaction Space Graph Reasoning for Autonomous Driving

code : ​​https://github.com/wgcban/SPIN_RoadMapper​​

道路提取是建设自主导航系统的重要步骤。检测路段具有挑战性，因为它们的宽度不同，在整个图像中被分叉，并且经常被地形、云或其他天气条件遮挡。仅使用卷积神经网络(ConvNets)来解决这个问题并不有效，因为它在捕获图像中道路段之间的遥远依赖关系方面效率低下，而这对于提取道路连通性是必不可少的。为此，我们提出了一个空间和交互空间图推理(SPIN)模块，当插入ConvNet时，它会对从特征图投影的空间和交互空间上构建的图执行推理。对空间空间的推理提取了不同空间区域和其他上下文信息之间的依赖关系。对投影交互空间的推理有助于从图像中出现的其他地形中适当地描绘道路。因此，SPIN提取了路段之间的长期依赖关系，并有效地描述了其他语义中的道路。我们还引入了一个旋转金字塔，它执行跨多个尺度的旋转图推理来提取多尺度特征。提出了一种基于堆叠沙漏模块和SPIN金字塔的道路分割网络，比现有方法具有更好的性能。此外，该方法计算效率高，显著提高了训练时的收敛速度，可应用于大尺度高分辨率的航空图像。

Knowledge and Geo-Object Based Graph Convolutional Network for Remote Sensing Semantic Segmentation(Sensors)

基于像素的语义分割模型不能有效地表达地理对象及其拓扑关系。因此，在遥感图像的语义分割中，这些模型既不能避免盐和胡椒效应，也不能达到较高的精度。为了解决这些问题，我们考虑了基于对象的模型，如图神经网络(GNNs)。然而，传统的gnn直接利用节点之间的相似性或空间相关性来聚合节点的信息，这过于依赖于样本的上下文信息。样本的上下文信息经常被扭曲，从而导致节点分类精度的降低。为了解决这一问题，提出了一种基于知识和地理对象的图卷积网络(KGGCN)。KGGCN使用超像素块作为图网络的节点，并在信息聚合过程中将先验知识与空间相关性相结合。通过结合来自研究区域的所有样本的先验知识，将节点的接受域从其样本上下文扩展到研究区域。因此，我们有效地克服了样本上下文的扭曲。实验表明，我们的模型比集群GCN的基线模型提高了3.7%，比U-Net提高了4.1%。

Self-constructing graph neural networks to model long-range pixel dependencies for semantic segmentation of remote sensing images

paper: ​​https://drive.google.com/file/d/1a2ntcVRdav4KLQsNsKhxDotF62UQiPO6/view​​

通过利用长距离的像素-像素依赖关系，在遥感图像中捕获全局上下文表示，已被证明可以提高分割性能。然而，如何有效地做到这一点是一个悬而未决的问题，因为当前的方法是利用注意力方案，或非常深的模型来增加视野，增加复杂性和内存消耗。受最近对图神经网络研究的启发，我们提出了自构造图(SCG)模块，该模块直接从图像数据中学习长期依赖图，并利用它有效地捕获全局上下文信息，以改进语义分割。SCG模块为构建分割网络提供了高度的灵活性，它可以无缝地利用图神经网络(GNN)和卷积神经网络(CNN)的变体的好处。我们的SCG-GCN模型是建立在图卷积网络(GCN)上的SCG-Net的变体，在公开的ISPRS波茨坦和瓦辛根数据集上以端到端方式进行语义分割，具有竞争性能，平均f1分数分别为92.0%和89.8%。我们认为，SCG-Net是一种具有吸引力的遥感图像语义分割架构，因为与基于卷积神经网络的相关模型相比，它具有更少的参数和更低的计算成本。

论文的贡献：

• 我们提出了一种新的自构造图(SCG)框架，它可以有效地构造全局上下文关系（潜在图结构），而不依赖于先验知识图。据我们所知，对VHR航空图像的语义分割的这种潜在的长期依赖性进行建模还没有得到充分的探索。
• 基于SCG模块，我们设计了一种新的灵活分割网络(SCGNet)，可以充分利用cnn和gnn变体的好处，提高了遥感领域像素级分类管道的计算效率。
• 我们提出的SCG-GCN模型在不同的具有代表性的遥感数据集上以更少的参数、更快的训练和更低的计算成本实现了具有竞争力的性能。
• 我们通过广泛的消融研究验证了我们的SCG模块的有效性，并概述了未来的研究方向。

Knowledge and Spatial Pyramid Distance-Based Gated Graph Attention Network for Remote Sensing Semantic Segmentation

摘要

基于像素的语义分割方法以像素为识别单元，受到接受域范围有限的限制，不能携带更丰富、更高层次的语义。这在一定程度上降低了遥感(RS)语义分割的准确性。与基于像素的方法相比，图神经网络(GNNs)通常以对象作为输入节点，不仅计算复杂度相对较小，而且可以携带更丰富的语义信息。然而，传统的gnn更依赖于个体样本的上下文信息，而缺乏反映研究领域总体情况的地理先验知识。因此，这些方法可能会受到“具有相同光谱的不同物体”或“违反地理第一定律”的干扰。为了解决上述问题，我们提出了一种基于先验知识和空间金字塔距离的门控图注意网络(KSPGAT)，它基于先验知识和具有门控机制的图注意网络(GAT)。该模型首先使用超像素（地理对象）来形成图神经网络的节点，然后使用一种新的空间金字塔距离识别算法来识别空间关系。最后，在将特征相似性和地理对象的空间关系相结合的基础上，设计了一种多源注意机制和门控机制来控制节点聚合的过程，从而将高级语义、空间关系和先验知识引入遥感语义分割网络。实验结果表明，与U-Net网络相比，我们的模型的总体精度提高了4.43%，比基线GAT网络提高了3.80%。

论文的贡献：

• 提出了一种基于空间金字塔距离的空间相关识别算法。
• 提出了一种基于先验知识的门控机制，以实现图神经网络中邻居节点聚合的控制。
• 构建了一个用于遥感语义分割的图神经网络模型，有效地集成了地理对象的相似性、空间关系和全局地理先验知识。