篇名: SELF-CONSTRUCTING GRAPH CONVOLUTIONAL NETWORKS FOR SEMANTIC LABELING
文章目录
摘要
图神经网络(GNNs)在许多领域受到了越来越多的关注。然而，由于缺乏先验图，它们在语义标记中的使用受到了限制。在这里，我们提出了一种新的称为自构造图(SCG)的架构，它利用可学习的潜在变量来生成嵌入，并直接从输入特征自构造底层图，而不依赖于人工构建的先验知识图。SCG可以自动从航空图像中的复杂形状的物体中获得优化的非局部上下文图。我们通过自适应对角增强方法和变分下界来优化SCG，该下界由自定义图重建项和库勒散度正则化项组成。我们在公开的ISPRS维辛根数据集上演示了所提出的SCG的有效性和灵活性，我们的模型SCG-net与相关的基于纯cnn的工作相比，以更少的参数和更低的计算成本在f1分数方面取得了有竞争力的结果。
介绍
近年来，图神经网络(GNNs)[1]和图卷积网络(GCNs)[2]受到了越来越多的关注，部分原因是它们在非欧几里得域的许多节点或图分类任务上的优越性能，包括图和流形。gnn和GCNs的变体已被应用于计算机视觉任务，包括图像分类[3]、小样本和零样本分类[4]、点云分类[5]和语义分割[6]等。然而，视觉任务的图推理对如何构建对象之间的关系图非常敏感，而以前的方法通常依赖于基于先验知识的手工构建的图。受变分图自动编码器[7]的启发，我们提出了一种新的自构造图模块(SCG)来学习如何将二维特征图转换为潜在的图结构，以及如何根据可用的训练数据将像素分配给图的顶点。
在我们提出的自构造图卷积网络(SCG-Net)中，SCG之后是图卷积网络(GCNs)[2]来更新沿图边缘的节点特征。k层gcn后，顶点投影回二维平面。SCG模块可以很容易地嵌入到现有的CNN和GCN网络中，用于计算机视觉任务。我们的模型可以端到端训练，因为每一步都是完全可区分的。实验表明，该网络在具有代表性的ISPRS2维语义标记维辛根基准数据集[8]上取得了鲁棒和具有竞争力的结果。
方法
SCG-Net
SCG模块可以很容易地合并到现有的CNN和GCN架构中，以利用CNN的优势来学习特征检测器，同时利用GCNs建模远程关系的能力。Fig.2 显示了我们所谓的SCG-Net，它将SCG与cnn和GCNs结合起来来处理语义标记任务。在我们之前的工作[10]之后，我们利用预训练的ResNet50[11]的前三个瓶颈层作为骨干CNN来学习高级表示。在我们的模型中使用了一个2层的GCN（公式1），我们只在GCN的第一层中使用ReLU激活和批处理归一化。
