利用空中倾斜图像评估建筑损失定量损伤的深度神经网络：长城的实例研究

paper: ​​​https://www.mdpi.com/2072-4292/13/7/1321​​

文章目录

摘要

自动进行破坏评估对遗产结构的维护和保护具有重要意义。大型文化建筑的破坏调查耗时、劳动密集型，意味着许多建筑没有及时修复。此外，一些环境恶劣的建筑无法到达，这增加了损害调查的难度。斜度图像便于大型建筑物的损伤检测，但难以产生数量的损伤信息，如面积或体积。本文提出了一种基于无人机图像的对具有重复结构的野生地区大型遗产建筑进行定量损害评估的方法。与现有的关注建筑表面的方法不同，我们研究了建筑构件的损伤，并提取了隐藏的线性对称信息，这对建筑修复中缺失的部分的定位很有用。首先，我们利用无人机捕获的高分辨率斜图像重建了一个基于摄影测量方法的三维网格模型。其次，我们将先进的深度学习方法应用于图像中，并将二维对象分割结果投影到三维网格模型中，从而提取三维对象。为了精确地进行二维对象提取，我们提出了一种边缘增强的方法来提高对象边缘的分割精度。集成了来自多个视图的三维对象片段，以根据几何特征构建完整的单个对象。第三，通过计算体积减少来估计三维空间中物体的损伤条件。为了获得整个建筑的破坏情况，我们将破坏程度分为三个层次：无或轻微破坏、中度破坏和严重破坏，然后收集各层受损物体数量的统计数据。最后，通过对建筑结构的分析，我们从剩余的受损物体中提取了线性对称表面，并利用对称表面来定位缺失物体的位置。该程序在一个案例研究（中国的建口长城）中进行了测试和验证。实验结果表明，在分割精度方面，我们的方法在斜图像上得到93.23%mAP和84.21%mIOU，在三维网格模型上得到72.45%mIoU。此外，该方法在物体损伤评估和缺失部分定位方面显示了一定的有效性。

论文的贡献

该案例研究是中国北部北京长城建口长城的一部分。长城是一个典型的中国人造建筑，由重复的物体组成，被称为长城美人鱼。这些重复的汞柱通常以一种特定的方式堆叠起来。建口长城是北京长城最不稳定的部分，自然严重风化。由于地形陡峭，许多墙壁被严重破坏，无法迅速修复。因此，在本文中，我们提出了一种利用高分辨率空中斜图像定量评估大型结构损伤的远程非接触方法。该过程包括四个阶段：三维网格模型重建、三维对象分割、材料损失对应的损伤评估、对称表面提取和缺失对象定位。本文的主要贡献有以下三个方面：

• 重复物体的定量破坏评估：与大多数关注建筑表面破坏的研究相比，我们分析了构成建筑的重复物体的破坏条件。具有共同属性的重复性对象，如形状、面积和体积，使自动损伤估计成为可能。为了获得每个物体的损伤条件，我们收集了关于体积减少信息的统计数据，在此基础上产生了损伤程度。
• 对称结构提取和缺失对象定位：中国建筑通常由对称形式的重复对象组成。因此，对于具有重复和对称结构的建筑，我们根据剩余物体的空间分布提取建筑的对称表面，然后利用对称信息进行缺失对象的定位。
• 精确对象分割的边缘增强卷积神经网络(CNN)：对象的定量损伤评估需要对对象的精确分割。由于很难从网格模型中直接区分密集或连接的对象，我们利用最先进的CNNs将三维对象分割转换为二维对象分割。为了提取高质量的对象，我们提出了一种边缘增强的方法来提高对象边缘的分割精度。

方法

对于不是孤立但相互连接的对象，很难在三维模型上直接区分它们。因此，我们对图像进行对象分割，并将其投影到三维网格模型中。基于三维分割结果，对体积和建筑结构进行了分析，得到了物体的损伤条件和缺失物体的位置。我们提出的方法的总体体系结构见图1。每个步骤的细节如下。

1. 三维网格模型的重建。我们用无人机收集了高分辨率的斜向图像序列，并基于摄影测量法重建了三维网格模型。
2. 三维对象分割。我们将先进的深度学习方法应用到图像中，并在三维网格模型中将二维对象分割结果投影到三维网格模型中，来提取三维对象。首先，为了对精确的二维对象进行分割，我们提出了一种边缘增强的方法来提高对象的分割精度，特别是在边缘处。其次，将分割结果投影到上述网格模型中，以获得三维对象片段。然后，根据连通性的特征，消除了来自邻近物体或周围区域的可见异常值。最后，结合来自不同观察方向的三维对象碎片，根据几何特征构建完整的三维对象。
3. 与材料损失相应的损害评估。在相同对象具有相同特性的基础上，根据体积减少估计三维物体的损伤条件。由于从网格模型中提取的三维对象的曲面没有关闭，因此我们首先在执行体积计算之前密封它们的曲面。为了获得整个建筑的破坏情况，我们定义了三层的破坏程度，并收集了每层建筑中受损物体数量的统计数据。
4. 对称曲面提取和缺少对象定位。无法检测到缺少的对象，因此，需要使用建筑物的结构信息来定位缺失的区域。首先，我们通过分析剩余物体的空间分布来提取对称模式。然后，参数化地生成对称曲面。最后，我们使用对称表面来定位缺失物体的位置。

Mesh Model Reconstruction

最先进的结构从运动和多视角立体视觉算法，使它很容易产生一个密集的点云从航空图像。点云模型比体积模型和网格模型更简单地表示三维对象。然而，它直接通过无序的离散点来描述对象，使其不适合提取定量数据，如体积。相比之下，体积模型和网格模型表示具有体素和三角形面的对象，从而可以更容易地提取定量分析所需的信息。因此，我们从对物体表面的精确描述和准确的体积数据中重建了长城的网格模型。

有许多成熟的软件程序来重建3D场景，如Context Capture (Acute3D/Bentley)和Pix4Dmapper(Pix4D)。Get3D软件[47]是一个快速免费开发的重建和共享三维网格模型的平台。在这项工作中，我们使用Get3D软件来构建长城网格模型。

3D Object Segmentation

Segmentation from Images

从图像中分割对象仍然具有挑战性，因为对象的边缘通常被比内部区域更复杂和混乱的背景所包围，这使得边缘像素更有可能被错误分类。此外，边缘像素的数量远小于内部像素的数量，这使得模型很容易被内部像素所控制。为了提高对象边缘的分割精度，我们提出了一种边缘增强的对象分割方法，该方法利用了基于区域的CNN和边界增强策略（见图2）。检测管道以Mask R-CNN[28]为基础，并通过边缘增强模块进行扩展。

Mask R-CNN是一个三阶段的程序（如图2a所示）。第一阶段是一个特征金字塔网络(FPN)[23]，用于低到高层次的特征提取和多层次的特征融合。第二阶段是用于生成候选对象边界框的区域提案网络(RPN)[22]。通过设置不同大小和高宽比的锚点，RPN可以处理不同大小的对象。最后一个阶段由三个分支组成：分类、边界盒回归和掩模预测。分类分支和边界框回归分支分别预测对象的类别和位置。掩模预测分支是一个应用于每个感兴趣区域(RoI)的小FCN，它以像素到像素的方式预测分割掩模。最后一个阶段的输入是RoI，它们基于候选对象边界框进行汇集。

为了改进对象边缘的分割，我们提出了一个边缘增强模块，以加强训练过程中边缘像素的学习(如图2b所示)。边缘增强模块用于提取梯度，梯度包含丰富的边缘信息，表示不同位置像素的特征复杂度。由于对象相互连接，且纹理几乎相同，因此我们从标签图像而不是原始图像中提取边界信息。最后，将提取的梯度与二值交叉熵(BCE)损失积分到不同位置的差权重像素。式（1）给出了梯度的提取及其与二元交叉熵(BCE)的积分

如方程（1）所示，我们在BCE损失中增加了一个权重W，其中N是像素数，yi是ith像素的地面真值标签，pi是网络末端分类器给出的预测概率。对于梯度提取，我们使用5×5Sobel滤波器对标签图像y执行卷积操作。对于非边缘区域（远离边缘的区域），额外值1.0，以确保所有像素用于训练。图3显示了提取渐变的示例。如图3所示，权重贴图W的值从对象的边缘开始减小。对于位于尖锐边缘的边缘像素，其重量相对大于位于平坦边缘的边缘像素（见图3b）。因此，权值图可以不同地增强对象的不同区域，如内部区域、平边缘和锐利边缘，从而提高对象的分割精度。

Segmentation from 3D Mesh Models

图像只记录对象的部分信息；因此，多视图图像分割结果需要投影到三维模型中，并进行融合，以构建一个完整的对象。在从二维空间投影到三维空间的过程中，需要解决的第一个问题是消除背景杂乱，这在成像时是看不见的（如图4所示）。在图4中，我们展示了一个使用感兴趣对象（左侧分割图像中红色帧中的钱包）的投影过程的例子。蓝色点表示感兴趣对象的三角形，橙色点表示背景杂波。来自相机中心的光线同时穿过前景和背景三角形；然而，只有前景三角形属于前景对象。为了消除背景杂波，我们采用了射线投射方法[48]，以在光线通过的三角形中保留最靠近相机中心的可见三角形。

除了不可见的背景杂波外，还可能还有一些来自邻近物体或周边区域的可见异常值，这是由于二维物体分割中的错误分类造成的（如图5a所示）。这些异常值通常与对象分开，并且通常比对象有更少的三角形。因此，我们只是根据连通性的特征将所有三角形分成几组（如图5b所示）。三角形最多的组被保留为对象。

从具有不同视图的斜向图像中投影的对象片段是对象的不同部分。为了获得完整的三维对象，我们提出了一种集成方法来集成属于同一对象的片段。如图6所示，集成是两个阶段：同一侧集成，两侧集成。（1）首先，对于同一侧的对象片段，我们利用片段的重叠来确定哪些片段属于同一对象。两个片段的重叠被定义为两个片段中公共三角形与三角形总数之比。两个片段被视为同一对象，当重叠部分大于0.5时合并成一个（如图6a所示）。在无法合并两个片段之前，集成过程才能停止。（2）第二，对于不同侧面的对象碎片，公共三角形主要存在于对象的顶部，导致其三维边界框几乎重合（如图6b所示）。因此，我们生成三维边界框，并将具有重叠大于0.5的三维边界框的片段融合到一个对象中。两个三维边界框的重叠定义为相交体积与其体积之和之比。与同一侧的片段集成类似，集成过程在两个片段无法合并后才能停止。

Damage Assessment Corresponding to the Loss of Material

在物体分割的基础上的进一步研究涉及到识别每个物体的损伤水平。重复性对象往往具有相同的形状、面积、高度和体积；因此，与未损坏的物体相比，可以产生损伤条件。在这项工作中，我们简单地使用体积减少作为损害评估的标准。为了获得整个结构的损伤信息，我们定义了三个级别的损伤程度：（1)无或轻微损伤，(2)中度损伤和(3）严重损伤，我们收集了各程度的受损物体数量的统计数据。体积减少小于30%的物体被视为无或轻微损伤，30至60%为中等损伤，大于60%被视为严重损伤。通过这种方法，可以产生整个建筑物的详细损坏情况。

由于从网格模型中提取的三维对象的表面是部分封闭的，我们首先应用泊松方法[49]来密封它们的表面。然后，应用有限元边界积分(FEBI)方法[50]得到了对象的体积。由于我们没有实际的对象卷数据，因此我们手动选择未损坏的对象，并使用其体积作为实际数据来计算体积减少。在我们的工作中，有两种形状的对象；因此，我们选择每个类别的一个未损坏的对象。

Symmetry Surface Extraction and Missing Object Localization

某些区域的物体通常会丢失，从而导致建筑不完整。找到丢失的物体需要了解建筑物的结构。在三维分割结果的基础上，通过分析三维物体的空间分布，提取出建筑的对称表面，用于缺失区域检索。

实验结果