一种基于双通道深度神经网络的遥感图像道路提取方法

本技术涉及遥感图像道路提取，具体涉及一种基于双通道深度神经网络的遥感图像道路提取方法。

背景技术：

1、道路信息是遥感图像中的重要信息，道路提取是遥感图像信息提取的一个重要部分，它在自动导航、地图更新、城市规划以及智慧城市建设等方面得到了广泛应用。因此，从遥感图像中准确、高效地提取道路具有重要意义。传统的道路提取方法需要人工设计特征，效率低下且不适合大规模提取，不能满足复杂背景下道路提取的需求。因此，如何从遥感图像中准确提取道路、解决道路提取的连通性问题以及区分具有相似光谱特性的地物具有重要的研究意义。

2、道路提取方法包含基于颜色、形状、纹理和深度学习这四类方法。基于颜色的方法主要利用道路与背景之间的颜色差异来提取道路，该类方法适用于道路与背景的颜色差异大的情况，在颜色差异不大以及复杂背景下难以解决道路遮挡和背景干扰的问题。基于形状的提取方法主要利用道路细、长等特征，并结合其他方法提取遥感图像中的道路，该类方法在道路形状单一的情况下对道路的提取效果较好，但难以解决复杂道路形状下的道路提取，且需要设置的人工参数较多，自动化程度较低。基于纹理的方法主要利用道路的纹理相似度来提取道路，利用纹理特征来提取道路的方法在背景简单的情况下提取效果较好，但该方法难以区分具有相似光谱特性的地物。基于深度学习的方法主要利用神经网络强大的非线性表达和语义信息提取能力来提取道路。卷积神经网络cnn和变换神经网络transformer是语义分割常用的方法，不需要手动设计特征，能够处理大量的数据以及能够根据训练好的模型自动提取特征。但大多数基于卷积神经网络cnn和变换神经网络transformer的方法在道路提取的准确性、连通性以及区分具有相似光谱特性的地物等方面仍然存在不足。因此，如何有效地利用卷积神经网络cnn和变换神经网络transformer解决存在的道路提取的连通性、准确性以及区分具有相似光谱特性的地物的问题是一个重要的研究问题。

3、公开号为cn117854027a的发明专利申请公开了一种基于超图和多级特征融合的双卷积网络道路提取方法，该发明提供了一种由超图构建模块、超图特征提取模块、多尺度特征提取模块和双模态融合模块构成的双卷积网络道路提取方法，有效解决道路特征并未在数据驱动方法中得以利用的问题，同时，提高了道路提取的准确性；但在道路提取的连通性以及准确性方面仍有不足。公开号为cn117830990a的发明专利申请公开了一种基于多尺度通道注意力改进的遥感图像道路提取方法，该发明方法在道路提取网络的跳跃连接部分引入多尺度通道注意力，有效聚合了局部和全局上下文信息，提高了道路提取的准确性和鲁棒性，但仍存在道路连通性问题以及在建筑物密集区域的道路提取的准确性问题。公开号为cn113850825a的发明专利公开了一种基于上下文信息和多尺度特征融合的遥感图像道路分割方法，该发明方法将上下文信息和多尺度特征融合，有效提高了道路提取的准确性，但该方法在区分相似光谱特性的地物方面仍有不足。公开号为cn117649600a的发明专利申请公开了一种联合方向和语义特征的多类别道路自动提取方法及系统，该发明提供了一种从遥感图像中提取铁路、公路、小路和桥梁的方法，有效提高了道路提取的精度，但该方法在区分相似光谱特性的地物方面仍有不足。公开号为cn117789028a的发明专利申请公开了一种基于大核卷积与方向条带卷积的遥感影像道路提取方法、系统、设备及介质，该发明提供了一种基于大核卷积与方向条带卷积的遥感影像道路提取方法，但该方法难以区分具有相似光谱特性的地物。公开号为cn117765395a的发明专利申请公开了一种语义分割算法泛化应用的道路提取方法和系统，该发明提供了一种通过将遥感影像划分成网格单元，使得地物识别的准确性得到提高的道路提取方法，但该方法仍然难以解决在建筑物密集区域的道路提取的准确性问题。公开号为cn117746051a的发明专利申请公开了一种基于语义分割模型的sar图像道路提取方法，该发明提供了一种将模型输出的道路提取结果进行后处理的方法，提高了提取的道路连通性以及准确性，但该方法仍然难以区分相似光谱特性的地物。

技术实现思路

1、本发明的目的在于提供一种基于双通道深度神经网络的遥感图像道路提取方法，该方法能够同时学习道路特征信息和建筑物特征信息，区分具有相似光谱特性的道路和建筑物信息，使得道路提取的结果更加准确。

2、为实现上述目的，本发明采取的技术方案为：

3、一种基于双通道深度神经网络的遥感图像道路提取方法，包括如下步骤：

4、s1：构建道路提取模型，所述道路提取模型为可同时提取道路特征信息和建筑物特征信息的双通道深度神经网络；所述双通道深度神经网络包括道路特征信息提取分支、建筑物特征信息提取分支、特征融合分支、特征解码模块、分割分支和连通分支；

5、所述道路特征信息提取分支为卷积神经网络cnn，用于提取道路特征信息；

6、所述建筑物特征信息提取分支为卷积-变换神经网络cnn-transformer，用于提取建筑物特征信息；

7、所述特征融合分支为基于融合通道和空间注意力的注意力模块cbam以及相斥策略的特征融合模块，用于实现道路特征信息提取分支和建筑物特征信息提取分支所输出特征的融合；

8、所述特征解码模块包括两个解码部分，分别是道路特征解码部分和建筑物特征解码部分，用于解码特征信息，恢复特征图的分辨率，得到解码后的道路预测特征图和解码后的建筑物预测特征图；

9、所述分割分支和连通分支并列连接在道路特征解码部分后面，分割分支用于计算分割分支的损失函数以及输出分割分支的道路分割预测特征图，连通分支用于计算连通分支的损失函数和输出连通分支的连通预测特征图；分割分支输出的道路分割预测特征图与连通分支输出的连通预测特征图根据逐元素相加进行拼接后得到最终的道路预测特征图；

10、s2：利用公开数据集进行裁剪作为所述道路提取模型的训练集和测试集；

11、s3：使用训练集和测试集对所述道路提取模型进行训练，根据连通分支和分割分支输出的连通预测特征图和道路分割预测特征图分别与真实连通标签和真实道路标签进行损失计算，得到道路损失，根据建筑物特征解码部分输出的建筑物预测特征图与真实建筑物标签进行损失计算，得到建筑物损失，并将道路损失与建筑物损失相加得到网络的总损失，最后将总损失进行反向传播，优化模型的参数，完成模型训练；

12、s4：使用训练完成的道路提取模型从遥感图像中提取道路。

13、进一步地，所述卷积神经网络cnn包括五个阶段，分别是第一阶段、第二阶段、第三阶段、第四阶段和第五阶段，五个阶段均为卷积模块层；第一阶段的卷积模块层包括卷积层、批归一化层bn、激活函数relu和最大池化层；第二阶段、第三阶段、第四阶段和第五阶段的卷积模块层均由残差模块组成，残差模块包括依次连接的卷积层、批归一化层bn、激活函数relu、卷积层、批归一化层bn、激活函数relu、卷积层、批归一化层bn和激活函数relu。第二阶段、第三阶段、第四阶段和第五阶段分别对残差模块自身堆叠3层、4层、23层和3层。

14、进一步地，所述卷积-变换神经网络cnn-transformer包括五个阶段，第一阶段为卷积模块层，第二阶段、第三阶段、第四阶段均为预激活瓶颈模块层，第五阶段为变换模块层；第一阶段的卷积模块层包括依次连接的卷积层、组归一化gn和激活函数relu；所述预激活瓶颈模块层包括依次交替的3组卷积层、组归一化gn和激活函数relu，其中，预激活瓶颈模块层的输入与第三个组归一化gn的输出根据逐元素相加进行拼接后再经第三个激活函数relu获得预激活瓶颈模块层的输出；所述变换模块层由嵌入模块层和12个依次堆叠的transformer层组成。

15、进一步地，所述嵌入模块层包括卷积层、降维函数、转置函数和正则化，其中嵌入模块层的输入与转置函数的输出根据逐元素相加进行拼接后再经正则化作为嵌入模块层的输出，所述transformer层包括依次连接的第一个层归一化机制、多头自注意力机制msa、第二个层归一化机制和多层感知器mlp，其中，每个transformer层的输入与自身多头自注意力机制msa的输出根据逐元素相加进行拼接后再输入到第二个层归一化机制中，并与多层感知器mlp的输出根据逐元素相加进行拼接作为所述transformer层的输出，嵌入模块层的输出作为第一个transformer层的输入，第一个transformer层的输出作为第二个transformer层的输入，经过12次依续后获得第十二个transformer层的输出作为最终变换模块层的输出。

16、进一步地，所述基于融合通道和空间注意力的注意力模块cbam以及相斥策略的特征融合模块包括1层卷积层和1个cbam模块，所述卷积层是卷积核大小为1×1的卷积层，所述cbam模块包括7个通道注意力模块和7个空间注意力模块，所述通道注意力模块包括最大池化层、平均池化层、多层感知器mlp和sigmoid函数，所述多层感知器mlp包括卷积层、激活函数relu、卷积层；所述空间注意力模块包括最大池化层、平均池化层、卷积层和sigmoid函数。

17、进一步地，根据基于融合通道和空间注意力的注意力模块cbam以及相斥策略的特征融合模块融合特征图的计算公式如下：

18、；

19、；

20、；

21、；

22、；

23、其中，为通道注意力模块，为sigmoid函数，为多层感知器，为平均池化层，为最大池化层，为多层感知器mlp的隐藏层，为多层感知器mlp的激活函数，为输入特征，为平均池化特征，为最大池化特征，为通道注意力模块特征，为逐元素相乘法，为空间注意力模块，为卷积层，为空间注意力模块特征，为融合特征，为经过通道注意力模块和空间注意力模块的道路特征，为经过通道注意力模块和空间注意力模块的建筑物特征。

24、进一步地，所述道路特征解码部分由解码模块层ⅰ构成，所述解码模块层ⅰ包括解码模块层ⅰ1、解码模块层ⅰ2、解码模块层ⅰ3、解码模块层ⅰ4，所述解码模块层ⅰ1由第一条状卷积模块层和第一卷积模块层ⅰ11构成，所述解码模块层ⅰ2由第二条状卷积模块层和第二卷积模块层ⅰ21构成，所述解码模块层ⅰ3由第三条状卷积模块层和第三卷积模块层ⅰ31构成，所述解码模块层ⅰ4由第四条状卷积模块层和一个上采样构成；所述第一条状卷积模块层、第二条状卷积模块层、第三条状卷积模块层和第四条状卷积模块层均先通过卷积层、批归一化层bn、激活函数relu对特征图进行特征提取、批量归一化运算以及非线性变换，再通过2次不同卷积核大小以及填充的卷积层、水平变换模块、垂直变换模块分别从水平、竖直、左对角线和右对角线提取特征图中的信息，其中，2次不同卷积核大小以及填充的卷积层分别用于在水平方向上进行上采样提取竖直方向的特征信息、以及在竖直方向上进行上采样提取水平方向的特征信息，水平变换模块为一个水平变换操作后依次连接一个卷积层和一个水平变换操作，用于在竖直方向上进行上采样并对输入特征图进行水平方向的变换以提取左对角线的特征信息，垂直变换模块为一个垂直变换操作后依次连接一个卷积层和一个垂直变换操作，用于在水平方向上进行上采样并对输入特征图进行垂直方向的变换以提取右对角线的特征信息，将2次不同卷积层、水平变换模块、垂直变换模块得到的特征图沿通道方向拼接，再通过批归一化层bn、激活函数relu进行批量归一化运算和非线性变换，最后通过卷积层、批归一化层bn、激活函数relu进行特征提取、批量归一化运算和非线性变换获得输出特征图；所述第一卷积模块层ⅰ11、第二卷积模块层ⅰ21和第三卷积模块层ⅰ31均包含卷积层、批归一化层bn和激活函数relu。道路特征解码部分通过解码模块层ⅰ中的条状卷积模块层从水平、竖直、左对角线和右对角线提取特征图中的信息，并将四个方向提取的信息沿通道拼接，进行归一化和非线性变换，再经过卷积层修改特征图的通道数，进行归一化和非线性变换，同时使用解码模块层ⅰ中的卷积模块层修改特征图的通道数，进行归一化和非线性变换，使用上采样修改特征图的大小。

25、进一步地，所述建筑物特征解码部分由解码模块层ⅱ和一个上采样构成，所述解码模块层ⅱ包括卷积模块层ⅱ1、卷积模块层ⅱ2、卷积模块层ⅱ3，所述卷积模块层ⅱ1包括卷积层、激活函数relu、上采样、卷积层和激活函数relu，所述卷积模块层ⅱ2包括上采样、卷积层和激活函数relu，所述卷积模块层ⅱ3包括上采样、卷积层和激活函数relu。建筑物特征解码部分中的卷积模块层使用卷积操作提取特征，改变特征图的通道数，使用上采样操作改变特征图的大小，通过激活函数relu进行非线性变换，在3次卷积模块层后使用上采样层将特征图恢复至输入图像的大小。

26、进一步地，所述基于融合通道和空间注意力的注意力模块cbam以及相斥策略的特征融合模块与道路特征解码部分之间还设有空洞空间卷积池化金字塔aspp，用于增加特征点的接受域；所述空洞空间卷积池化金字塔aspp包括conv 1×1卷积层、扩张率为6的conv3×3卷积层、扩张率为12的conv 3×3卷积层、扩张率为18的conv 3×3卷积层、自适应平均池化，自适应平均池化后接卷积层、批归一化层bn、激活函数relu和插值操作，四个不同扩张率的卷积层和插值操作的输出进行沿通道拼接后再经卷积层、批归一化层bn进行特征提取、批量归一化运算，然后经激活函数relu和正则化进行非线性变换以及防止过拟合，最终获得空洞空间卷积池化金字塔aspp的输出。

27、进一步地，所述分割分支是由卷积层、relu激活函数和卷积层构成的卷积模块层，分割分支用于计算分割分支的损失函数以及输出分割分支对应的道路分割预测特征图。

28、进一步地，所述连通分支是由2个连接卷积层、2个压缩和激励网络se构成；所述连通分支中第一个连接卷积层由卷积层、relu激活函数和卷积层构成，第二个连接卷积层由卷积层、relu激活函数和扩张率为3的卷积层构成，所述压缩和激励网络se均由平均池化层、全连接层、relu激活函数、全连接层和sigmoid函数构成；连通分支用于计算连通分支的损失函数以及输出连通分支对应的连通预测特征图。

29、进一步地，利用公开数据集进行裁剪作为所述道路提取模型的训练集和测试集时，还需要对训练集中的图像进行随机旋转、水平翻转、高斯模糊和归一化操作产生新的图像集和标签集，同时对测试集中的图像进行归一化操作。

30、本发明的有益技术效果在于：

31、（1）本发明构建了一种基于双通道深度神经网络的遥感图像道路提取方法，能够同时提取道路特征信息和建筑物特征信息，采用卷积神经网络cnn和卷积-变换神经网络cnn-transformer并行提取道路特征信息和建筑物特征信息，并利用基于融合通道和空间注意力的注意力模块cbam以及相斥策略的特征融合模块进行特征融合，有效融合了双通道深度神经网络提取到的道路特征信息和建筑物特征信息；

32、（2）为了区分具有相似光谱特性的道路特征和建筑物特征，将从高分辨率遥感影像中学习到的道路特征和建筑物特征经过基于融合通道和空间注意力的注意力模块cbam以及相斥策略的特征融合模块提取和利用更多的语义信息，得到经过建筑物特征约束的道路特征，提高了模型区分具有相似光谱特性的道路特征和建筑物特征的性能，本发明的道路提取策略在道路提取方面获得了较好的提取结果，能满足复杂背景下的道路提取需求。