结合密集注意力和并行上采样的遥感图像道路分割方法与流程

1.本发明属于计算机视觉的图像处理领域，特别涉及一种结合密集注意力和并行上采样的遥感图像道路分割方法。


背景技术：

2.道路作为遥感图像中典型的地理标志，在地图绘制、环境监测、军事应用等领域具有重要的应用价值。由于遥感技术的快速发展，遥感图像的分辨率不断提高，噪声对图像的干扰也随之增加，如何从遥感图像中自动提取出高精度的道路信息已成为近年来研究的热点与难点。目前基于卷积神经网络（convolutional neural network，cnn）的遥感图像分割方法表现尤为突出，相较于传统的半自动提取方法，该方法能有效抑制道路信息提取过程中产生的噪声以及减少道路细节信息的丢失，使得提取效果大幅提升。然而，自动提取遥感图像道路信息主要存在以下难点：（1）输入图像分辨率高，数据量大，需要足够大的感受野；（2）遥感图像中的道路细长且复杂，占整幅图像比重较少；（3）由于地理限制，部分道路被阴影、云、建筑物或树木等物体覆盖，图像色彩对比度低，感兴趣区域的提取难度较大；（4）道路具有自然连通性，即具有图像的拓扑特点。
3.近年来，针对如何从高分辨率遥感图像中自动提取道路信息的问题，国内外已经提出了多种方法。比较常见的传统遥感图像道路信息提取方法有基于像素、基于对象、基于知识以及基于机器学习的方法。虽然这些方法在分割性能上取得了长足的进步，但仍无法解决道路由于遮挡出现的信息丢失问题。同时，由于背景噪声信息的存在，提取过程中会产生大量难以处理的细碎边界特征。


技术实现要素：

4.针对高分辨率遥感图像中道路分割算法精度低的问题，本发明提出了结合密集注意力和并行上采样的遥感图像道路信息提取方法。在编码器-解码器的中间部分设计了密集空洞空间金字塔注意力结构，将通道注意力分支和空间注意力分支进行自适应融合有利于提取丰富的全局上下文信息，筛选出有用的目标特征，抑制无关特征的干扰。在解码器部分设计了多路并行上采样模块，通过融合多路特征图以获得具有精细位置信息的预测结果，提升模型的细节特征保持能力。实验结果表明，该模型在deepglobe数据集上获得了显著的分割性能的提升，可广泛应用于遥感图像领域内的各种任务。
5.本发明的技术解决方案包括如下步骤。
6.步骤1、设计密集空洞空间金字塔注意力模块（dense atrous spatial pyramid attention，daspa）。
7.步骤2、设计多路并行上采样结构（multi-channel parallel upsampling，mpupsample）。
8.步骤3、搭建遥感图像道路分割网络，其中密集空洞空间金字塔注意力结构作用于编码器和解码器的中心部分，多路并行上采样模块作用于解码器部分。
9.步骤4、在公开的遥感图像道路信息提取数据集上对提出的网络模型进行训练和测试。
10.步骤5、将本发明方法的分割结果与目前先进的遥感图像道路分割方法进行比较分析。
11.本发明与现有技术相比，其显著优点是：1）本发明方法设计的密集空洞空间金字塔注意力模块，将并行的空间信息和通道信息相结合，重新调整特征重要性，在保留图像细节信息的同时消除背景特征的干扰，从而获得更为精确的分割结果；2）本发明方法设计的多路并行上采样模块将来自解码器的所有上采样特征映射堆叠，以获取不同尺度下的上下文信息，并将它们一起作为最后一层的输入来进行图像预测，保证精确定位的同时捕获丰富的细节信息，使网络模型更好地聚合多尺度特征，切实有效的提高了上采样对于图像细节信息的修复效果，进一步提升了道路的分割精度；3）本发明提出的网络模型能有效提高遥感图像道路分割精度，可扩展应用到遥感图像领域或者其它图像分割任务中，具有极大的创新意义和应用价值。
附图说明
12.图1为本发明的密集空洞空间金字塔注意力模块结构图；图2为本发明的多路并行上采样模块结构图；图3本发明的遥感图像道路分割网络结构图；图4为本发明方法与其他算法在deepglobe数据集预测结果比较。
具体实施方式
13.图1下面结合附图及具体实施例对本发明方案作进一步说明。
14.步骤1、设计密集空洞空间金字塔注意力模块（dense atrous spatial pyramid attention，daspa）。为了更好地提取不同尺度下金字塔特征的密集上下文信息，在保留图像细节信息的同时消除背景特征的干扰，本发明提出了密集空洞空间金字塔注意力模块，如图1所示，首先采用使用密集连接的方式将空洞率为1，2，4，8的扩张卷积的输出结合到一起，接着将从输入特征图a学习到的密集特征信息与1
×
1卷积所提取的原始特征进行逐像素加权，最后将通道注意力分支与密集空洞空间注意力分支进行特征融合得到输出特征图，其中,。此外，通道注意力分支是将卷积得到的特征图通过全局平均池化（global average pooling, gap）得到一个1
×1×
c的特征向量，然后通过两个全连接层来建立通道间的相关性，第一次全连接（fully connected, fc）操作将特征维度降低到输入图像的1/16，经过relu激活后通过第二次全连接恢复到原来的维度，最后将通过sigmoid函数获得的归一化后的权重加权到输入图像的每个通道的特征上。daspa模块的计算过程如公式（1）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）。
15.式中代表输入图像a通过空间注意力分支得到的特征图， 代表输入图像通过通道注意力分支得到的特征图：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）。
16.式中代表密集空洞空间金字塔结构中第层的输出特征图，conv代表1
×
1卷积，concat代表将空洞率为1,2,4,8的扩张卷积层的输出特征图进行特征融合，其中yi可以公式化为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）。
17.h
k,di
式中代表空洞卷积操作，di代表第i层的空洞率，k为滤波器大小，[...]表示密集连接操作，代表通过连接所有先前层的输出形成的特征图。公式（1）中的通道注意力分支的计算过程为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）。
[0018]
式中u代表输入特征图a通过通道注意力分支加权之后得到的权重输出，令，权重的u计算过程为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）。
[0019]
式中g
l
代表全局平均池化操作，fc1代表第一次全连接操作，fc2代表第二次全连接操作，代表relu激活函数，代表sigmoid激活函数。
[0020]
步骤2、设计多路并行上采样模块（multi-channel parallel upsampling，mpupsample）。在传统u形网络中，高级抽象语义信息从解码器的高层逐步传递到低层，较深层捕获的边缘信息会被逐渐稀释，不利于遥感图像道路分割。因此针对自上而下路径中道路边缘细节信息易丢失的问题，本发明进一步提出多路并行上采样模块，如图2所示。该结构与主流架构相比，不只是使用解码器的最后一层来预测分割掩码，而是将来自解码器的所有上采样特征映射堆叠起来，以获取不同尺度下的上下文信息，并将它们一起作为最后一层的输入来进行图像预测，保证精确定位的同时捕获丰富的细节信息，使网络模型更好地聚合多尺度特征。在特征图并行上采样的过程中，考虑到显存消耗的影响，本结构首先使用1
×
1卷积减少每个层次的特征图通道数，再分别进行2倍、4倍、8倍、16倍上采样来恢复图像分辨率，以确保在上采样过程中不会损失过多细节特征，最后将多分支的上采样特征图进行堆叠，并依次通过3
×
3和1
×
1卷积层，从而实现图像的分割。
[0021]
步骤3、搭建遥感图像道路分割网络，其中密集空洞空间金字塔注意力结构作用于编码器和解码器的中心部分，多路并行上采样模块作用于解码器部分。遥感图像道路分割网络模型如图3所示。
[0022]
为了提高模型对感兴趣目标的分割精度以及道路细节特征的保持能力，该网络中的密集空洞空间金字塔注意力模块利用空间注意力分支中的多个扩张卷积和密集连接结构来扩大网络感受野，获取局部和全局的多尺度层次特征，通道注意力分支通过建立通道间的相互依赖关系重新调整各通道特征的重要性，将通道注意力分支和空间注意力分支进行自适应融合有利于提取丰富的全局上下文信息，筛选出有用的目标特征，抑制无关特征的干扰。多路并行上采样模块不同于简单的采用双线性插值或反卷积的上采样方式来恢复特征图的分辨率，而是在解码器融合多路特征图以获得具有精细位置信息的预测结果，提升模型的细节特征保持能力。
[0023]
步骤4、本发明采用deepglobe遥感图像道路提取数据集来验证算法的性能，该数据集包含6226张训练图像及其对应的标签，将6226张图片按7:2:1随机分成4358张训练图
片、1245张测试图片和623张验证图片。其中标签是与输入图像具有相同高度和宽度的灰度二值图像，道路和非道路像素分别设置为255和0。所有图像大小均为1024
×
1024，每幅图像都是由digitalglobe卫星采集的地面分辨率为0.5m/pixel的rgb图像。数据集包括荒郊、城市、乡村和雨林等复杂场景。在公开的遥感图像道路信息提取数据集上对提出的网络模型进行训练和测试。本发明实验是在gpu型号为nvidia gtx1080ti的计算平台下进行的，所用深度学习框架为pytorch1.2.0。在训练阶段，本发明采用了平移、缩放、旋转和翻转的数据增强的方式，以二分类交叉熵和骰子系数损失作为损失函数，adam作为优化器。初始学习率设定为，训练批次大小为4，共训练300轮，输入图像大小为，在测试阶段采用水平旋转和[1.25，1.5，1.75]缩放比例进行多尺度测试。
[0024]
步骤5、为了准确地评估遥感图像道路分割模型的分割精度，本发明采用语义分割中常用的指标来进行评价，即召回率（pr）、准确率（pa）、精准率（p
p
）和f1-score。pr即预测正确的道路像素点数量占所有道路像素点数量的比例，pa即预测正确的道路和背景像素点数量占整幅遥感图像中像素点数量的比例，p
p
即预测正确的道路像素点数量占预测为正确的道路像素点数量的比例，f1-score即召回率和精准率的综合评价指标，f1-score越高，说明模型分割性能越稳健。pr、pa、p
p
和f1-score计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）。
[0025]
公式中：tp为道路预测正确的像素数目；tn为背景预测正确的像素数目；fn为提取错误的背景信息的像素数目；fp为提取错误的道路信息的像素数目。
[0026]
实验结果如表1所示，本发明方法各项指标均优于目前的主流算法。主流算法中denseaspp虽然获得密集的多尺度特征，但是很难在扩张率大小的选择和尺度变化之间取得平衡。u-net模型是典型的u型结构，网络使用跳连接结合低级特征图的空间信息，虽然最终特征图实现了不同尺度下的特征融合，但是由于遥感图像存在较多干扰因素，u-net网络无法抑制噪声干扰并筛选出有用的特征。同时，高分辨率遥感图像数据集数据量大，u-net模型与linknet相比，模型训练产生的参数量更多且精度更低。fcn-16s虽然将不同下采样层输出的特征进行融合，但是分割结果中的道路细节表征不明显且精度不高，存在道路结构缺失的现象。本发明方法有效提取了网络最高层的密集多尺度空间特征，并融合空间注意力分支和通道注意力分支筛选出包含道路的图像信息，避免了无用特征的干扰，在解码器部分利用多路特征图进行通道叠加，解决了由于道路结构中断导致的细节信息丢失问题。
[0027]
表1 不同算法在deepglobe数据集上的分割指标对比
ꢀ
。
[0028]
图4显示了不同算法在deepglobe遥感图像道路提取数据集上的分割效果对比图，由图4可知，本发明方法在抑制冗余特征的干扰以及处理细节信息丢失方面明显优于其他算法。u-net虽然比linknet分割的图像完整性更高，但是易引入大量无用信息且存在错分漏分的情况。fcn-16s的道路关键细节信息丢失严重，图像特征提取由于其他遮挡物影响容易产生虚假信息，导致分割性能更低。denseaspp相较于其他算法分割效果最差，部分复杂图像的道路结构存在大块缺失的现象，边界信息损失严重。本发明方法与上述算法相比，更好地保留了道路结构特征的完整性，有效地抑制了噪声对影像提取的干扰，分割效果图更接近于真实图像标签。