基于遥感变化检测的双分支多尺度动态局部卷积注意力方法

本发明涉及遥感变化检测领域，具体是基于遥感变化检测的双分支多尺度动态局部卷积注意力方法。

背景技术：

1、遥感变化检测(rscd)的目的是检测同一地点不同时间拍摄的一对遥感图像中的变化区域，其在城市道路规划、滑坡灾害评估、土地资源利用、生态环境保护等领域发挥着非常重要的作用，而随着社会的快速发展，变化的区域将变得越来越复杂，这为变化检测带来了巨大的挑战。

2、变化检测方法有多种，其中，传统的变化检测方法可以分为基于图像变换的方法、基于图像代数运算的方法和基于后分类的方法，这些方法都是基于手工制作的特征，并利用不同的分类器，包括决策树、变化向量分析、支持向量机以及聚类方法来更好地区分变化区域，然而，这些经典方法表现出各种局限性，不能捕捉到丰富的语义特征信息，导致变化检测的准确率较低；基于卷积神经网络的变化检测方法往往难以有效地捕获全球上下文信息，从而降低了变化检测的准确性；基于transformer的变化检测方法，增加了大量的参数、大量的内存使用和每秒高浮点运算。

3、针对于小变化区域的检测，在双时相遥感图像中，人们所关注的变化的种类和大小各不相同。小变化区域又可分为稀疏的小变化区域和密集的小变化区域，与较大的变化区域相比，小变化区域尺寸较小，变化特征不够明显。在变化监测过程中可能在特征提取和变化特征重建时丢失掉小变化区域的细节信息，从而导致变化检测过程中漏掉一些较小的变化区域。同时还存在伪变化情况，首先，在多时相遥感影像的获取过程中，光照角度或强度的变化、季节的更替、传感器型号等不同的成像条件会影响同一语义对象在特定的图像对中的现象。其次，由于应用场景的不同，对变化的定义就有不同。有些在目视条件下发生的变化可能在某些应用场景人们并不关注，比如：汽车等临时物品的变化。这些不相关变化会干扰对感兴趣的变化的检测，称为伪变化。样本类别不均衡影响变化检测网络，且基于深度学习的遥感图像变化检测方法在训练过程中，需要大量已标注好的数据用于训练和优化网络模型，而在现实世界中，发生变化区域相比于未变化区域而言非常少，这导致在变化检测数据集中，样本不变区域的像素数量远远大于变化区域的像素数量，既为类别不均衡现象。这种类别不平衡会导致在训练的网络倾向与某类大量出现的样本类别，造成模型精度的下降。

技术实现思路

1、本发明的目的在于解决现有技术中存在的问题，提供基于遥感变化检测的双分支多尺度动态局部卷积注意力方法，能够准确地检测捕获的遥感图像中的变化。

2、本发明为实现上述目的，通过以下技术方案实现：

3、基于遥感变化检测的双分支多尺度动态局部卷积注意力方法，包括步骤：

4、s1、收集双时相遥感图像，制作遥感图像数据集，确保每张双时相遥感图像都具有像素级标注，将遥感图像数据集划分为训练集、验证集和测试集，同时将遥感图像数据集内的双时相遥感图像切割成同一尺寸大小；

5、s2、构建一个基于遥感变化检测的双分支多尺度动态部分卷积注意力网络架构，包括特征提取器、动态多尺度卷积注意模块、并行译码聚合器模块和损失函数，其中，动态多尺度卷积注意模块由动态部分卷积注意模块和多尺度上下文聚合模块结合形成；

6、s3、利用预训练好的轻量级网络对双时相遥感图像进行提取特征处理；

7、s4、将提取的多层特征输入到动态多尺度卷积注意模块；

8、s5、将动态多尺度卷积注意模块中的得到特征输入到并行译码聚合器模块中，其中，利用膨胀卷积扩大感受野，利用并行译码聚合器模块输出的多层预测图和损失函数进行深度监督；

9、s6、将训练好的模型权重保存下来，使用测试集进行测试，得到该测试图像的变化检测结果。

10、优选的，步骤s2中的基于遥感变化检测的双分支多尺度动态部分卷积注意力网络架构的运行流程为：

11、首先，双时相遥感图像在预训练好的权重共享cnn的两个并行分支中提取多级特征图，其中，尺寸大小为64×64，32×32，16×16，8×8；

12、然后，多尺度上下文聚合模块通过在不同层之间对特征进行聚合处理，在动态部分卷积注意模块使用级联和绝对值相减生成两个并行的分支，让双分支同时采用动态卷积生成查询、键和值；

13、再结合多尺度上下文聚合模块使得双分支信息得到充分融合，获得不同的语义变化信息；

14、最后，用并行解码聚合器采用多路径特征处理和膨胀卷积策略，通过结合来自网络不同层的特征信息，生成预测图。

15、优选的，步骤s3中，轻量级网络为mobilenetv2，在主干网络的每一层增加一个步长为2的卷积层，将每一级的特征图下采样到前一级的一半，通过将一对双时相t1遥感图像和t2遥感图像送入特征抽取器mobilenetv2，获得四层的双时相特征图，分别表示为

16、优选的，多尺度上下文聚合模块的运行流程为：以t1遥感图像作为网络模型的输入，将特征提取得到的四层特征的前三层输入到多尺度上下文聚合模块中，随后将通过最大池化下采样到和一样的尺寸大小,再通过一个卷积层包括使其的通道数和保持一致；同样，先将的通道数通过3×3卷积层和保持一致，再通过双行线插值将的分辨率上采样到和一致；随后把x1、x2和x3通过拼接的方法结合起来，集合多级特征信息，再采用残差学习使得保留原有特征信息的同时也丰富了上下文特征信息；

17、整个表示过程可以表示为：

18、

19、x＝x2+conv3×3(conv3×3(cat(x1,x2,x3)))

20、其中，mxpooling(·)表示最大池化操作，cat(·)表示拼接操作，conv3×3表示具有3×3卷积、批归一化和relu激活函数组成，interpolate表示上采样操作。

21、优选的，在卷积神经网络的基础上引入dsconv2d层形成动态部分卷积注意模块，dsconv2d层结合动态权重调整，并包括选择性卷积偏差和卷积偏差权重；在dsconv2d中，根据块大小将输入通道划分为几个块，每个块进行独立的动态权重调整。

22、优选的，动态部分卷积注意模块采用双分支策略，动态部分卷积注意模块的运行流程为：

23、首先，将从双时相t1遥感图像和t2遥感图像中提取的多层特征图进行拼接，并同时计算它们的差值，从而得到fcat和fabs特征图；

24、然后，输入特征fcat和fabs由dsconv2d处理以生成空间相关的q、k和v表示为：

25、q＝dsconv2d(fabs)

26、k＝dsconv2d(fabs)

27、v＝dsconv2d(fabs)

28、通过动态卷积产生q和k后，将它们分别送入分裂通道模块；

29、然后对每个分离的特征映射进行3×3卷积，以提取唯一的特征信息；

30、将卷积后的两个特征图连接起来，然后通过两个1×1卷积进行进一步细化；

31、利用剩余连接来增强学习过程，最终产生精化特征q′和k′；

32、分裂通道模块表示为：

33、q'＝scm(q)

34、k′＝scm(k)

35、其中，scm表示分离通道模块，其通过分别卷积不同的通道部分来提取更多样化的特征信息；

36、根据得到的增强的q′和k′，执行矩阵乘法，然后应用softmax来计算关注权重，这些权重用于调制v，产生用于变化检测的最终特征输出：

37、c＝softmax(q′(k′t)

38、＝softmax(q′(k′t)*v

39、＝softmax(q′(k′t)*v+fabs。

40、优选的，并行译码聚合器模块采用双分支译码，其中一个分支使用级联，而另一个分支使用特征减法；并行译码聚合器模块以自下而上的方式聚合四层特征地图。

41、优选的，并行译码聚合器模块的运行流程为：

42、首先，输入两个特征映射；

43、然后，使用双线性插值法确保两个特征映射的特征大小一直；

44、接下来，连接两个映射，具体如下：

45、

46、其中，conv3×3表示3×3卷积、批归一化和reu激活函数的组合，up(·)是双线性上采样操作；

47、再将两个特征映射级联，级联后使用另一个3×3卷积来调整通道数；

48、随后，使用3×3的卷积来调整级联后的通道数，得到的特征被分成两个分支：第一个分支采用3×3的卷积，扩张率为3；第二个分支采用并行的3×3卷积，扩张率为2和1；

49、最后，将这三个特征层连接起来，得到最终的特征地图。

50、优选的，损失函数为：

51、

52、其中，p表示模型的预测变化概率，y是二进制真标签，n是像素数。

53、对比现有技术，本发明的有益效果在于：

54、本发明提出了一种基于暹罗卷积神经网络的变化检测方法--双分支并行多尺度动态部分卷积注意网络(dmdpcanet)用于遥感变化检测，这种方法可以准确地检测捕获的遥感图像中的变化，本发明的主要贡献如下：

55、1)本发明提供了一种基于cnn的遥感变化检测网络，该网络具有双分支多尺度动态部分卷积注意力，能够准确地检测出语义变化。

56、2)本发明提供了一种多尺度上下文聚集模块(mca)，通过聚集相邻层之间的特征信息，不仅能保留原有的特征信息，还能把其他层级之间的信息补充进来，使得本发明的网络在检测时，能够保证良好的检测效果。

57、3)本发明提供了一种动态部分卷积注意模块(dpcatt)，有效地将原始输入特征与通过注意机制增强的特征整合在一起。这种集成确保了模型在执行遥感变化检测任务时保持高精度和稳健性。通过利用注意力权重突出输入数据的重要方面，该模型可以更好地区分环境中的细微变化

58、4)本发明提供了一种多尺度上下文聚合模块(pda)，通过上采样和膨胀卷积对不同尺度的特征进行融合，有效地捕捉到多层信息，使用具有双分支输入，其中一个分支是串联的特征，另一个分支是具有减法特征的特征差，两者都被送入pda中，使用上采样、多个3×3卷积和扩张卷积，从深层到浅层逐步向上采样到相同大小，最终输出为变化图。此外，还使用损失函数对输出中的多层特征进行深度监督。