一种基于多感受野自注意联合网络的遥感影像变化检测方法

本发明涉及遥感影像变化检测方法，具体涉及一种基于多感受野自注意联合网络的遥感影像变化检测方法。

背景技术：

1、变化检测是遥感领域中重要的研究课题之一。变化检测的目标是通过分析不同时间间隔拍摄的图像中同一区域内的物体，为给定区域内的每个像素分配二进制标签(即有变化或无变化)。变化检测有很多应用场景，如城市规划，资源管理和损害评估。自动变化检测技术因其智能化和高效性，显著降低了变化检测信息处理的人力成本和时间消耗，因此自动变化检测技术成为了当前的热门研究领域之一。

2、尽管高分辨率光学影像数据集的增加为遥感应用的发展带来了新的机遇，但细粒度变化检测仍然是一项具有挑战性的任务。第一，在不同时间拍摄的客观因素会造成差异，包括亮度变化、季节替代品和背景变化，导致同一物体在图像对中呈现不同的颜色和形状。第二，目标区域的大小存在差距，需要平衡微小变化和广泛变化。第三，遥感影像变化检测允许自动提取关于感兴趣部分的信息，所提供的信息是粗粒度的，而不描述关于变化的详细语义信息。但在许多应用中，不仅需要关注像素级变化所提供的位置信息，而且还关注对象级变化所提供的语义信息。第四，无关的变化干扰了对真实变化特征的语义识别。这些挑战导致具有相同语义概念的对象具有不同的特征。从技术上讲，稳健的遥感影像变化检测网络被认为能够关注不同区域中的对象级语义变化，同时挖掘局部或全局特征。

3、深度学习的快速发展也为遥感影像变化检测提供了新的方法，在道路检测、目标检测等方面都有广泛的应用。近些年，基于深度学习的遥感影像变化检测逐渐成为变化检测的主流研究方向。深度学习变化检测从学习方法上分为监督和无监督方法，目前监督变化检测方法依赖于基于深度卷积神经网络的结构，从双时态图像中提取变化区域的高级语义特征。由于在空间和时间尺度上关联上下文信息是遥感影像变化检测的一个重要元素，所以通过堆叠卷积层、应用可变形卷积和应用注意力机制来增加模型的感受野也是现今流行的研究方向。与传统卷积神经网络受限于固定感受野不同，基于注意力机制的方法能够联系全局。

4、然而，针对目前大多数变化检测方法都存在两个弱点：一是基于骨干网络的特征表示能力较弱，多层的特征提取会逐步丢失具体的语义信息；二是变化检测过程经常受到对图像伪变化过度响应的影响。

技术实现思路

1、本发明目的是提供一种基于多感受野自注意联合网络的遥感影像变化检测方法，以解决遥感影像变化检测过程中对象级语义显式建模困难和伪变化信息抑制不足的技术问题。

2、本发明的发明构思如下：

3、首先，加入了一种邻域特征关注模块，实现语义级别信息的显式表征。然后，利用解码器将显式特征进行降维处理，生成一个聚合多层级权重特征差值图的密集特征。最后，利用多感受野语义过滤机制中并行的多尺度感受野卷积层，过滤图像伪变化像素，实现过滤伪变化信息的同时最大限度保留真实信息的目的。

4、为了达到上述目的，本发明采用如下技术方案：

5、一种基于多感受野自注意联合网络的遥感影像变化检测方法，其特殊之处在于，包括以下步骤：

6、步骤1、构建邻域特征关注模块；

7、1.1、将多组双时相的遥感影像分别进行裁剪，并在暹罗框架下的骨干网络中放入多尺度特征，获取每一组图像t1和t2所包含多层级多尺度特征组；

8、1.2、在骨干网络的每一层中将多层级多尺度特征组f1n＝{f11,...,f14}和进行邻域聚合，以生成语义信息掩码weightn，n＝1,2,3,4；

9、1.3、将同一层级语义信息掩码weightn进行加权处理，得到联合权重图组和，实现语义级别信息的显式表征，从而构建邻域特征关注模块；

10、步骤2、获取语义密集特征fcmpr；

11、2.1、将联合权重图组和包含的同层级权重进行差值计算；

12、2.2、将差值计算后的权重图与其他层的权重图进行串联解码，生成一个聚合多层级权重特征差值图的语义密集特征fcmpr；

13、步骤3、构建多感受野语义过滤机制；

14、3.1、将所述语义密集特征fcmpr进行多感受野并行卷积，得到多感受野并行卷积过滤后的全局特征fmsfm；

15、3.2、将全局特征fmsfm进行聚合，在所述语义密集特征fcmpr的基础上进行细化，并引入残差结构和线性嵌入模块，得到过滤伪变化信息的特征图，完成多感受野语义过滤机制的构建；

16、步骤4、完成多感受野自注意联合网络模型的构建；

17、4.1、将步骤2.2获取的语义密集特征fcmpr通过双注意力网络进行通道和空间方面的注意力增强，得到语义密集增强特征图；

18、4.2、将步骤3.2得到的过滤伪变化信息的特征图通过双注意力网络进行通道和空间方面的注意力增强，得到实意信息增强特征图；

19、4.3、将所述语义密集增强特征图与实意信息增强特征图进行相加运算，得到最终的变化检测图，完成遥感影像的变化检测。

20、进一步地，步骤1.2具体为：

21、在骨干网络的每一层中将多层级多尺度特征组f1n＝{f11,...,f14}和进行邻域聚合，以生成语义信息掩码weightn：

22、

23、其中，i＝1,2,3，m＝1,2，α、β、γ分别表示多尺度邻域特征的权重，且α+β+g＝1；分别表示利用上采样和下采样将的领域多尺度特征与的尺度进行对齐；ff表示对多层权重特征用1×1卷积层做下采样操作，并执行softmax处理，将每层特征降维成灰度图并归一化为语义信息掩码。

24、进一步地，步骤1.3中，所述联合权重图组和的表达式为：

25、

26、其中，conv1×1(·)表示进行1×1卷积计算。

27、进一步地，步骤3.1中得到的多感受野并行卷积过滤后的全局特征fmsfm为：fmsfm＝matn(ln(fcmpr))+fcmpr

28、其中，是全连接层ln计算后的空间特征权重，cn表示多感受野并行卷积的数量并且cn＝3，cin表示输入特征的通道数，cout表示要输出的通道数，b是matn的参数；表示将输入进行保持通道数不变的全连接计算；表示从w方向分别进行卷积核为1×3,1×5,1×7的多感受野并行卷积，然后将卷积层筛选过后的特征矩阵求和；表示表示从h方向分别进行卷积核为3×1,5×1,7×1的多感受野并行卷积，然后将卷积层筛选过后的特征矩阵求和；flt(·)表示将筛选后的特征进行flatten聚合运算。

29、本发明的有益效果：

30、1、本发明在骨干网络的每一层对多尺度特征进行邻域聚合，以生成语义信息掩码，然后，将对应层级语义信息掩码进行加权处理，实现语义级别信息的显式表征，该模块补充了骨干网络中特征的语义信息表示不足的问题。

31、2、本发明将语义密集特征进行多卷积并行提取，输出多感受野并行过滤后的全局特征，进一步将全局特征进行聚合，在原始特征图的基础上进行细化，引入残差结构和线性嵌入模块后，达到过滤伪变化信息的同时最大限度保留真实信息的目的。

32、3、本发明在邻域特征关注模块和多感受野语义过滤机制的基础上，提出了用于遥感影像变化检测的多感受野自注意联合网络，解决了遥感影像变化检测过程中对象级语义显式建模困难和伪变化信息抑制不足的问题。