一种基于跨层特征融合的多时相高光谱影像变化检测方法

本发明涉及遥感影像处理领域，尤其是一种能有效解决模型的参数数量和复杂度较高、特征之间的存在干及融合后特征的表达能力降低等问题，可在较小训练集下实现测精度提升的基于跨层特征融合的多时相高光谱影像变化检测方法。

背景技术：

1、地表环境的变化不仅是自然过程的结果，还受到人类活动的直接影响。随着全球人口的增加和经济的蓬勃发展，地表开发、土地利用、矿产开采以及地表水资源的利用等活动急剧增加，这些活动导致了地表环境的复杂多变，直接影响着人类的生活环境和安全。因此，人们在经济社会发展活动中需要及时地掌握地表形态的变化和获取地物的变化信息，采取可持续发展的方法和措施来最小化给地表带来的负面影响，维护地球的环境平衡和生态健康。遥感影像变化检测作为一项重要的技术，通过比较不同时间获取的遥感影像，可以识别出地表环境的变化情况。这一技术在多个领域都有着广泛的应用，为各行各业提供了关键的信息支持，如监测农田的变化、作物生长情况、土地利用的演变以及监测森林覆盖变化等。强大的遥感影像获取技术为变化检测提供了可靠的数据基础，利用不同时间点获取的遥感影像准确捕捉地表的动态变化，这在自然灾害预警、资源管理和城市规划等方面都将发挥着特别重要的作用。

2、基于计算机技术与遥感技术的飞速发展，研究人员提出了很多针对多时相遥感影像变化检测的方法。变化向量分析(change vector analysis，cva)是较为典型的代数运算变化检测方法，该方法将每条光谱曲线视为一个向量，通过计算向量的差值来实现变化检测。图像变换法通过将高维数据映射到特定的低维特征空间来实现降维，主成分分析(principal component analysis，pca)作为一种有效的降维手段，受到不少研究人员的青睐。deng等人基于pca增强变化信息，并结合有监督与无监督来对变化区域进行准确识别。

3、近年来，随着深度学习技术的不断进步，其在遥感影像变化检测中的应用成为研究的热点，多种基于深度学习的高光谱影像变化检测方法层出不穷。与传统数理模型仅能提取较浅层特征的方法相比，深度学习方法因其在处理高维度问题和进行深入特征提取方面具有显著优势而备受关注。该方法通过利用复杂的网络架构，自动化地识别和学习影像数据中深层次的语义信息。在高光谱影像变化检测领域，深度学习技术的成功应用不但提升了处理效率，还为复杂的多时相高光谱影像分析提供了强有力的解决方案。如，zhong等人设计了一种能利用多时相影像的时序信息实现变化检测的方法，其利用长短期记忆模型来捕获影像间的时间依赖关系，并结合卷积神经网络(convolutional neural network，cnn)完成影像变化的识别。wang等人提出了一种名为getnet的二维卷积神经网络框架，该方法采用无监督方式训练深度网络，然而，这一方法的局限性在于它依赖于其它变化检测方法产生的伪训练集，这不仅增加了算法的复杂性，还可能因其存在的噪声影响模型精度。mostafa等人提出一种新的变化检测方法，该方法利用u-net神经网络，有效地学习和还原输入图像的细节。

4、总体而言，高光谱影像变化检测方法已从最初的基于传统技术手段，如代数法和数理模型分析，演进到了能够智能地提取复杂特征的深度学习方法。尽管如此，高光谱影像较高的光谱维度使得影像数据量庞大且复杂，这也意味着在变化检测过程中需要从海量的信息中提取出有用的特征。然而，这些特征往往容易被冗余信息所干扰，这使得基于深度学习的变化检测方法在特征提取方面仍存在许多挑战。

技术实现思路

1、本发明是为了解决现有技术所存在的上述技术问题，提供一种能有效解决模型的参数数量和复杂度较高、特征之间的存在干扰及融合后特征的表达能力降低等问题，在较小训练集下实现测精度提升的基于跨层特征融合的多时相高光谱影像变化检测方法。

2、本发明的技术解决方案是：一种基于跨层特征融合的多时相高光谱影像变化检测方法，按如下步骤进行：

3、步骤1.建立并初始化用于高光谱影像变化检测的卷积神经网络ncd，所述ncd包含1个用于特征提取的子网络nfeature和1个用于变化检测的子网络ncls；

4、步骤1.1建立并初始化子网络nfeature，所述子网络nfeature有6组卷积层以及2组自定义模块，所述6组卷积层分别为conv2_0、conv2_1、conv2_2、conv2_3、conv2_4、conv2_5，所述2组自定义模块分别为lmasf、lcbam；

5、所述conv2_0的操作顺序是1层卷积操作、1层激活操作、1层卷积操作、1层激活操作和1层最大池化操作，所述卷积操作中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算；所述激活操作是选用非线性激活函数relu作为激活函数进行运算，所述最大池化操作时以大小为3×3的池化核进行最大池化运算；

6、所述conv2_1的操作顺序是1层卷积操作、1层激活操作、1层卷积操作和1层激活操作，所述卷积操作中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算；所述激活操作是选用非线性激活函数relu作为激活函数进行运算；

7、所述conv2_2的操作顺序是1层卷积操作和1层激活操作，所述卷积操作中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算；所述激活操作是选用非线性激活函数relu作为激活函数进行运算；

8、所述conv2_3的操作顺序是1层卷积操作和1层激活操作，所述卷积操作中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算；所述激活操作是选用非线性激活函数relu作为激活函数进行运算；

9、所述conv2_4有1层卷积操作，其中，卷积层中卷积核的大小为1×1，每个卷积核以1个像素为步长进行卷积运算，再执行参数为0.1的dropout操作；

10、所述conv2_5有1层卷积操作，其中，卷积层中卷积核的大小为1×1，每个卷积核以1个像素为步长进行卷积运算，再执行参数为0.1的dropout操作；

11、所述lmasf模块首先按照公式(1)对输入的两个张量f1和f2进行相加，得到通过元素求和得到的特征图fsum：

12、fsum＝f1+f2                             (1)

13、按照公式(2)使用全局平均池化操作来压缩输入特征图的空间维度，使用尺寸为1×1的卷积层来获得紧凑的特征，并使用relu激活函数来控制系数，生成特征fm：

14、fm＝relu(f1×1(avgpool(fsum)))                    (2)

15、其中，f1×1表示1×1卷积操作，avgpool(·)表示全局平均池化操作；

16、按照公式(3)通过卷积层和softmax函数计算权重fm′：

17、fm′＝ε(fci(fm(fsum))),i＝1,2                    (3)

18、其中ε表示softmax函数，fci为全连接操作，结构相同且无参数共享；

19、按照公式(4)将输入特征映射与共享权重相乘，得到的特征映射：

20、

21、其中，[·,·]表示特征图组的串联，表示张量乘法；

22、所述lcbam模块首先分别按照公式(5)、(6)对输入特征图f进行全局最大池化和全局平均池化操作，得到对通道的最大响应和平均响应，使用包含两个卷积层的多层感知机结构对最大池化和平均池化的结果进行处理，分别得到ωmax_out和ωavg_out：

23、ωmax_out＝σ(mlp(adaptivemaxpool2d(f)))              (5)

24、ωavg_out＝σ(mlp(adaptiveavgpool2d(f)))              (6)

25、其中，σ表示sigmoid激活函数，mlp表示包含两个卷积层的多层感知机，adaptivemaxpool2d为自适应最大池化操作，adaptiveaugpool2d为自适应平均池化操作；

26、按照公式(7)使用sigmoid激活函数将ωmax_out和ωavg_out缩放到(0,1)的范围，得到通道注意力权重ωchannel_out：

27、ωchannel_out＝σ(ωmax_out+ωavg_out)                     (7)

28、将通道注意力权重ωchannel_out与输入特征图f相乘，得到加权后的特征图fa：

29、fa＝ωchannel_out×f                          (8)

30、分别按照公式(9)、(10)对加权后的特征图fa进行通道维度上的最大值和平均值池化，得到ωsmax_out和ωsavg_out：

31、ωsmax_out＝max(fa)                         (9)

32、ωsmax_out＝mean(fa)                       (10)

33、按照公式(11)将ωsmax_out和ωsavg_out在通道维度上拼接，通过一个卷积层对拼接后的特征图进行卷积操作，之后使用sigmoid激活函数将其缩放到(0,1)的范围，得到空间注意力权重ωsspatial_out：

34、ωsspatial_out＝σ(conv2d([ωsmax_out,ωsavg_out]))           (11)

35、按照公式(12)将空间注意力权重ωsspatial_out与加权后的特征图fa相乘，得到最终的特征图ffa：

36、ffa＝ωsspatial_out×fa                          (12)

37、步骤1.2建立并初始化子网络ncls，含有1组卷积层conv2_6和1组全连接层fc；

38、所述conv2_6的操作顺序是1层卷积操作、1层batchnorm归一化操作、1层激活操作、1层最大池化操作、1层卷积操作、1层batchnorm归一化操作和1层激活操作，所述卷积操作中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，所述激活操作选用非线性激活函数leakyrelu作为激活函数进行运算，所述最大池化操作以大小为2×2的池化核进行最大池化运算；

39、所述fc的操作顺序是1层最大池化操作、1层全连接操作和一层激活操作，所述最大池化操作以大小为2×2的池化核进行最大池化运算，所述激活操作是选用非线性激活函数sigmoid作为激活函数进行运算；

40、步骤2.输入第一时相的高光谱影像i1∈rm×n×d、第二时相的高光谱影像i2∈rm×n×d、人工已标注的像元点坐标集和标签集，对ncd进行训练，其中m、n为高光谱影像的空间尺度，d为光谱维度；

41、步骤2.1.根据人工已标注的像元点坐标集，在第一时相的高光谱影像i1∈rm×n×d和第二时相的高光谱影像i2∈rm×n×d中提取全部具有标签的像元点集合和其中，表示xd1中的第itrain个像元点，表示xd2中的第itrain个像元点，mtrain表示具有标签的像元点总数；

42、步骤2.2.将xd1和xd2作为卷积神经网络的训练集，令迭代次数iter←1，执行步骤2.3；

43、步骤2.3.采用网络ncd提取训练集的特征并进行变化检测任务；

44、步骤2.3.1利用子网络nfeature中conv2_0、conv2_1、conv2_2对xd1进行特征提取，得到第一时相的高光谱影像的特征f11；

45、步骤2.3.2利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3对xd1进行特征提取，得到第一时相的高光谱影像的特征f12；

46、步骤2.3.3利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3、conv2_4对xd1进行特征提取，得到第一时相的高光谱影像的特征f13；

47、步骤2.3.4利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3、conv2_4、、conv2_5对xd1进行特征提取，得到第一时相的高光谱影像的特征f14；

48、步骤2.3.5利用子网络nfeature中conv2_0、conv2_1、conv2_2对xd2进行特征提取，得到第二时相的高光谱影像的特征f21；

49、步骤2.3.6利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3对xd2进行特征提取，得到第二时相的高光谱影像的特征f22；

50、步骤2.3.7利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3、conv2_4对xd2进行特征提取，得到第二时相的高光谱影像的特征f23；

51、步骤2.3.8利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3、conv2_4、、conv2_5对xd2进行特征提取，得到第二时相的高光谱影像的特征f24；

52、步骤2.3.9利用lmasf模块对f11和f13进行特征提取，得到第一时相的高光谱影像的跨层特征f1113；

53、步骤2.3.10利用lmasf模块对f12和f14进行特征提取，得到第一时相的高光谱影像的跨层特征f1214；

54、步骤2.3.11利用lmasf模块对f21和f23进行特征提取，得到第二时相的高光谱影像的跨层特征f2123；

55、步骤2.3.12利用lmasf模块对f22和f24进行特征提取，得到第二时相的高光谱影像的跨层特征f2224；

56、步骤2.3.13利用lcbam模块对f1113进行特征提取，得到第一时相的高光谱影像的跨层注意特征fcbam_1113；

57、步骤2.3.14利用lcbam模块对f1214进行特征提取，得到第一时相的高光谱影像的跨层注意特征fcbam_1214；

58、步骤2.3.15利用lcbam模块对f2123进行特征提取，得到第二时相的高光谱影像的跨层注意特征fcbam_2123；

59、步骤2.3.16利用lcbam模块对f2224进行特征提取，得到第二时相的高光谱影像的跨层注意特征fcbam_2224；

60、步骤2.3.17按照公式(13)对fcbam_1113和fcbam_2123求差：

61、fk1＝fcbam_1113-fcbam_2123                          (13)

62、步骤2.3.18按照公式(14)对fcbam_1214和fcbam_2224求差：

63、fk1＝fcbam_1214-fcbam_2224                          (14)

64、步骤2.3.19按照公式(15)对fk1和fk2求和：

65、fk＝fk1+fk2                          (15)

66、步骤2.3.20利用子网络ncls对特征进行分类，计算得出分类预测结果trpred；：

67、步骤2.4根据公式(16)和公式(17)的定义，将加权的交叉熵作为损失函数；

68、

69、其中，表示第jcls类的权重，表示像元属于第jcls类地物的概率，表示ground-truth训练样本中第jcls类地物的数量；

70、步骤2.5若训练集中的所有像元块均已处理完毕，则转入步骤2.6，否则，从训练集中取出一组未处理的像元块，返回步骤2.3；

71、步骤2.6令iter←iter+1，若迭代次数iter>total_iter，则得到了已训练好的卷积神经网络ncd，转入步骤3，否则，利用基于随机梯度下降法的反向误差传播算法和预测损失lw-c更新ncd的参数，转入步骤2.3重新处理训练集中的所有像元块，所述total_iter表示预设的迭代次数；

72、步骤3.输入待测的第一时相的高光谱影像i1′∈rm′×n′×d′、第二时相的高光谱影像i2′∈rm′×n′×d′，利用训练完备的ncd进行测试，其中m′、n′为高光谱影像的空间尺度，d′为光谱维度；

73、步骤3.1.在第一时相的高光谱影像i1′∈rm′×n′×d′和第二时相的高光谱影像i2′∈rm′×n′×d′中提取全部的像元点集合和其中，表示xd1′中的第itest个像元点，表示xd2′中的第itest个像元点，mtest表示具有标签的像元点总数；

74、步骤3.2.将xd1′和xd2′作为需要被测试的样本，令迭代次数iter←1，执行步骤3.3；

75、步骤3.3.采用网络ncd提取需要被测试的样本特征并进行变化检测任务；

76、步骤3.3.1利用子网络nfeature中conv2_0、conv2_1、conv2_2对xd1′进行特征提取，得到第一时相的高光谱影像的特征f11′；

77、步骤3.3.2利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3对xd1′进行特征提取，得到第一时相的高光谱影像的特征f12′；

78、步骤3.3.3利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3、conv2_4对xd1′进行特征提取，得到第一时相的高光谱影像的特征f13′；

79、步骤3.3.4利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3、conv2_4、、conv2_5对xd1′进行特征提取，得到第一时相的高光谱影像的特征f14′；

80、步骤3.3.5利用子网络nfeature中conv2_0、conv2_1、conv2_2对xd2′进行特征提取，得到第二时相的高光谱影像的特征f21′；

81、步骤3.3.6利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3对xd2′进行特征提取，得到第二时相的高光谱影像的特征f22′；

82、步骤3.3.7利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3、conv2_4对xd2′进行特征提取，得到第二时相的高光谱影像的特征f23′；

83、步骤3.3.8利用子网络nfeature中conv2_0、conv2_1、conv2_2、conv2_3、conv2_4、、conv2_5对xd2′进行特征提取，得到第二时相的高光谱影像的特征f24′；

84、步骤3.3.9利用lmasf模块对f11′和f13′进行特征提取，得到第一时相的高光谱影像的跨层特征f1113′；

85、步骤3.3.10利用lmasf模块对f12′和f14′进行特征提取，得到第一时相的高光谱影像的跨层特征f1214′；

86、步骤3.3.11利用lmasf模块对f21′和f23′进行特征提取，得到第二时相的高光谱影像的跨层特征f2123′；

87、步骤3.3.12利用lmasf模块对f22′和f24′进行特征提取，得到第二时相的高光谱影像的跨层特征f2224′；

88、步骤3.3.13利用lcbam模块对f1113′进行特征提取，得到第一时相的高光谱影像的跨层注意特征fcbam_1113′；

89、步骤3.3.14利用lcbam模块对f1214′进行特征提取，得到第一时相的高光谱影像的跨层注意特征fcbam_1214′；

90、步骤3.3.15利用lcbam模块对f2123′进行特征提取，得到第二时相的高光谱影像的跨层注意特征fcbam_2123′；

91、步骤3.3.16利用lcbam模块对f2224′进行特征提取，得到第二时相的高光谱影像的跨层注意特征fcbam_2224′；

92、步骤3.3.17按照公式(18)对fcbam_1113′和fcbam_2123′求差：

93、fk1′＝fcbam_1113′-fcbam_2123′                          (18)

94、步骤3.3.18按照公式(19)对fcbam_1214′和fcbam_2224′求差：

95、fk1′＝fcbam_1214′-fcbam_2224′                          (19)

96、步骤3.3.19按照公式(20)对fk1′和fk2′求和：

97、fk′＝fk1′+fk2′                          (20)

98、步骤3.3.20利用子网络ncls对特征进行分类，计算得出最终的变化检测预测结果tepred。

99、与现有技术相比，本发明首先采用双分支网络结构，用于提取不同时相的特征，然后通过自适应跨层特征融合模块将浅层特征与深层特征进行跨层融合，自适应地选择跨层特征中的有效信息进行融合，补偿因层数增加而丢失的空间纹理信息，使融合特征实现多层信息之间的互补。随后使用深浅特征增强模块对有效信息进行增强，使网络更加有效地关注和利用高光谱影像中的重要特征，从而提高了模型的性能。因此，本发明具有特征提取质量好、检测精度高、所需训练样本少的特点。