基于多层次差异信息联合增强的遥感影像变化检测方法

本发明属于摄影测量数据处理，具体涉及一种基于多层次差异信息联合增强的遥感影像变化检测方法。

背景技术：

1、变化检测(cd)通过定量和定性的检测同一地理位置在不同时间点上因人类活动和自然因素影响而发生在地球表面的变化，对衡量城市扩张、环境监测、灾害评估、城市热岛效应等领域至关重要。高精度的变化信息依赖于卫星影像数据的解译和实地调查，大量的高空间分辨率卫星影像数据为增强地物细节特征的提取提供了新方法。传统的变化检测提取方法多基于像素或基于对象，基于像素的方法在定义良好的单位上量化变化指标，以识别目标类别，如纹理、几何特征和上下文特征等，但该方法随着遥感影像的细节信息越来越丰富，临近像元存在依赖关系，不完全适合高空间分辨率卫星影像的变化检测任务。基于对象的变化检测方法在高空间分辨率影像中，以光谱、空间特征同质性的像元簇为基本单元进行分析，该类方法消除了椒盐效应，更接近目标的真实特征，但仍存在多目标之间拓扑关系错误检测、目标对象内部细节信息丢失等问题。将基于像素和基于对象的变化检测方法相结合，利用数据融合的方式来提取城市变化信息，虽然能够获得目标的多维结构特征，有效减少光谱相似性造成的检测遗漏及误差，但在进行不同类型目标检测时，易造成变化区域和未变化区域的类间差异界定问题。

2、深度学习是一种通过端到端、多维度和多层次提取的方法。近年来，深度学习因为其可以在多个层次上自动识别和提取复杂特征的优点，成为处理复杂变化目标提取问题的一种非常有效的途径。卷积神经网络(cnn)是目前的主流方法，cnn可以通过多个卷积层从原始数据中学习高级抽象特征，但随着层数的增加，cnn中参数的数量也在激增，需要处理大量的训练样本。且现有的针对高空间分辨率卫星影像变化提取方法多使用块或重采样，这些方法会导致变化模式的破坏、信息冗余或细节信息丢失，变化提取结果不能满足实际应用所需的标准。为了扩大变化检测的应用，研究一种基于多层次差异信息联合增强的超高分辨率遥感影像变化检测方法迫切且必要。

3、在当前技术条件下，基于深度学习的变化检测技术，主要面临如下挑战：1)由于物体本身的光谱相似性和结构复杂性，受影像观测条件或配准精度的影响，同一类别目标具有不同的特征，很难准确提取物体变化信息；2)传统变化检测方法信息提取结果存在目标空间分布失真、目标对象内部细节信息无法有效利用的现象，且容易受到高空间分辨率卫星影像光谱、纹理甚至噪声的影响。

4、因此，本发明提出了一种基于多层次差异信息联合增强的遥感影像变化检测方法，即基于高空间分辨率遥感影像数据，构建变化检测差异信息联合增强的孪生网络，以期提高特征提取和多层特征融合的能力，解决上述问题。

技术实现思路

1、本发明的目的在于克服传统技术中存在的上述问题，提供一种基于多层次差异信息联合增强的遥感影像变化检测方法。

2、为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

3、本发明提供一种基于多层次差异信息联合增强的遥感影像变化检测方法，包括以下步骤：

4、步骤一、变化检测数据集获取及处理；

5、步骤二、构建模型编码-解码结构；

6、步骤三、构建差异度量模块；

7、步骤四、构建多层次特征联合增强模块；

8、步骤五、模型测试。

9、进一步地，步骤一的具体分步骤如下：

10、1)分别获取second数据集和hrscd数据集；

11、2)second数据集共获取2968对影像和标签数据，空间分辨率为0.5-3m，所有影像和标签图像大小统一为512×512像素，只保留标签的值为0和1，其中值为0的区域表示未变化，值为1的区域表示发生变化；对数据集进行划分，将样本按照4：1的比例划分为训练集和测试集，即2374对影像和地表真实标签为训练集，594对影像和地表真实标签为测试集；

12、3)hrscd数据集的空间分辨率为0.5m，所有影像和标签数据统一裁剪为512×512像素，选择标签上变化区域占全部像素20％及以上的标签及其对应的两个时期的影像，共获取2607对影像和标签数据；同样按照4：1的比例来划分训练集、测试集，分别为2086对和521对。

13、进一步地，步骤二中，基于hrnet和孪生网络的变化检测提取方法，构建适用于高空间分辨率数据语义分析的编码-解码结构框架；将经过精确地理配准的三通道光学影像对的c×h×w参数输入网络，其中，c、h、w分别是原始影像的通道数量、高度和宽度。

14、进一步地，步骤二中，首先，在下采样阶段，原始影像先经过两次步长为2的卷积，增大特征维度到64个通道的同时缩减特征尺寸为h/4×w/4；之后，利用hrnet18的四个并行分支更进一步的在不同尺度上提取双时相影像中的语义信息；四个分支提取的特征的长宽分别是原始影像的h/4×w/4，h/8×w/8，h/16×w/16，h/32×w/32，并且对内部不同分支特征之间进行多分支交叉融合来凝练各个尺度的特征信息，保证模型对不同尺寸目标的识别性能；之后，将同一影像中提取出的多尺度特征统一扩展到h/4×w/4大小后堆叠为一个整体，整合多尺度的信息以得到更丰富的深度特征信息和语义表达；堆叠的特征经过一个步长为2的卷积进行维度的缩减和特征的融合。

15、进一步地，将编码阶段的特征输入上采样过程中，利用维度为2的上采样和步长为1、通道维度不变化的resblock块分别恢复图像尺寸和缩减维度数量来提取实际地物信息；这种恢复特征的阶段共有3个；在解码阶段，添加差异度量模块，对不同大小的特征图重新构造；该模块同样共有3个，特征维度分别是256c×h/8×w/8，128c×h/4×w/4和64c×h/2×w/2，并与每一个阶段双时相特征之间的差异图堆叠在一起，突出变化信息的位置；之后，采用递进融合的方式，将不同阶段的特征融合在一起；最后，将多层特征融合的结果上采样到原始影像大小，利用典型的sigmoid分类器来构建提取结果。

16、进一步地，步骤三中，首先，在每一个阶段，将上采样过程中提取的同一阶段的两个时期的i1和i2特征，分别以通道数量为8的大小分成数量相同的组，相对应的组之间进行余弦相似性的度量生成与原始特征相同尺寸的多层余弦相似特征层；之后，将余弦特征与i1、i2的差异图拼接，以增强原始特征；最后，拼接的结果经过一个卷积核大小为3的卷积层，将整体作为余弦特征输出；

17、余弦相似是利用两个向量之间夹角的余弦值衡量两个个体之间的差异，其值与向量之间的方向有关，与大小无关；将向量代数运算中的余弦计算引入到图像计算中，针对多维向量计算，其公式为：

18、

19、其中，a和b分别是两个特征向量，n是向量的维度数，θ是向量的夹角。

20、进一步地，步骤四中，在解码过程中的相邻阶段特征信息间使用了多层特征联合增强模块；在上采样过程中，相邻阶段的变化检测特征图fi和fi+1，由于后者的长宽是前者的2倍，故首先对fi先进行尺度为2的上采样和卷积核大小为3的卷积后与fi+1拼接；通过在多层特征中层层递进，将低分辨率特征图上的全局信息和高分辨率特征图上的细节信息融合在一起，充分的利用上采样过程中多尺度的不同特征。

21、进一步地，步骤五的具体分步骤如下：

22、1)利用miou、召回率、f1三个指标对模型结果进行精度评价，计算公式如下：

23、

24、其中，k是类别的数量，tp代表的是变化区域被正确地检测为变化区域的数量，tn代表的是未变化区域被正确地检测为未变化区域的数量，fp代表的是未变化区域被错误地检测为变化区域的数量，fn代表的是变化区域被错误的检测为未变化区域的数量，pr代表的是精确度；

25、2)选择unet、fc-lf-diff、fc-lf-conc三个基准网络模型进行变化检测结果对比。

26、本发明的有益效果是：

27、本发明公开了基于多层次差异信息联合增强的超高分辨率遥感影像变化检测方法。受限于当前超高分辨率卫星影像中地物变化检测中存在的浅层信息挖掘不足、深层特征及变化信息特征判识困难等技术瓶颈，导致变化检测信息提取结果出现破碎化严重、变化目标完整度低的现象，本发明基于高空间分辨率遥感影像数据，构建变化检测多层次差异信息联合增强的孪生网络，在深入挖掘多时相影像多层次特征的同时，加强深层特征的抽取和特征关联下变化信息的利用，提升变化目标的完整性和变化目标间的独立性。本发明提出的基于多层次差异信息联合增强的深度学习网络机制，对于超高分辨率遥感影像变化检测的目标矢量完整性、个体目标分离性显著提升，取得了更好地变化检测效果，具有重要的研究意义和实用价值。