基于图像分割与孪生神经网络的遥感影像变化的检测方法与流程

1.本发明涉及遥感变化检测领域，具体涉及一种基于深度学习的高分辨率遥感影像变化检测方法，可用于卫星、无人机高分辨率两期遥感影像的变化检测。


背景技术：

2.随着卫星影像空间分辨率与重访频率的提高，利用变化检测技术快速准确的发现地表变化信息已经成为当前遥感领域研究的热点。遥感变化检测是利用同一地表区域不同时期的多源遥感影像和相关地理空间数据，结合相应地物特性和遥感成像机理，采用图像、图形处理理论及数理模型方法，确定和分析该地域地物位置、范围的变化和地物性质、状态的变化，分离出感兴趣的变化信息，滤除作为干扰因素的不相干的变化信息，在植被变化、城市扩展、违法建筑检测等领域有着广泛的应用。
3.早期的方法主要针对中低分辨率遥感影像，以像元作为分析的基本单元，通过逐像素地分析像元光谱差异提取变化信息，该类方利用单个像素的特征信息，容易忽略像素的空间信息和光谱信息，造成“椒盐”噪声和变化区域表达不完整。伴随着高分辨率遥感影像的商业化，面向对象影像分析技术被引入高分辨率遥感影像分析中，变化检测的基本单元由像素转变为对象。将对象作为最基本的分析单元，整合像元的光谱信息和像元邻域的空间信息，有助于减小差异图中虚警率和漏警率。由于高分辨率遥感图像特性，图像中纹理、形状等低级特征的表现形式非常复杂，传统的变化检测技术通常根据专家先验进行手工特征提取，并不能提取出含有深层次变化信息的有效特征。手工特征往往携带了更多的冗余信息和噪声，极大的影响了变化检测精度。检测算法性能的优劣实际上很大程度取决于超参数的设置。传统检测算法尽管借助网格搜索和随机搜索等策略提升了参数搜索的效率,但还是浪费了大量的人力和计算资源。手工设置算法参数主要局限在于常规优化策略难以达到参数空间上的全局最优，其表现在泛化性能较差。
4.凭借强大的图像特征提取能力，基于深度学习的变化检测方法已经成为遥感影像变化检测研究热点。与传统的变化检测算法不同，现阶段主流的深度学习变化检测方不再以单个像素或对象作为分析的基本单元，而是采取基于影像比较的方法，它将变化检测视为一个语义分割任务，通过全卷神经网络直接将输入转化为变化图，以一种端到端的检测方式简化变化检测复杂性，有效提高了检测结果的精度，同时在检测速度上也具备很大的优势，有利于快速处理大量数据。
[0005] 针对城市土地资源变化检测工作繁杂、工作量大、自动化程度低等问题，王明常等提出了基于残差结构和特征金字塔网络多尺度网络fpn res
‑
unet，将残差结构和特征金字塔网络融合到unet模型中，增强了模型对不同尺度目标的检测性能。袁州等提出了一种融合unet 与注意力机制的变化检测算法，结合多输出融合策略用于遥感影像变化检测，使检测结果能更好的保持边缘的平滑与完整性。为了减少检测结果中的伪变化现象，倪良波等提出基于孪生残差神经网络的遥感影像变化检测方法，对多时相多光谱影像超像素进行分割与合并，再对分割后的子块提取特征，然后通过孪生残差神经网络进行二次分类获
得相似度，经过otsu阈值分割后获得到最终的变化检测差异图。
[0006]
以上研究分别代表了现阶段深度学习检测方法中双时相影像的结合方式：（1）早期融合方法：将不同时相的影像数据叠加输入到网络中；（2）孪生神经网络方法：将双时相影像先后输入1个特征提取器，再将输出的特征图对联合；（3）伪孪生网络方法：将双时相影像分别输入2个不同的特征提取器。早期融合方法将不同时相的影像数据做叠加输入到网络中，图像的差异性检测从网络的第一层开始进行，导致属于不同时相的特征相互影响，原始影像的高维特征将难以保持。孪生神经网络方法通过两个输入端分别接收不同时相的影像数据，将原始影像的特征提取功能和差异识别功能通过多层网络链接在同一个网络中，虽然保留了影像的高维特征，但也极大地增加梯度消失的隐患，导致网络前端提取出的原始影像特征的代表性较差。


技术实现要素：

[0007]
本发明要解决的技术问题是提供一种基于图像分割与孪生神经网络的遥感影像变化的检测方法，通过构建了新的基于图像分割与孪生神经网络的遥感影像变化检测模型，用于高分辨遥感影像的变化检测，该检测模型分为编码器与解码器两部分，编码器中的深度卷积模块可以提取影像的高维特征，然后输入到多层次融合的孪生神经网络中生成多尺度对比的特征差异图；解码器负责从差异图识别出变化区域，最后再利用双线性插值得到与原始影像相同大小的检测结果。
[0008]
为了解决上述技术问题，本发明采用的技术方案是：基于图像分割与孪生神经网络的遥感影像变化的检测方法，具体包括以下步骤：s1：根据收集的待处理影像及地表覆盖矢量、栅格文件构建训练样本库，所述训练样本库包含同一区域的多时影像数据以及地物变化的标签数据；s2：利用所述步骤s1构建的训练样本库中的多时影像数据和地物变化的标签数据对变化检测网络siam
‑
deep进行训练，学习高分辨遥感影像中不同地物的变化特征；s3：对提取出的变化检测结果进行后处理，去除变化区域的噪声与杂斑，对建筑物的轮廓进行规则化，得到最终的变化检测结果。
[0009]
采用上述技术方案，通过构建了新的基于图像分割与孪生神经网络的遥感影像变化检测模型siam
‑
deep，用于高分辨遥感影像的变化检测，为了训练模型，需要训练数据与标签；该检测模型分为编码器与解码器两部分，编码器中的深度卷积模块可以提取影像的高维特征，然后输入到多层次融合的孪生神经网络中生成多尺度对比的特征差异图；解码器负责从差异图识别出变化区域，最后再利用双线性插值得到与原始影像相同大小的检测结果。
[0010]
作为本发明的优选技术方案，所述步骤s1中的训练样本库还包含有基于人工标注的真实标签数据和基于全要分割模型结果进行图像差异分析得到的标签数据。
[0011]
作为本发明的优选技术方案，在所述步骤s1中，构建所述训练样本库的具体步骤为：s11变化区域影像配准与时空匹配：根据已有变化矢量与栅格信息数据所覆盖的区域，对收集的高分辨影像数据进行时空匹配，即将同一经纬度区域不同时期的数据进行匹配。若待处理影像为分幅影像，则对分景和分幅的影像进行裁剪拼接，得到完整的影像。
[0012]
s12影像重采样：统计上一步时空匹配裁剪出高分辨影像的分辨率，以占比最多的影像分辨率为基准，对其它影像进行重采样；s13 矢量变化标签栅格化：将收集到的矢量变化文件进行栅格化，转换成与对应影像分辨率相同的栅格标注，标注像素包含变化区域与不变区域两种值；s14 模型训练样本制作：从栅格变化标签中多次随机位置裁剪出256
×
256大小的标签块，统计其中包含的变化像素数量，保留与总的像素数比值大于0.5的标签块，同时按照保留标签块的位置从对应不同时期高分辨影像中裁剪相应的影像块，将标签块与样本块命名后存入训练样本库中。其中变化区域采用（1）标注，不变区域采用（0）标注。
[0013]
作为本发明的优选技术方案，所述步骤s2中的变化检测网络siam
‑
deep包括编码器（encoder）和解码器（decoder）两部分，其中所述编码器由二个深度卷积模块（dcnn）和一个孪生空间金字塔模块（siam
‑
aspp）组成；所述解码器部分由上采样模块、特征连接模块和卷积模块组成。
[0014]
作为本发明的优选技术方案，所述编码器的深度卷积模块（dcnn）由两组连续堆叠的空洞卷积（atrous convolution）和修正线性单元（rectified linear unit，relu）组成；所述孪生空间金字塔模块（siam
‑
aspp）由一个空洞卷积和一个空洞空间卷积池化金字塔（aspp）组成，通过孪生空间金字塔模块得到的4个不同尺度的特征在channel维度concat在一起，然后送入1x1的卷积进行融合并得到256
‑
channel的新特征。
[0015]
作为本发明的优选技术方案，所述解码器包括一个上采样模块、一个特征连接模块和两个卷积模块；所述上采样模块由两个上采样层组成；所述特征连接模块为连接层；两个卷积模块分别为一个1
×
1的卷积层和一个3
×
3的卷积层。解码器首先采用1x1卷积对深度卷积模块输出的低级特征进行降维，其次将编码器得到的特征双线性插值得到4倍的特征，然后与编码器中对应大小的低级特征concat，再采用3x3卷积进一步融合特征，最后再双线性插值得到与原始图片相同大小的分割预测。
[0016]
作为本发明的优选技术方案，所述编码器中的空洞卷积中的所有的最大池化层（max pooling layer）均由stride=2的深度可分离卷积代替。
[0017]
作为本发明的优选技术方案，所述步骤s15中的数据增强的方法包括：图像旋转、翻转、添加随机噪声与亮度调整。
[0018]
作为本发明的优选技术方案，所述空洞卷积的膨胀率(rate)为2，所述孪生空间金字塔模块包含3种膨胀率，分别为6、12和18，其卷积核大小均为3
×
3， 卷积步长均为1。
[0019]
作为本发明的优选技术方案，所述步骤s3中的后处理中采用带有低通滤波的卷积核去除检测结果中的噪声杂斑，使用粗调和细调组成的多边形正则化方法，将检测结果中的多边形转化为结构化的轮廓。
[0020]
与现有技术相比，本发明具有的有益效果为：1）提出了一个基于孪生神经网络的变化检测模型，用于高分辨的遥感影像的变化检测；2）即使在复杂的变化区域，检测结果依旧平滑，接近真实的地物变化；3）经过训练的网络模型可以应对水体、建筑物、森林、道路等各种复杂的场景的变化检测。
附图说明
[0021]
图1 是本发明基于图像分割与孪生神经网络的遥感影像变化的检测方法提出的
总体模型的结构示意图；图2是基于图像分割与孪生神经网络的遥感影像变化的检测方法中的孪生空洞卷积模块（siam
‑
aspp）示意图；图3是基于图像分割与孪生神经网络的遥感影像变化的检测方法中变化检测的成果样例；其中（a）是某地方航空遥感影像，（b）是（a）中同一区域后期回访航空遥感影像，（c）是（a）与（b）中地物变化分析结果图；（d）是另一个地方航空遥感影像，（e）是（d）中同一区域后期回访航空遥感影像，（f）是（d）与（e）中地物变化分析结果图。
具体实施方式
[0022]
下面将结合本发明的实施例图中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
[0023]
实施例：该基于图像分割与孪生神经网络的遥感影像变化的检测方法，具体包括以下步骤：s1：如图1所示，为了训练模型，首先训练数据与标签，根据已有的通过卫星、无人机收集的待处理影像及地表覆盖矢量、栅格文件构建训练样本库，所述训练样本库包含同一区域的多时影像数据以及地物变化的标签数据；在所述步骤s1中，构建所述训练样本库的具体步骤为：s11变化区域影像配准与时空匹配：根据已有变化矢量与栅格信息数据所覆盖的区域，对收集的高分辨影像数据进行时空匹配，即将同一经纬度区域不同时期的数据进行匹配；若待处理影像为分幅影像，则对分景和分幅的影像进行裁剪拼接，得到完整的影像；s12影像重采样：统计步骤s11中的时空匹配裁剪出高分辨影像的分辨率，以占比最多的影像分辨率为基准，对其它影像进行重采样；s13 矢量变化标签栅格化：将收集到的矢量变化文件进行栅格化，转换成与对应影像分辨率相同的栅格标注，标注像素包含变化区域（1）与不变区域（0）两种值；s14 模型训练样本制作：从栅格变化标签中多次随机位置裁剪出256
×
256大小的标签块，统计其中包含的变化像素数量，保留与总的像素数比值大于0.5的标签块，同时按照保留标签块的位置从对应不同时期高分辨影像中裁剪相应的影像块，将标签块与样本块命名后存入训练样本库中；s15数据增强：对训练样本库中的影像块及对应的标签块进行数据增强，生成训练样本库；所述步骤s15中的数据增强的方法包括：图像旋转、翻转、添加随机噪声与亮度调整；训练样本库还包含有基于人工标注的真实标签数据和基于全要分割模型结果进行图像差异分析得到的标签数据；s2：利用所述步骤s1构建的训练样本库中的多时影像数据和地物变化的标签数据对变化检测网络siam
‑
deep进行训练，学习高分辨遥感影像中不同地物的变化特征；所述步骤s2中的变化检测网络siam
‑
deep包括编码器（encoder）和解码器（decoder）两部分，其中所述编码器由二个深度卷积模块（dcnn）和一个孪生空间金字塔模块（siam
‑
aspp）组成；所述解码器部分由上采样模块、特征连接模块和卷积模块组成；所述编码器的深度卷积模块（dcnn）由两组连续堆叠的空洞卷积（atrous convolution）和修正线性单元（rectified linear unit，relu）组成；如图2所示，所述孪生空间金字塔模块
（siam
‑
aspp）由一个空洞卷积和一个空洞空间卷积池化金字塔（aspp）组成，通过孪生空间金字塔模块得到的4个不同尺度的特征在channel维度concat在一起，然后送入1x1的卷积进行融合并得到256
‑
channel的新特征；所述解码器包括一个上采样模块、一个特征连接模块（concat layer）和两个卷积模块；所述上采样模块由两个上采样层组成；所述特征连接模块为连接层；两个卷积模块分别为一个1
×
1的卷积层（convolution layer）和一个3
×
3的卷积层（convolution layer）；所述空洞卷积的膨胀率(rate)为2，所述孪生空间金字塔模块包含3种膨胀率，分别为6、12和18，其卷积核大小均为3
×
3， 卷积步长均为1；解码器首先采用1x1卷积对深度卷积模块输出的低级特征进行降维，其次将编码器得到的特征双线性插值得到4倍的特征，然后与编码器中对应大小的低级特征concat，再采用3x3卷积进一步融合特征，最后再双线性插值得到与原始图片相同大小的分割预测；所述编码器中的空洞卷积中的所有的最大池化层（max pooling layer）均由stride=2的深度可分离卷积代替；s3：对提取出的变化检测结果进行后处理，去除变化区域的噪声与杂斑，对建筑物的轮廓进行规则化，得到最终的变化检测结果；所述步骤s3中的后处理中采用带有低通滤波的卷积核去除检测结果中的噪声杂斑，使用粗调和细调组成的多边形正则化方法，将检测结果中的多边形转化为结构化的轮廓。图3为将本发明的方法应用于实例中的样图，其中图3中的（a）是某地方航空遥感影像，（b）是（a）中同一区域后期回访航空遥感影像，（c）是（a）与（b）中地物变化分析结果图；图3中的（d）是另一个地方航空遥感影像，（e）是（d）中同一区域后期回访航空遥感影像，（f）是（d）与（e）中地物变化分析结果图。
[0024]
为了验证和说明本方法的有效性，通过与现有的4种深度学习方法进行了对比，表1为本发明方法与其他基于深度学习方法的精度比较。
[0025]
表1 本发明方法与另外4种深度学习方法的对比检测方法准确率召回率f1评分总体准确率fc
‑
ef0.6090.5280.5940.911fc
‑
siam
‑
diff0.7060.6580.6670.932ef
‑
unet 0.9110.8830.8960.978dasnet(resnet50)0.9320.9220.9270.982siam
‑
deeplab0.9470.9340.9400.986从表1可以看出，我们的方法全面优于其他4种方法，准确率达0.947，召回率0.934，f1评分0.940，总体准确率为0.986。
[0026]
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。