一种用于双时相遥感图像语义变化检测的网络模型

本发明涉及图像分析，特别是涉及一种用于双时相遥感图像语义变化检测的网络模型。

背景技术：

1、双时相遥感图像的二值变化检测（bcd）是指利用计算机视觉和深度学习等技术，从两幅不同时间拍摄的覆盖同一地区的遥感图像中，识别发生变化的区域位置。双时相遥感语义变化检测（scd）是对不同时期获取的覆盖相同地理区域的两幅遥感影像进行分析，旨在不仅识别出影像间地表变化的位置，而且进一步理解这些变化的语义信息，即变化的类型和性质。这种检测着重于解释变化的含义，比如从森林转变为农田，或者建筑物的新增、拆除等。相对二值变化检测，双时相遥感语义变化检测能够提供更为丰富和精细的地表变化信息，支持城市规划、灾害评估、环境监测等领域的决策制定。

2、高质量卫星图像的快速增长和深度学习技术的进步，推动了变化检测技术的发展，同时也对智能变化检测技术提出了更高的要求。现有的变化监测技术研究主要集中于二值变化检测，遥感图像的语义变化检测仍然相对未被充分探索。从计算机视觉角度看，bcd是一种二值语义分割任务，旨在识别图像中发生了改变的区域；而scd则是一个更为复杂的任务，需要生成一个二值变化图和两个时间点的土地覆盖图（对应位置的语义分割结果）。bcd模型只有单一输出分支，而scd模型需要三个输出分支。由于输出和基本假设之间存在根本差异，以往基于深度学习的bcd模型并不可以直接套用于scd。此外，bcd模型假定二值变化的预测结果对输入图像对中两幅图像的顺序具有不变性，而scd中的两幅土地覆盖图的预测结果与输入的双时相图像对中的两张图像具有严格的一一对应关系。

3、为了解决scd的挑战，相关研发人员提出了两种类型的模型：单任务算法和多任务算法。单任务scd算法通常将变化检测任务（cd）任务分解为两个独立阶段：图像语义分割和bcd。然而，这种方法依赖于初始分割的准确性，因为错误会传播到bcd步骤。此外，语义分割模型的训练未能充分考虑在不同阶段捕获的图像之间的时间上下文关系。相比之下，多任务scd算法使用单个网络来共同建模语义分割和bcd，使不同任务相互促进，以提高各个任务的表现。

4、多任务学习（mtl）在应用于scd带来好处的同时，也存在挑战。在不引起干扰或信息冗余的情况下整合来自不同任务的特征是复杂的。与语义分割不同，高性能的bcd必须保持对输入图像顺序的不变性。此外，多任务头在mtl模型中对每个特定任务进行指导学习过程方面发挥着关键作用，利用所有任务之间共享信息以提高效率和性能。然而，在各个任务之间竞争共享信息可能会导致性能下降。此外，在mtl中平衡scd中同质性和异质性特征是具有挑战性的。同质性特征侧重于捕获不同时期图像之间的相似之处，而异质性特征则捕获它们各自独特的特点。在这些特征之间取得适当平衡至关重要。过分强调同质性可能会忽略细微变化，而过于注重异质性则可能过于增加对噪声的敏感度。

5、因此，如何充分探索二值变化检测和语义分割之间的相关性，使这两个任务能够相互促进，实现高性能的语义变化检测，是本领域的技术人员需要解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种用于双时相遥感图像语义变化检测的网络模型，以充分探索二值变化检测和语义分割之间的相关性，使这两个任务能够相互促进，实现高性能的语义变化检测。

2、一种用于双时相遥感图像语义变化检测的网络模型，包括双时相孪生网络、transformer模块、多任务头和时空特征学习模块，所述transformer模块具有编码器和解码器；

3、所述双时相孪生网络使用cnn骨干网络从输入的双时相遥感图像对中提取多尺度特征图，并将多尺度特征图转换为视觉标记，所述双时相孪生网络包括两个cnn骨干网络，所述cnn骨干网络采用残差网络resnet，两个cnn骨干网络之间共享权重，在所述双时相孪生网络中使用空间注意模块将空间位置信息嵌入到多尺度特征图中，并通过采样和像素级相加操作融合多尺度特征图；

4、所述transformer模块用于捕获视觉标记之间的长距离依赖关系，得到transformer模块的输出特征图；

5、所述多任务头用于基于transformer模块的输出特征图，生成语义分割和二值变化检测的预测输出；

6、所述时空特征学习模块用于二值变化检测任务，使第一二值变化检测的结果与第二二值变化检测的结果一致，其中，将双时相遥感图像对中的图像按时间顺序排列，得到的二值变化检测结果为第一二值变化检测的结果，将双时相遥感图像对中的图像按时间倒序排列，得到的二值变化检测结果为第二二值变化检测的结果。

7、根据本发明提供的用于双时相遥感图像语义变化检测的网络模型，双时相孪生网络可以同时建模语义分割和二值变化检测两种任务，双时相孪生网络使用cnn骨干网络从输入的双时相遥感图像对中提取多尺度特征图，能够在不同空间分辨率下捕获视觉信息，随后将多尺度特征图转换为视觉标记，并使用空间注意模块将空间位置信息嵌入到多尺度特征图中，再通过transformer模块捕获视觉标记之间的长距离依赖关系，随后，通过多任务头生成语义分割和二值变化检测的预测输出，多任务头能够有效地利用从transformer块中提取的多尺度特征，使模型可以针对性地适应不同的子任务，为了增强二值变化检测任务的特征表示，通过时空特征学习模块学习时序对称特征，确保调换图像对中两幅图像顺序时，二值变化检测任务的预测结果保持一致性，该网络模型能够充分探索二值变化检测和语义分割之间的相关性，使这两个任务能够相互促进，实现高性能的语义变化检测，在遥感图像语义变化检测数据集whu-cd、second和hrscd的实验证实，该网络模型在语义变化检测任务上相对现有技术的算法具有优越性。

技术特征：

1.一种用于双时相遥感图像语义变化检测的网络模型，其特征在于，包括双时相孪生网络、transformer模块、多任务头和时空特征学习模块，所述transformer模块具有编码器和解码器；

2.根据权利要求1所述的用于双时相遥感图像语义变化检测的网络模型，其特征在于，所述cnn骨干网络包括一个7×7卷积层、以及四个残差块，其中残差块res3和残差块res4执行2倍下采样；

3.根据权利要求2所述的用于双时相遥感图像语义变化检测的网络模型，其特征在于，所述transformer模块利用卷积操作将特征图转化为大小为m的视觉标记集；

4.根据权利要求3所述的用于双时相遥感图像语义变化检测的网络模型，其特征在于，所述编码器由ne个结构相同的层堆叠组成，每一层包括多头自注意力模块和前馈神经网络模块，标记化的特征图在输入编码器后，从编码器的第l-1层到第l层需要依序经过多头自注意力模块和前馈神经网络模块处理，此外，使用层规范化对多头自注意力模块和前馈神经网络模块处理的输入进行规范化处理，并对两个模块的输出使用残差连接；

5.根据权利要求4所述的用于双时相遥感图像语义变化检测的网络模型，其特征在于，所述解码器将特征图、以及添加了可训练的位置编码的特征图作为输入；所述解码器将添加了可训练的位置编码的特征图映射到查询向量中，并将映射到键向量和值向量中，添加了可训练的位置编码的特征图经过transformer模块处理后得到transformer模块的输出特征图。

6.根据权利要求5所述的用于双时相遥感图像语义变化检测的网络模型，其特征在于，所述多任务头包括两个语义分割头和一个二值变化检测头，所述多任务头中的每个任务头均包含三个2倍上采样块，每个上采样块使用最近邻上采样，在两个上采样块之前应用两个3×3卷积层；所述二值变化检测头包含时空特征学习模块，所述语义分割头不包含时空特征学习模块，所述语义分割头的预测输出的通道数量有两个，分别对应是否变化的两个类别，所述二值变化检测头的预测输出的通道数量等于预定义的语义类别的数量。

7.根据权利要求6所述的用于双时相遥感图像语义变化检测的网络模型，其特征在于，在所述时空特征学习模块中，沿着通道维度将和连接起来，得到两个大小为2c×h×w的和，表达式为：

8.根据权利要求7所述的用于双时相遥感图像语义变化检测的网络模型，其特征在于，所述用于双时相遥感图像语义变化检测的网络模型的总损失包括两个语义分割损失和一个二值变化检测损失，分别采用多类别的交叉熵损失和二值交叉熵损失对语义分割损失和二值变化检测损失进行建模；

技术总结一种用于双时相遥感图像语义变化检测的网络模型，包括双时相孪生网络、Transformer模块、多任务头和时空特征学习模块；双时相孪生网络使用CNN骨干网络从输入的双时相遥感图像对中提取多尺度特征图，并将多尺度特征图转换为视觉标记，所述双时相孪生网络包括两个CNN骨干网络，CNN骨干网络采用残差网络ResNet，两个CNN骨干网络之间共享权重，Transformer模块用于捕获视觉标记之间的长距离依赖关系，得到Transformer模块的输出特征图；多任务头用于基于Transformer模块的输出特征图，生成语义分割和二值变化检测的预测输出；时空特征学习模块用于二值变化检测任务。该网络模型能够充分探索二值变化检测和语义分割之间的相关性，使这两个任务能够相互促进，实现高性能的语义变化检测。技术研发人员：刘伟,康紫文,陈艺,周庆忠,郑宇超受保护的技术使用者：华东交通大学技术研发日：技术公布日：2024/7/29