一种跨模态注意力引导的遥感影像去云方法

本发明属于遥感影像，具体涉及一种跨模态注意力引导的遥感影像去云方法。

背景技术：

1、光学成像技术是遥感对地观测的典型方式，是应急管理体系中不可或缺的一环。通过遥感光学成像技术获取地表影像并对比不同时期影像差异，可以有效预警包括洪水、泥石流在内的自然灾害。然而光学遥感影像的获取过程不可避免会受到大气中云层的干扰，例如薄云导致影像模糊、厚云遮挡地物等。因此，对有云层覆盖的遥感影像进行重建，将有效提高感知数据质量，为决策分析提供有力的数据保障。在过去的几十年里，众多国内外学者针对光学遥感影像的去云任务提出了各种方法。根据所依赖辅助信息的类型，现有的方法大致可分为四类：基于空间信息的方法、基于多光谱信息的方法、基于多时相信息、基于多源异构信息的方法。

2、基于空间信息的方法将遥感影像去云看作单纯的图像修复任务，利用多云图像中无云遮蔽区域的信息对被云遮蔽的区域进行信息复原与重建。这类方法主要基于以下假设：多云图像中被云遮蔽区域和无云遮蔽区域具有相似统计分布和几何结构。代表性方法包括插值法、传播扩散法、基于变分的方法以及基于示例的方法。这类直接修复的方法不需要额外的数据，但通常只适用于小区域缺失信息的修复，对云遮蔽区域较大的影像处理效果有限，无法恢复高频的纹理信息。

3、基于多光谱信息的方法是最基本、最经典的重建方法，他们利用多光谱数据来恢复自身缺失的部分。该方法主要基于同一幅图像的不同波段间具有较强的光谱相关性的基本假设。在光学遥感影像中，有些波段对云层的穿透力较强，而另一些波段则不然，或者由于卫星设备的限制，有些波段被破坏，而有些波段状况良好，因此可以利用信息完整波段作为辅助信息，建立波段间的相关性，对云破坏波段进行重建。但是当图像所有波段都对云雾不透明时，例如厚云覆盖，由于缺少必要的参考数据，该类方法难以获得较高精度和鲁棒性。

4、基于多时相信息的方法利用轨道卫星重访的特点，通过整合多个不同时相的信息来进行去云。该方法主要基于临近时间获取的数据之前地物不会发生大的变化的假设，因此可以使用同一卫星在临近时间获取的无云数据作为参考数据对云遮挡区域进行重建。目前传统方法主要包括替换法、过滤法和基于学习的方法。该方法得到的去云影像通常细节比较真实，因为这种方法是用真实的无云观测来代替损坏的像素。但该类方法需假设不同时相影像无较大的地物变化，对数据获取要求较高。

5、基于多源异构信息的方法利用其他传感器获得的数据来辅助重建光学遥感图像中的缺失信息。其中，由于sar具有全天时、全天候观测能力，不受云雾覆盖的影响，可以为光学遥感图像云的去除提供有效辅助信息。目前，基于多源融合的光学遥感影像去云算法在各种公开数据集中均表现出色，占据遥感影像去云领域的最前沿。

6、尽管基于多源数据融合的光学遥感影像去云算法具有显著的优势，但仍有一些问题需要解决。首先，sar图像缺乏光谱信息，数据存在透视收缩和近距离压缩等几何失真，以及斑点噪声、多次反射效应等现象；另外，由于sar和光学图像间模态差异较大，导致跨模态之间的语义关联性不容易建立，目前的方法不能充分地融合两种模态并挖掘其耦合关系。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种跨模态注意力引导的遥感影像去云方法，首先输入光学和sar两个模态的遥感图像并进行预处理；在encoder阶段分别对光学和sar遥感图像进行特征提取；在fusion阶段利用特征图计算图像各区域间的注意力矩阵；利用注意力矩阵对特征图进行特征聚合；利用门控卷积模块对特征图进行特征融合；最后在decoder阶段对融合特征图进行特征解码，得到重建后的光学图像。通过与多个模型比较，本发明方法有着优秀的指标提升，证明了本发明方法有着良好的泛化性和鲁棒性。

2、本发明解决其技术问题所采用的技术方案如下：

3、步骤1：输入光学和sar两个模态的遥感图像并进行预处理；

4、步骤2：在encoder阶段分别对光学和sar遥感图像进行特征提取，得到的特征图分别记为fopt、fsar；

5、步骤3：在fusion阶段利用特征图fsar计算图像各区域间的注意力矩阵，记为a；

6、步骤4：利用注意力矩阵a对特征图fopt进行特征聚合，记为

7、步骤5：利用门控卷积模块对光学图像特征图和特征图fsar分别进行特征融合，得到融合特征图记为f′fus；

8、步骤6：在decoder阶段对融合特征图进行特征解码，得到重建后的光学图像。

9、优选地，所述遥感图像的大小为256x256。

10、优选地，所述预处理包括调整大小和归一化。

11、优选地，所述步骤2中进行特征提取采用双流cnn架构。

12、优选地，所述步骤3中注意力矩阵的计算过程如下：

13、将特征图fsar切分为n个patch，然后计算这些patch两两之间的余弦相似度：

14、

15、其中，fi和fj分别对应于特征图fsar的第i和第j个patch；

16、接下来，对余弦相似度进行softmax处理，得到每个patch的注意力分数：

17、

18、其中，注意力分数ai,j对应于注意力矩阵a的第i行第j列的值。

19、优选地，所述步骤4中进行特征聚合的过程如下：

20、将特征图fopt切分为n个patch，然后由注意力矩阵a对特征图进行特征聚合：

21、

22、其中，是聚合后特征图的第i个patch，是聚合前特征图fopt的第j个patch。

23、优选地，所述步骤5中的特征融合过程如下：

24、

25、f′fus＝concat(f′opt,f′sar)

26、其中，f′opt和f′sar表示中间输出，α表示系数，gsar表示表示sar特征的门控卷积模块，gopt表示表示光学特征的门控卷积模块，f′fus表示最终融合特征图。

27、优选地，所述步骤6中的特征解码为：采用u-net架构的方式，对经过特征融合后的特征f′opt进行解码，得到模型的预测结果。

28、优选地，所述步骤6中，完成图像解码后对图像进行后处理，包括调整大小、反归一化，得到重建后的光学图像。

29、本发明的有益效果如下：

30、本发明方法利用sar图像具有不受云层所干扰的特点，通过sar图像提取的特征来引导光学图像中被云层遮挡区域的特征重建，从而实现精准的修复。通过与多个模型比较，本发明方法有着优秀的指标提升，证明了本发明方法有着良好的泛化性和鲁棒性。

技术特征：

1.一种跨模态注意力引导的遥感影像去云方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种跨模态注意力引导的遥感影像去云方法，其特征在于，所述遥感图像的大小为256x256。

3.根据权利要求1所述的一种跨模态注意力引导的遥感影像去云方法，其特征在于，所述预处理包括调整大小和归一化。

4.根据权利要求1所述的一种跨模态注意力引导的遥感影像去云方法，其特征在于，所述步骤2中进行特征提取采用双流cnn架构。

5.根据权利要求1所述的一种跨模态注意力引导的遥感影像去云方法，其特征在于，所述步骤3中注意力矩阵的计算过程如下：

6.根据权利要求5所述的一种跨模态注意力引导的遥感影像去云方法，其特征在于，所述步骤4中进行特征聚合的过程如下：

7.根据权利要求6所述的一种跨模态注意力引导的遥感影像去云方法，其特征在于，所述步骤5中的特征融合过程如下：

8.根据权利要求7所述的一种跨模态注意力引导的遥感影像去云方法，其特征在于，所述步骤6中的特征解码为：采用u-net架构的方式，对经过特征融合后的特征f′opt进行解码，得到模型的预测结果。

9.根据权利要求8所述的一种跨模态注意力引导的遥感影像去云方法，其特征在于，所述步骤6中，完成图像解码后对图像进行后处理，包括调整大小、反归一化，得到重建后的光学图像。

技术总结本发明公开了一种跨模态注意力引导的遥感影像去云方法，首先输入光学和SAR两个模态的遥感图像并进行预处理；在Encoder阶段分别对光学和SAR遥感图像进行特征提取；在Fusion阶段利用特征图计算图像各区域间的注意力矩阵；利用注意力矩阵对特征图进行特征聚合；利用门控卷积模块对特征图进行特征融合；最后在Decoder阶段对融合特征图进行特征解码，得到重建后的光学图像。通过与多个模型比较，本发明方法有着优秀的指标提升，证明了本发明方法有着良好的泛化性和鲁棒性。技术研发人员：袁媛,刘赶超,仇嘉伟受保护的技术使用者：西北工业大学技术研发日：技术公布日：2024/8/27