一种基于扩散模型的遥感图像超分辨率重建方法及系统

本发明涉及计算机视觉，尤其涉及一种基于扩散模型的遥感图像超分辨率重建方法及系统。

背景技术：

1、遥感技术作为一种通过传感器获取地球表面信息的手段，已经成为地球科学和环境监测领域的重要工具。遥感图像是通过各种传感器（如卫星、飞机、无人机等）获取的地球表面信息的数字图像，遥感图像可以提供丰富的地表信息，包括地形、土地利用、植被覆盖、水文情况等。因此，在农业、城市规划、资源管理、环境监测等领域，遥感图像都发挥着重要作用。例如，在农业领域，遥感图像可以用于监测农田的植被生长情况，指导农作物的管理和收获。在城市规划中，遥感图像可以提供城市扩张的动态信息，帮助规划者合理规划城市布局和交通网络。

2、随着遥感技术的不断发展，获取的遥感图像数量和分辨率也不断增加。但是，在实际应用中，由于设备或数据传输的成本的限制，遥感图像的分辨率仍面临着挑战。为了解决这一问题，遥感图像超分辨率技术应运而生，其中基于卷积神经网络（convolutionalneural network，cnn）、基于生成对抗网络（generative adversarial networks，gan）和基于扩散模型（diffusion models，dm）的超分辨率方法被广泛使用。相较于基于cnn的方法，基于扩散模型的方法更注重保持图像的细节和结构信息，重建的图像不会过度平滑，更贴近真实图像。而与基于gan的方法相比较，基于扩散模型的方法在训练阶段则不需要进行复杂的对抗训练，训练过程稳定且不易发生训练崩溃现象，模型结构也易于实现和调整。

3、目前较为主流的基于扩散模型的图像超分辨率方法之一是sr3，该方法将去噪扩散概率模型应用于图像到图像的转换，并通过随机迭代去噪过程实现超分辨率。然而，sr3模型的参数量较大，资源消耗也相对较大，且难以生成更高质量的超分辨率遥感图像，在视觉效果上仍有待进一步优化。

技术实现思路

1、本发明提供了一种基于扩散模型的遥感图像超分辨率重建方法及系统，用于解决现有超分辨率方法难以生成更高质量的超分辨率遥感图像，导致遥感图像的视觉效果较差的技术问题。

2、本发明提供了一种基于扩散模型的遥感图像超分辨率重建方法，包括：

3、获取原始遥感图像和遥感训练数据集；

4、构建超分辨率网络模型，并通过所述遥感训练数据集训练超分辨率网络模型，得到训练完成的超分辨率网络模型；其中，超分辨率网络模型由扩散模型、条件特征增强模块和噪声预测网络模型组成；

5、将所述原始遥感图像输入至训练完成的超分辨率网络模型中，通过所述扩散模型对所述原始遥感图像进行反向扩散以实现去噪，在去噪过程中通过所述条件特征增强模块补充遥感图像高频细节并通过所述噪声预测网络模型优化去噪过程，得到超分辨率遥感图像。

6、具体的，所述遥感训练数据集包括多组高分辨率遥感图像和相应的低分辨率遥感图像成对数据；所述超分辨率网络模型的训练过程包括：

7、通过所述扩散模型对高分辨率遥感图像添加高斯噪声以实现前向扩散，得到多个对应不同时间步的参考噪声图像；

8、以前向扩散过程生成的最后一个参考噪声图像作为输入噪声图像，并通过卷积操作，提取到输入噪声图像的初始浅特征的第一特征图；

9、将低分辨率遥感图像和纯噪声输入至所述条件特征增强模块，得到富含遥感图像高频细节的第二特征图；

10、融合第一特征图和所述第二特征图，得到第三特征图并输入至所述噪声预测网络模型进行噪声预测，预测出当前时间步所加的预测噪声；

11、将当前时间步的输入噪声图像减去当前时间步所加的预测噪声，得到上一个时间步长的预测噪声图像，并将预测噪声图像与同一时间步的参考噪声图像进行比对反馈以更新扩散模型的反向扩散；

12、以上一个时间步长的预测噪声图像作为新的，并跳转至通过卷积操作，得到提取到输入噪声图像的初始浅特征的第一特征图的步骤；直至扩散模型在反向扩散生成的时间步长为0的图像与所述高分辨率遥感图像的相似度满足预设条件。

13、具体的，所述扩散模型的前向扩散的执行步骤包括：对高分辨率遥感图像逐步添加高斯噪声直至完全变成高斯噪声图像；

14、所述扩散模型的前向扩散的执行步骤包括：对高斯噪声图像不断去除噪声，直至恢复到原来的高分辨率图像；

15、其中，所述扩散模型的前向扩散过程表示为：

16、

17、式中：和均是随时间t变化的参数，分别控制均值回归和随机波动的速度，u表示经双三次插值上采样后的低分辨率图像，x表示当前状态的图像，w表示标准维纳过程；

18、所述扩散模型的反向扩散过程表示为：

19、

20、式中：表示推理阶段的ground-truth分数，表示逆时维纳过程。

21、具体的，所述条件特征增强模块由连接层、卷积层、relu函数模块、多通道特征融合注意力模块和上采样模块组成；所述将低分辨率遥感图像和纯噪声输入至所述条件特征增强模块，得到富含遥感图像高频细节的第二特征图的步骤，包括：

22、通过连接层将低分辨率遥感图像和纯噪声进行连接，连接后的图像经过卷积层进行3x3卷积操作和relu函数模块进行浅特征提取和激活处理，提取到初级特征的初级特征图；

23、通过n个多通道特征融合注意力模块对初级特征图进行深层高频特征提取，得到富含高频细节的次级特征图；其中，n为正整数；

24、将所述初级特征和所述次级特征图进行残差运算，将残差运算结果进行3x3卷积操作和最近邻插值法上采样将特征图上采样操作，得到富含遥感图像高频细节的第二特征图。

25、具体的，所述多通道特征融合注意力模块由卷积层、连续残差卷积块和高频通道注意力块组成；所述多通道特征融合注意力模块的运算步骤，包括：

26、通过卷积层将输入进行1x1卷积操作，并划分成4个16维通道的特征图；

27、采用49到64维通道的特征图进行连续残差卷积操作，生成新的16维通道的特征图；将新的16维通道的特征图与最初的33到48维通道的特征图进行连续残差卷积操作，生成新的32维通道的特征图；将新的32维通道的特征图与最初的17到32维通道的特征图进行连续残差卷积操作，生成新的48维通道的特征图；将新的48维通道的特征图与最初的1到16维通道的特征图进行1x1的卷积操作，生成新的64维通道的特征图；

28、通过高频通道注意力块对新的64维通道的特征图进行池化处理，并将经过高频通道注意力块的特征图与初级特征图进行残差运算，得到含有高频细节的64维通道的特征图。

29、具体的，所述噪声预测网络模型由编码器、中间层和解码器组成；所述融合第一特征图和所述第二特征图，得到第三特征图并输入至所述噪声预测网络模型进行噪声预测，预测出当前时间步所加的预测噪声的步骤，包括：

30、将第一特征图和所述第二特征图进行相加操作，得到融合后的第三特征图；

31、将所述第三特征图输入所述噪声预测网络模型中，依次经过多个编码器、中间层和多个解码器；在编码过程中，依次经过四次的编码器运算和步长为2的2×2卷积层的下采样操作；在解码过程中，依次经过四次的解码器运算、步长为1的3×3的卷积层和最近邻插值法2倍上采样操作。

32、具体的，所述编码器、中间层和解码器均由多尺度噪声提取预测模块组成；所述多尺度噪声提取预测模块的运算过程包括：

33、将输入依次经过层标准化操作、第一1x1卷积操作、三种不同感受野的膨胀卷积运算、简单门操作、简单通道注意力运算、1x1卷积操作、层标准化操作、第二1x1卷积操作、简单门操作和第三1x1卷积操作；其中，由当前时间步长经过多层感知机生成的参数来调整所述第一1x1卷积操作和所述第三1x1卷积操作的输入。

34、本发明第二方面提供了一种基于扩散模型的遥感图像超分辨率重建系统，包括：

35、获取模块，用于获取原始遥感图像和遥感训练数据集；

36、超分辨率网络模型训练模块，用于构建超分辨率网络模型，并通过所述遥感训练数据集训练超分辨率网络模型，得到训练完成的超分辨率网络模型；其中，超分辨率网络模型由扩散模型、条件特征增强模块和噪声预测网络模型组成；

37、超分辨率遥感图像生成模块，用于将所述原始遥感图像输入至训练完成的超分辨率网络模型中，通过所述扩散模型对所述原始遥感图像进行反向扩散以实现去噪，在去噪过程中通过所述条件特征增强模块补充遥感图像高频细节并通过所述噪声预测网络模型优化去噪过程，得到超分辨率遥感图像。

38、本发明第三方面提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一所述的基于扩散模型的遥感图像超分辨率重建方法的步骤。

39、本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上任一所述的基于扩散模型的遥感图像超分辨率重建方法的步骤。

40、从以上技术方案可以看出，本发明具有以下优点：

41、本发明提供了一种基于扩散模型的遥感图像超分辨率重建方法及系统，其中方法包括：获取原始遥感图像和遥感训练数据集；构建超分辨率网络模型，并通过遥感训练数据集训练超分辨率网络模型，得到训练完成的超分辨率网络模型；其中，超分辨率网络模型由扩散模型、条件特征增强模块和噪声预测网络模型组成；将原始遥感图像输入至训练完成的超分辨率网络模型中，通过扩散模型对原始遥感图像进行反向扩散以实现去噪，在去噪过程中通过条件特征增强模块补充遥感图像高频细节并通过噪声预测网络模型优化去噪过程，得到超分辨率遥感图像。

42、在本发明中，借助扩散模型实现更稳定的训练效果，且通过条件特征增强模块有效提取遥感图像高频细节，使扩散模型的去噪过程中更多高频细节被恢复补充，通过噪声预测网络模型高效地预测和去除噪声，从而优化去噪过程。采用本方法能生成更高质量的超分辨率遥感图像，从而提高遥感图像重建后的视觉效果，解决了现有超分辨率方法难以生成更高质量的超分辨率遥感图像，导致遥感图像的视觉效果较差的技术问题。