基于扩散模型的风云四号卫星图像超分辨率重建方法

本发明属于计算机视觉中的卫星图像超分辨率领域，具体涉及基于扩散模型的风云四号卫星图像超分辨率重建方法。

背景技术：

1、基于插值的方法是超分辨率领域的经典方法，通过在现有像素之间插入新的像素来实现图像分辨率的提升。常见的插值算法包括双线性插值、双三次插值和样条插值等。双线性插值综合考虑临近四个像素的值，利用相邻像素的线性加权平均值生成新像素，计算简单且速度较快，但细节和纹理损失较多；双三次插值则考虑了更大范围的像素，并使用三次多项式进行插值，能产生更平滑、更自然的图像效果，但仍存在边缘模糊和伪影；样条插值基于样条函数的平滑性，进一步提升图像质量。这些基于插值的方法由于计算效率高、实现简单，在许多实际应用中广泛使用，但其生成的图像细节往往不如基于学习的方法丰富。

2、基于重建的方法旨在从低分辨率图像中重建出高分辨率图像，强调细节和纹理的恢复。这类方法通过结合图像退化模型和先验知识，利用多帧图像信息或通过优化过程，恢复出具有更高分辨率的图像。典型的重建方法包括基于正则化的超分辨率（如稀疏表示和总变分正则化）和基于字典学习的方法。这些方法通过解决逆问题，迭代地重建出高分辨率图像，相较于插值方法，能更好地恢复图像的边缘和细节，减少模糊和伪影。但其计算复杂度较高，对算法设计和先验模型的依赖性也更强。

3、srcnn（super-resolution convolutional neural network）是一种用于图像超分辨率的深度学习模型。该网络通过端到端的训练，从低分辨率图像中恢复出高分辨率图像。srcnn由三层卷积层组成：第一个卷积层用于特征提取，第二个卷积层用于非线性映射，第三个卷积层用于重建高分辨率图像。与传统方法相比，srcnn具有更高的恢复质量和更快的处理速度，广泛应用于图像增强、医疗成像、卫星图像处理等领域。其简单高效的架构使其成为图像超分辨率任务中的一个基准模型。

4、espcn（efficient sub-pixel convolutional neural network）是一种用于图像超分辨率的深度学习模型，其特点是通过亚像素卷积层（sub-pixel convolution layer）实现高效的上采样。与传统的插值方法不同，espcn在低分辨率图像上进行卷积操作，并在最后一层通过亚像素卷积将低分辨率特征图直接转换为高分辨率图像。这种方法不仅提高了计算效率，还减少了内存消耗，同时实现了高质量的图像重建。espcn在超分辨率任务中表现优异，广泛应用于视频处理、监控成像、卫星图像增强等领域。

5、srgan（super-resolution generative adversarial network）是一种基于生成对抗网络（gan）的图像超分辨率模型。它通过生成器和判别器的对抗训练，从低分辨率图像生成高分辨率图像。生成器负责从低分辨率图像生成逼真的高分辨率图像，而判别器则评估图像的真实性，促使生成器生成更高质量的图像。srgan的创新之处在于引入了感知损失（perceptual loss），通过对比生成图像与高分辨率真实图像在预训练卷积神经网络中的特征差异，提升了图像的细节和视觉效果。srgan在图像增强、医疗成像、卫星图像处理等领域表现出色。

6、以上三类超分辨率算法在对卫星图像进行超分辨率处理时都一定缺陷，基于插值的方法重建后的图像存在明显的边缘模糊和细节缺失，放大因子越大，效果越差。基于重建的方法效果好但计算复杂度高，速度慢，对数据规模和硬件要求高。基于学习的方法尽管效果提升显著，但大多数高效的重建方法计算复杂度高，依赖大量高质量训练数据，且对硬件要求高，尤其是需要高性能的gpu或专用硬件支持，模型训练难度大，其中生成对抗网络（gan）等复杂模型在训练过程中容易出现不稳定现象，导致重建效果不一致。

7、另外，风云四号气象卫星在通道6、7上缺少1km的图像，在可见光通道1km的数据中采集的图像时间间隔为1小时，缺少用于精准预测的气象数据。

技术实现思路

1、由于风云四号气象卫星在通道6、7上缺少1km的图像，在可见光通道1km的数据中采集的图像时间间隔为1小时，缺少用于精准预测的气象数据，并且针对卫星图像超分辨率现有技术的缺陷，本发明的目的在于提出一种基于扩散模型的风云四号卫星图像超分辨率重建方法，以提高图像细节和清晰度，降低计算复杂度，从而提高模型的处理速度以及稳定性和鲁棒性。

2、本基于扩散模型的风云四号卫星图像超分辨率重建方法解决其技术问题所采用的技术方案为：

3、提供了基于扩散模型的风云四号卫星图像超分辨率重建方法，包括：

4、对卫星图像进行预处理；

5、构建包含一个gcu-unet网络和一个sisr diff扩散模型的ssisr-dm预测-去噪架构；

6、ssisr-dm的整体框架包含潜状态生成阶段和反向扩散阶段两个阶段：

7、第一阶段基于的是一个加入注意力机制的u-net网络，目的是得到hr图像扩散过程中的中间隐状态，同时加入一个几何校正上采样模块，用以解决地球曲率和卫星传感器引起的几何畸变问题并快速提升卫星图像的分辨率；

8、第二阶段则基于去噪扩散概率模型，使用提前训练好的u-net网络，通过反向扩散过程从第一阶段生成的中间隐状态中获得hr图像。

9、进一步的，所述的gcu-unet网络是在unet网络的基础上加入了一个gcu几何校正上采样模块，其结构借鉴亚像素卷积层的理念，通过复制和卷积低分辨率图像得到高分辨率图像。

10、进一步的，具体的，所述的gcu几何校正上采样模块通过将lr图像复制五份分别进行卷积，然后重构并填充四个边缘和中心像素点，即可得到由单个像素点特征得来的4x4的像素块。

11、进一步的，所述的sisr diff扩散模型是在ddpm的基础上引入部分去噪概念得到，其中unet网络是用于预测扩散步骤前一步与后一步的差值，即噪声。

12、进一步的，所述的sisr diff扩散模型中噪声曲线的设计选择呈二次函数增长的噪声系数。

13、与现有技术相比，本发明的有益效果为：

14、1、本发明示例的基于扩散模型的风云四号卫星图像超分辨率重建方法，本研究是将sr任务分摊成两部分，既发挥了前一部分在预测图像在整体特征和速度上的优势，又发挥了扩散模型生成细节的多样性和对噪声的鲁棒性，从而降低了训练难度，提升了综合效率。

15、2、本发明示例的基于扩散模型的风云四号卫星图像超分辨率重建方法，通过gcu-unet网络，解决了由地球曲率和传感器姿态变化引起的几何畸变问题，确保了重建图像的准确性和细节还原能力，与espcn相比，这一部分的目标是高分辨率噪声而非直接的hr图像，因而只需保留lr图像的有效性息并得到近似结果即可。

16、3、本发明示例的基于扩散模型的风云四号卫星图像超分辨率重建方法，上采样后hr图像相应位置的像素点特征与对应lr图像该像素点及其周围高度相关，因此通过划分各组卷积核感受野的范围并加以区分，使其能够负责生成固定位置的像素点。与espcn中的亚像素卷积层相比，进一步降低了参数量，保留了尽可能多的lr图片特征。

17、4、本发明示例的基于扩散模型的风云四号卫星图像超分辨率重建方法，通过sisrdiff扩散模型，减少了去噪步骤，显著降低了计算复杂度。

18、5、本发明示例的基于扩散模型的风云四号卫星图像超分辨率重建方法，二次函数相对于平方根函数的测试集误差比更低，有效抑制了过拟合的现象。

19、