基于先验扩散模型的遥感图像超分辨率重建方法及系统

本技术涉及图像处理，尤其是涉及一种基于先验扩散模型的遥感图像超分辨率重建方法及系统。

背景技术：

1、目前，在遥感图像超分辨率重建中，基于扩散模型的方法通过逐步推断高分辨率图像，这些方法在细节保留和全局一致性方面都有显著提升，扩散模型的引入为解决遥感图像超分辨率重建问题提供了新的思路，特别是在灾后影像的重建中，能够提升建筑物细节的还原程度，为后续灾害评估提供精准的数据支持。

2、然而，当前的超分辨率重建技术面临两大挑战，首先，遥感图像中常包含大量小目标，特别是在灾后评估场景中，如倒塌的建筑碎片和地面裂缝等，这些小目标具有低像素密度、聚集分布、被遮挡以及尺度多样化的特征，导致高精度重建尤为困难。现有方法对小目标的高频细节建模能力有限，难以有效恢复这些精细特征，而这些细节对于判断建筑损坏程度和制定维修计划至关重要。

3、其次，扩散模型的去噪过程通常基于unet架构，unet中编码器与解码器的信息传递通常采用直接通道拼接的方式，容易在语义信息传递过程中出现不匹配，导致语义差距问题。特别是在灾后复杂场景的重建中，如高层建筑与周边残骸的评估，这种信息不匹配可能引入重建的模糊和失真。此外，unet在下采样过程中通常采用步长卷积，导致特征信息的损失，尤其是高频细节的丢失，限制了重建结果在细节还原方面的表现。这对灾后城市基础设施的精细评估有直接影响，细节的缺失可能导致对损坏程度的错误判断。

4、因此，亟待需要设计一种更加精细化的重建方法，提升遥感图像超分辨率重建的性能，特别是针对自然灾害后复杂场景下的基础设施损坏评估。

技术实现思路

1、本技术旨在解决上述提出的现有技术中存在的至少一个问题，基于此，提出一种基于先验扩散模型的遥感图像超分辨率重建方法。

2、第一方面，本技术提供一种基于先验扩散模型的遥感图像超分辨率重建方法，包括：

3、获取低分辨率图像和高分辨率图像，对所述低分辨率图像进行浅层特征信息提取，得到浅层特征图；

4、对所述浅层特征图和所述高分辨率图像分别进行多尺度下采样及卷积融合处理，得到所述浅层特征图对应的第一多尺度特征图及所述高分辨率图像对应的第二多尺度特征图；

5、对所述第一多尺度特征图和所述第二多尺度特征图分别进行快速傅里叶变换得到第一频谱特征图和第二频谱特征图，以及分别对所述第一频谱特征图和所述第二频谱特征图进行高频信息的提取、并对所述高频信息进行自适应高频增强处理，得到第一高频特征图和第二高频特征图；

6、根据所述第一高频特征图和所述第二高频特征图的频谱幅值及相位信息搭建第一损失函数，基于所述第一损失函数，确定包括图像重建结果的条件信息；

7、对所述高分辨率图像进行正向扩散处理,得到加噪后的终态图像，搭建噪声预测的初始网络模型，并基于所述终态图像以及所述条件信息对所述初始网络模型进行训练得到噪声预测的目标网络模型；

8、对所述终态图像进行反向扩散处理以得到重建高分辨率图像，其中，在反向扩散处理过程中基于所述目标网络模型得到每一次图像迭代的噪声估计值，所述噪声估计值用于引导反向扩散过程的噪声处理以得到高分辨率的图像。

9、在一些实施方式中，所述获取低分辨率图像和高分辨率图像，对所述低分辨率图像进行浅层特征信息提取，得到浅层特征图，包括：

10、对所述低分辨率图像进行直接特征提取得到目标特征图、以及残差特征提取得到目标残差特征，将所述目标特征图与所述目标残差特征进行残差连接，得到所述浅层特征图。

11、在一些实施方式中，所述对所述低分辨率图像进行直接特征提取得到目标特征图、以及残差特征提取得到目标残差特征，将所述目标特征图与所述目标残差特征进行残差连接，得到所述浅层特征图中，所述直接特征提取包括：

12、对所述低分辨率图像提取初始特征，得到初始特征图；

13、基于激活函数对所述初始特征图进行非线性变换，以及对非线性变换后的所述初始特征图进行卷积操作得到第一路特征图及第二路特征图；

14、对所述第一路特征图分别进行第一分支处理以及第二分支处理，其中，所述第一分支处理包括对所述第一路特征图进行深度卷积和逐点卷积提取空间和通道信息得到输出特征图；所述第二分支处理包括对第一路特征图进行特征压缩与维度匹配生成注意力权重；

15、基于所述注意力权重对所述输出特征图进行加权处理生成加权特征图；

16、对所述第二路特征图进行深度可分离卷积操作提取第一特征信息，将所述第一特征信息与所述加权特征图进行通道融合以及卷积操作，得到第二特征信息；

17、将所述第二特征信息与所述初始特征图进行全局残差融合生成目标特征图。

18、在一些实施方式中，所述对所述低分辨率图像进行直接特征提取得到目标特征图、以及残差特征提取得到目标残差特征，将所述目标特征图与所述目标残差特征进行残差连接，得到所述浅层特征图，所述残差特征提取包括：

19、对所述低分辨率图像进行深度可分离卷积操作提取初始残差特征，以及对所述初始残差特征进行像素重排得到上采样特征，并对所述上采样特征进行卷积操作得到目标残差特征。

20、在一些实施方式中，所述根据所述第一高频特征图和所述第二高频特征图的频谱幅值及相位信息搭建第一损失函数，基于所述第一损失函数，确定包括图像重建结果的条件信息，包括：

21、搭建度量重建图像与真实图像在高频区域中差异的幅值损失函数，其中，所述幅值损失函数表达式为：

22、

23、式中，、和分别表示频谱图的高、宽和通道数，、和分别表示频谱数据在水平频率维度、垂直频率维度和通道上的索引位置，|∙|表示频谱幅值的计算，表示第一高频特征图，表示第二高频特征图，是频谱特征在第个通道、位置为的复数；

24、搭建度量重建图像与真实图像在高频结构上的差异的相位损失函数，其中，所述相位损失函数表达式为：

25、；

26、式中，表示频谱相位的计算；

27、根据所述幅值损失函数及所述相位损失函数，得到第一损失函数，所述第一损失函数表达式为：

28、

29、式中，和表示权重超参数，表示幅值损失函数，表示相位损失函数。

30、在一些实施方式中，所述对所述终态图像进行反向扩散处理以得到重建高分辨率图像，其中，在反向扩散处理过程中基于所述目标网络模型得到每一次图像迭代的噪声估计值，所述噪声估计值用于引导反向扩散过程的噪声处理以得到高分辨率的图像，包括：

31、向所述目标网络模型输入所述终态图像以及所述条件信息，得到在不同时间步长下的噪声估计值；

32、搭建所述目标网络模型对应的第二损失函数，基于所述第二损失函数判断所述噪声估计值与真实噪声值的差异，其中，所述第二损失函数表达式为：

33、

34、式中，表示噪声预测网络的参数，表示对时间步长、加噪图像和真实噪声的期望值，表示网络对噪声的估计函数，表示条件信息，表示二范数的平方。

35、在一些实施方式中，所述对所述终态图像进行反向扩散处理以得到重建高分辨率图像，其中，在反向扩散处理过程中基于所述目标网络模型得到每一次图像迭代的噪声估计值，所述噪声估计值用于引导反向扩散过程的噪声处理以得到高分辨率的图像，还包括：

36、基于逐步迭代反向扩散过程不断更新图像状态，反向扩散过程的离散化形式为：

37、

38、式中，表示未迭代完全随机噪声图像，表示离散时间步长，表示为标准高斯噪声，表示与时间步长相关的系数，表示均值，表示与时间步长相关的系数，为条件概率密度的梯度，由所述噪声预测网络的输出计算得到。

39、与现有技术相比较，本技术第一方面提供的技术方案至少包括以下有益效果或优点：

40、上述基于先验扩散模型的遥感图像超分辨率重建方法中，通过对低分辨率图像进行浅层特征信息提取得到浅层特征图，将浅层特征图与高分辨率图像进行多尺度下采样及卷积融合处理，并对处理后的特征图进行高频信息的提取以及自适应高频增强处理，得到用于输入扩散模型去噪网络的先验条件信息，通过在扩散模型的去噪过程中，对作为条件信息输入的低分辨率图像进行高频信息的深度挖掘，使低分辨率图像中的高频信息逐步逼近高分辨率图像，从而提升重建精度；

41、此外，通过在反向扩散过程中引入噪声预测网络模型，噪声预测网络能够有效地学习反向扩散过程中所需的噪声估计，从而指导模型逐步去除噪声，精确重建高分辨率图像，以及，通过交叉注意力模块数据处理，优化编码器与解码器之间的特征信息传递和细节还原能力，有效缓解了二者在语义信息传递过程中的不匹配问题，通过使用像素重采样卷积模块替代扩散模型去噪网络中的步长卷积，减少细粒度特征信息的损失，从而进一步提升超分辨率重建的细节还原能力，提高了自然灾害遥感图像超分辨率重建的精度。

42、第二方面，本技术提供一种基于先验扩散模型的遥感图像超分辨率重建系统，包括：

43、特征提取模块，被配置为获取低分辨率图像和高分辨率图像，对所述低分辨率图像进行浅层特征信息提取，得到浅层特征图；

44、下采样卷积模块，被配置为对所述浅层特征图和所述高分辨率图像分别进行多尺度下采样及卷积融合处理，得到所述浅层特征图对应的第一多尺度特征图及所述高分辨率图像对应的第二多尺度特征图；

45、高频信息处理模块，被配置为对所述第一多尺度特征图和所述第二多尺度特征图分别进行快速傅里叶变换得到第一频谱特征图和第二频谱特征图，以及分别对所述第一频谱特征图和所述第二频谱特征图进行高频信息的提取、并对所述高频信息进行自适应高频增强处理，得到第一高频特征图和第二高频特征图；

46、损失函数搭建模块，被配置为根据所述第一高频特征图和所述第二高频特征图的频谱幅值及相位信息搭建第一损失函数，基于所述第一损失函数，确定包括图像重建结果的条件信息；

47、正向扩散模块，被配置为对所述高分辨率图像进行正向扩散处理,得到加噪后的终态图像，

48、网络模型搭建模块，被配置为搭建噪声预测的初始网络模型，并基于所述终态图像以及所述条件信息对所述初始网络模型进行训练得到噪声预测的目标网络模型；

49、反向扩散模块，被配置为对所述终态图像进行反向扩散处理以得到重建高分辨率图像，其中，在反向扩散处理过程中基于所述目标网络模型得到每一次图像迭代的噪声估计值，所述噪声估计值用于引导反向扩散过程的噪声处理以得到高分辨率的图像。

50、第三方面，本技术还提供一种电子设备，包括：

51、至少一个处理器；以及

52、与所述至少一个处理器通信连接的存储器；其中，

53、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面提供的所述一种基于先验扩散模型的遥感图像超分辨率重建方法的步骤。

54、第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面提供的所述一种基于先验扩散模型的遥感图像超分辨率重建方法的步骤。

55、可以理解的是，上述第二方面、第三方面和第四方面提供技术方案的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

56、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。