用于遥感图像盲去模糊的深度网络模型、方法、装置、设备及介质

本发明涉及遥感图像处理，更具体地，涉及一种用于遥感图像盲去模糊的深度网络模型、方法、装置、设备及介质。

背景技术：

1、遥感图像是通过现代航天器和光学、电子传感器对远程对象进行非接触式传感而获得的特殊类别的图像，其包含了某一区域位置特定地理环境信息。相比通常的rgb三通道图像，遥感光学图像通常具有更多的通道数量和丰富的波段信息，可分为多光谱和高光谱两种类型，广泛应用于农林监测、环境监测等领域。

2、遥感图像的获取途径决定了其容易受到多种干扰，包括来自大气扰动、成像传感器失焦、成像平台抖动等因素导致的图像质量退化。主要的干扰因素包括模糊，可能由大气扰动、传感器不稳定等多种成因导致。为了恢复退化的遥感图像，需要进行去模糊处理。去模糊过程通常通过建立退化模型来描述图像的退化过程，其中使用点扩散函数来描述模糊核，该核通常被视为一个低通滤波器。盲去模糊指在模糊核未知的情况下进行的去模糊任务，由于在实际场景中模糊核往往是未知且难以预测，因此盲去模糊方法的研究尤为关键。无论是传统的优化方法还是基于神经网络、深度学习等新型方法，盲去模糊都面临挑战。

技术实现思路

1、有鉴于此，本发明提供了一种用于遥感图像盲去模糊的深度网络模型、方法、装置、设备及介质，用于至少部分解决上述技术问题。

2、本发明的一个方面提供了一种用于遥感图像盲去模糊的深度网络模型，包括：n条并行的遥感图像盲去模糊处理的支路，n条支路中的不同支路分别输入同一遥感图像对应的不同尺度的待处理图像，分别输出不同尺度的待处理图像对应的盲去模糊处理结果，n为大于等于2的整数；每条支路包括依次串接的编码器和解码器，第n-1条支路的编码器的输出连接至第n条支路的编码器的输入，第n条支路的解码器的输出连接至第n-1条支路的解码器的输入，第1条至第n-1条支路的编码器和解码器之间还设置有不对称特征融合模块；其中，编码器包括频域残差模块，频域残差模块用于将待处理图像在空间域的特征转换为频域后，通过卷积进行低频特征和高频特征的学习以及学习高频差异；不对称特征融合模块用于将不同尺度的待处理图像对应的编码结果进行融合，得到融合特征；解码器用于将融合特征从高层级特征逐层转化为对应尺度的输出。

3、根据本发明的实施例，第1条支路的待处理图像为原始遥感图像，从第2条至第n条支路的待处理图像为对原始遥感图像降采样得到的图像，其中，从第2条至第n条支路对应的降采样的倍数依次递增。

4、根据本发明的实施例，第1条支路的编码器包括编码模块，编码模块包括依次连接的卷积层和至少一个频域残差模块；第2条至第n条支路的编码器包括依次连接的浅卷积模块和编码模块，编码模块包括依次连接的卷积层、特征注意力模块和至少一个频域残差模块；其中，浅卷积模块用于提取降采样得到的图像中的空间特征、通道特征，特征注意力模块用于将前一条支路的编码模块的输出和当前支路的浅卷积模块的输出作为输入，对前一条支路的编码模块的输出中的特征有选择性地进行放大或抑制；每条支路的解码器包括均包括有依次连接的至少一个频域残差模块和一个转置卷积模块，每条支路的解码器的结构不完全相同。

5、根据本发明的实施例，频域残差模块包括第一残差连接分支和第二残差连接分支；第一残差连接分支包括依次连接的二维快速傅里叶变换模块、3×3的卷积层、非线性激活函数、3×3的卷积层、二维快速傅里叶逆变换模块，用于将待处理图像在空间域的特征转换为频域后，通过进行卷积低频特征和高频特征的学习；第二残差连接分支包括依次连接的3×3的卷积层、非线性激活函数、3×3的卷积层，用于学习高频差异；频域残差模块的输出为第一残差连接分支的输出、第二残差连接分支的输出以及输入的加权结果。

6、根据本发明的实施例，每一条支路均设置成输入和输出的跳跃连接，用于实现待处理图像包含的特征在不同层级之间的跳跃传递；每一条支路的编码器的输出还设置有卷积层，用于将编码器的输出的多通道特征转化回原始遥感图像的通道空间。

7、根据本发明的实施例，训练深度网络模型的损失函数包括：像素损失，用于衡量复原后的图像与原始遥感图像之间的误差；边缘损失，用于衡量梯度误差；频域损失，用于衡量待处理图像通过傅里叶变换变换到频域之后与变换之前的图像误差；其中，不同尺度对应的支路采用对应的损失函数。

8、本发明的另一个方面提供了一种用于遥感图像盲去模糊的方法，包括：对原始遥感图像进行不同倍数的降采样，得到不同尺度的待处理图像；将不同尺度的待处理图像输入深度网络模型中对应的支路进行盲去模糊处理，得到不同尺度的待处理图像分别对应的结果图像；其中，深度网络模型采用上述用于遥感图像盲去模糊的深度网络模型。

9、本发明的另一个方面提供了一种用于遥感图像的盲去模糊的装置，包括：降采样模块，用于对原始遥感图像进行不同倍数的降采样，得到不同尺度的待处理图像；处理模块，用于利用深度网络模型对不同尺度的待处理图像进行盲去模糊处理，得到不同尺度的待处理图像分别对应的结果图像；其中，深度网络模型采用上述用于遥感图像盲去模糊的深度网络模型。

10、本发明的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

11、本发明的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

12、本发明的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

技术特征：

1.一种用于遥感图像盲去模糊的深度网络模型，其特征在于，包括：

2.根据权利要求1所述的深度网络模型，其特征在于，第1条支路的待处理图像为原始遥感图像，从第2条至第n条支路的待处理图像为对原始遥感图像降采样得到的图像，其中，从第2条至第n条支路对应的降采样的倍数依次递增。

3.根据权利要求1或2所述的深度网络模型，其特征在于，第1条支路的编码器包括编码模块，所述编码模块包括依次连接的卷积层和至少一个频域残差模块；

4.根据权利要求1或2所述的深度网络模型，其特征在于，所述频域残差模块包括第一残差连接分支和第二残差连接分支；

5.根据权利要求1或2所述的深度网络模型，其特征在于，每一条支路均设置成输入和输出的跳跃连接，用于实现所述待处理图像包含的特征在不同层级之间的跳跃传递；

6.根据权利要求1或2所述的深度网络模型，其特征在于，训练所述深度网络模型的损失函数包括：

7.一种用于遥感图像盲去模糊的方法，其特征在于，包括：

8.一种用于遥感图像的盲去模糊的装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求7所述的方法。

技术总结本发明提供一种用于遥感图像盲去模糊的深度网络模型、方法、装置、设备及介质，包括：n条并行的遥感图像盲去模糊处理的支路，不同支路分别输入同一遥感图像对应的不同尺度的待处理图像，分别输出处理结果；每条支路包括编码器和解码器，第n‑1条支路的编码器的输出连接至第n条支路的编码器的输入，第n条支路的解码器的输出连接至第n‑1条支路的解码器的输入，第1条至第n‑1条支路的编码器和解码器之间还设置不对称特征融合模块，用于将不同尺度的待处理图像对应的编码结果进行融合；编码器包括频域残差模块，用于将待处理图像在空间域的特征转换为频域后，学习低频和高频特征；解码器用于将融合特征从高层级特征逐层转化为对应尺度的输出。技术研发人员：张问一,廖庄天予,初庆伟,李光祚,胡玉新,胡硕,张健德,代祥雨,尹肖贻,丁昊受保护的技术使用者：中国科学院空天信息创新研究院技术研发日：技术公布日：2024/8/1