一种全色锐化方法、存储介质、设备

本发明涉及图像融合，尤其涉及一种全色锐化方法、存储介质、设备。

背景技术：

1、多源遥感在精准农业、资源调查、环境监测、军事和国防等重要领域发挥着越来越重要的作用。世界各国已经发射了许多遥感卫星，如快鸟、世界观、高分1号和高分2号。它们配备了不同的光学遥感传感器来收集遥感图像。然而，由于卫星有效载荷、成本和带宽的限制，现有的卫星传感器不能直接提供包含高空间分辨率和高光谱分辨率的高空间分辨率多光谱(hrms)图像。

2、全色锐化是解决这一问题的经典图像融合技术，它本质上利用了全色(pan)和多光谱(ms)图像之间的信息互补性。该技术结合了空间信息和光谱信息，获得了理想的高分辨率图像。传统的方法包括brovey、hpf、mtf-glp等。它们应用广泛，效率高，但有其固有的局限性：(1)不能充分表达这两个领域之间潜在的复杂关系；(2)容易发生光谱或空间畸变。

3、传统的基于深度学习的方法可分为有监督方法和无监督方法。监督方法包括pannet、red-cgan和psgan。由于缺乏理想的地面真实图像，这些方法使基于wald协议的模拟训练数据集形成一个监督设置。缩小规模的融合结果和完全缩放的原始图像之间存在差距。2020年，ma提出了一个基于生成对抗网络的无监督泛锐化框架。之后，pgman引入了qnr损失，获得了相对理想的融合图像。无监督的方法可以直接从全缩放的原始图像中学习，而不进行任何预处理，使它们更加实用。现有的无监督深度学习方法已经达到了一些目标，但仍有一些局限性：隐式学习对空间光谱信息造成损害，空谱信息联合保留困难。大多数无监督范式中的泛锐化方法使用输入图像进行潜在的特征学习，这不可避免地会导致空间频谱信息的丢失，高频特征表达能力受限的问题。

技术实现思路

1、本发明的目的在于：为了解决现有的全色锐化方法存在的空谱信息联合保留困难、高频特征表达能力受限的问题，提出一种全色锐化方法，包括以下步骤：

2、s1、获取pan和ms图像，将ms图像与pan图像尺寸匹配，得到匹配后的pan和ms图像；

3、s2、构建生成器网络，生成器网络包括编码器、特征分离器、图结构、解码器，将匹配后的pan和ms图像输入编码器进行特征编码，得到高维特征；高维特征输入特征分离器分别提取空间和通道两个维度的特征，得到解耦的高维空间特征和高维通道特征；将解耦的高维空间特征和高维通道特征输入图结构进行特征关系提取与传播，得到空间和通道两个维度的特征表示；解码器对空间和通道两个维度的特征表示进行解码恢复，得到图像g(i)；

4、s3、图像g(i)经过平均池化算子压缩为图像gpan，g(i)经过下采样算子得到图像gms，图像gpan通过高频提取算子得到图像图像gms通过低频提取算子得到图像匹配后的pan图像通过高频提取算子得到图像panhigh，匹配后的ms图像通过低频提取算子得到图像mslow；

5、s4、构建判别器网络，判别器网络由一个空间判别器和一个光谱判别器组成，将图像gms和图像匹配后的ms图像和图像mslow输入光谱判别器，将图像gpan和图像匹配后的pan图像和图像panhigh输入空间判别器；

6、s5、生成器网络和判别器网络在对抗学习的过程中优化生成器网络的输出，得到高空间分辨率和高光谱分辨率的图像。

7、进一步地，将ms图像与pan图像尺寸匹配具体为：

8、将ms图像与pan图像进行裁剪，将裁剪后的ms图像进行上采样操作，与pan图像进行尺寸匹配。

9、进一步地，

10、编码器解码器基于u-net结构实现；

11、高维特征分别通过逐点卷积和深度卷积得到解耦的高维空间特征和高维通道特征；

12、进一步地，使用sobel算子和图卷积构建图结构，sobel算子(sx,sy)从x、y两个方向对解耦的高维空间特征和高维通道特征进行边缘提取，构建图结构的邻接矩阵：

13、

14、其中，sx为x方向的sobel算子，fs表示高维空间特征，sy为y方向的sobel算子，is和ic都是单位矩阵，代表节点的自连接；ξ表示通道维度的下采样操作，fc表示高维通道特征，表示空间特征图的邻接矩阵，表示通道特征图的邻接矩阵；

15、空间和通道两个维度特征表示如下：

16、

17、

18、其中，表示经过图结构关系聚合后第l+1层输出的空间维度特征表示，η表示非线性激活函数，表示空间维度的度矩阵，表示图结构第l层空间维度的特征，表示图结构第l层训练过程中空间维度变化的权重矩阵，表示经过图结构关系聚合后第l+1层输出的通道维度特征表示，表示通道维度的度矩阵，(fc)(l)表示图结构第l层通道维度的特征，表示图结构第l层训练过程中通道维度变化的权重矩阵。

19、进一步地，判别器网络损失函数如下：

20、

21、其中，代表光谱判别器的损失，代表空间判别器的损失，gp是梯度惩罚项，表示通道连接操作，n表示样本数量，dl和dh分别是两个判别器网络的输出，μ表示梯度惩罚项的权重因子，(gms)(n)表示第n个gms图像样本，表示第n个图像样本，(ms)(n)表示第n个ms图像样本，(mslow)(n)表示第n个mslow图像样本，(gpan)(n)表示第n个gpan图像样本，表示第n个图像样本，(pan)(n)表示第n个pan图像样本，(panhigh)(n)表示第n个panhigh图像样本。

22、进一步地，生成器网络损失函数如下：

23、

24、其中，lg表示生成器网络损失，α和β均表示权重因子，lq表示基于无参考图像质量指标qnr设计的一个损失。

25、本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的全色锐化方法。

26、本发明还提出一种电子设备，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行上述的全色锐化方法。

27、本发明提供的技术方案带来的有益效果是：

28、本发明提出全色锐化方法，构建一个生成器网络和两个判别器网络，判别器网络包含一个高频增强的空间判别器，以及和一个低频增强的光谱判别器。空间判别器辅助生成器生成的图像保留pan图像的纹理细节；光谱判别器辅助生成的图像保留ms图像的光谱色彩。为了克服隐式学习对空谱信息的保留造成影响，将解耦的频率信息作为附加的先验假设和约束集成到对抗学习过程中，高频和低频可以帮助两个判别器区分生成和全分辨率图像在纹理和颜色方面的差异，提高网络的判别能力。使用图卷积对高频边缘特征进行长程关系的传播，最终取得了更好的空间融合效果。本发明提出的全色锐化方法解决空谱信息联合保留困难、高频特征表达能力受限的问题，在色彩保持、细节增强和纹理清晰度等方面更有优势，融合图像的质量更高。