一种基于pix2pix着色概念的全色锐化方法

本发明属于遥感影像融合领域，涉及一种基于pix2pix着色概念的全色锐化方法。

背景技术：

1、遥感图像融合(又称全色锐化)是从高分辨率全色图像(pan)和低分辨率多光谱图像(ms)中提取空间和光谱特征，然后融合得到高分辨率多光谱图像。传统的全色锐化方法可分为三大类：组件替代法(cs)、多分辨率分析法(mra)和基于变分优化的方法(vo)。基于cs的方法旨在将低分辨率ms图像在合适的空间中分离空间和光谱信息，并进一步与相应的pan图像融合。基于cs的方法包括ihs方法、主成分分析(pca)方法和gram-schmidt(gs)方法。而基于mra的方法则是将pan图像分解成多尺度空间，并提取空间结构，然后注入到ms中实现融合，如dwt、mtf-glp等。基于vo的方法将泛锐化任务视为一个病态问题，目标是损失最小化。

2、随着深度学习技术在各种计算机视觉任务中的成功应用，基于卷积神经网络(cnn)的泛锐化算法被提出。最初适用深度学习方法融合全色和多光谱影像的是pnn网络，该方法首次使用cnn提取全色和多光谱的有效信息。但是该网络结构比较简单只有三层，非线性拟合能力较弱，容易造成光谱失真。之后，pannet引入resnet加深网络深度，强化了非线性拟合能力，在一定程度上缓解了光谱失真。从而越来越多的基于深度学习的泛锐化涌现，如srppnn等。

3、虽然cnn在视觉任务中获得了良好的表现。但是，cnn方法的有效性和网络深度是相关的，网络越深，效果越好，然而随着深度的增加，训练会变得非常困难，严重限制了全色锐化网络的性能。

4、同时，以上所叙述的方法都是从特征提取的角度来处理全色锐化问题，而在特征提取过程中，容易存在原始信息丢失、模型泛化能力不足、模型过度拟合和计算复杂度高等问题。

5、因此，有必要提供一种基于pix2pix着色概念的全色锐化方法，跳过特征提取，避免特征提取过程中存在的问题对输出图像质量的影响，同时提高pix2pix模型对训练数据学习的准确性，使得模型学习结果更加准确，从而输出与原图像更加接近的图像。

技术实现思路

1、为了克服背景技术中的问题，本发明提出了一种基于pix2pix着色概念的全色锐化方法，通过对多光谱图像(ms)以及全色图像(pan)进行rgb色彩空间与lab色彩空间转化并结合对比度受限的直方图均衡化，使模型在训练中学习到准确的色彩映射关系；通过优化频谱绝对差异损失函数，从频域角度约束模型，使模型更加关注图像的高低频信息。从而提升模型对图像的处理效果，输出更加接近原图的图像。

2、为了实现上述目的，本发明是通过如下技术方案实现的：

3、所述全色锐化方法包括以下步骤：

4、s1：获取同一地物的多光谱图像以及下采样的全色图像，将多光谱图像与全色图像进行色彩空间转换以及对比度受限的直方图均衡化预处理得到预上色图像。ms以及pan通过卫星拍摄即可获取。

5、s2：将所述步骤s1中的多光谱图像以及预上色图像作为配对训练数据输入pix2pix模型中进行训练，训练过程中，使用频谱绝对差异损失函数作为条件损失。

6、s3：pix2pix模型训练后进行测试，输出全色锐化图像。

7、作为优选，所述频谱绝对差异损失函数为：

8、

9、其中，g(x,z)是生成器网络接收输入x和噪声z生成的输出图像，表示目标图像y在频域上的傅里叶变换，表示生成图像g(x,z)在频域上的傅里叶变换，||·||1表示l1范数，即绝对值的和，表示对所有输入x目标图像y和噪声z组合的期望。生成器网络g接收输入x和噪声z，生成图像g(x,z)，目标图像y在频域上的傅里叶变换为f(y)。生成图像g(x,z)在频域上的傅里叶变换为f(g(x,z))，计算频谱绝对差异，即||f(y)-f(g(x,z)||1，对所有输入x、目标图像y和噪声z组合取期望。本频谱绝对差异损失函数目标是最小化生成图像与目标图像在频域上的傅里叶变换之间的曼哈顿距离，以实现损失函数从频域角度定义条件损失。

10、作为优选，所述步骤s1中，具体预处理方法为：将多光谱图像和全色图像从rgb色彩空间转换为lab色彩空间，并在lab色彩空间中将多光谱图像以及全色图像的波段进行亮度通道的匹配，之后图像像素的灰度级在限制函数的限制作用下进行重新分配，完成后，再将图像从lab色彩空间转换回rgb色彩空间，得到预上色图像。

11、由于ms具有3个波段，而pan为单波段，因此，需要将pan的波段复制3份，与ms进行预处理。rgb色彩空间转换为lab色彩空间，可以通过伽马校正实现。限制函数限制像素灰度级的重新分配，从而避免过度增强，保持了图像的自然性和视觉感知的舒适性。重新分配图像像素的灰度级，使得图像的直方图在灰度级上更均匀分布，从而增强图像的对比度。

12、通过对ms以及pan的预处理能得到一个预上色图像，这个图像相比于灰度图像是有色彩的，且色彩是相对准确的。将这个预上色图像与原始的ms配对进行训练，就可以为模型提供色彩引导，因此模型可以学到更准确的色彩映射关系。由此训练好的模型就能实现图像的着色，以实现着色概念在图像全色锐化过程中的应用。

13、作为优选，所述限制函数为：

14、

15、其中，g(v)是输出像素值，v是输入像素值，m是控制对比度增强的起始点的参数，α是控制对比度增强的速率的参数，c是归一化系数，确保输出像素值在合理范围内。

16、本发明的有益效果：

17、1.本发明通过对训练数据进行rgb色彩空间与lab色彩空间转换以及对比度受限的直方图均衡化处理以实现将着色概念引入全色锐化过程中，保证模型能够学习到准确的色彩映射关系，从而使模型在图像生成过程中为全色图像分配正确的颜色，使模型输出的图像与原图之间具有更高的相似性。

18、2.本发明对图像进行全色锐化处理过程中，跳过了对全色图像进行空间信息提取，有效避免了空间失真现象发生而影响模型输出图像的质量。

19、3.本发明从频域角度定义条件损失，使模型更加关注图像的结构和纹理，具有更强的鲁棒性。

技术特征：

1.一种基于pix2pix着色概念的全色锐化方法，其特征在于：所述全色锐化方法包括以下步骤：

2.根据权利要求1所述的一种基于pix2pix着色概念的全色锐化方法，其特征在于：所述频谱绝对差异损失函数为：

3.根据权利要求1所述的一种基于pix2pix着色概念的全色锐化方法，其特征在于：所述步骤s1中，具体预处理方法为：将多光谱图像和全色图像从rgb色彩空间转换为lab色彩空间，并在lab色彩空间中将多光谱图像以及全色图像的波段进行亮度通道的匹配，之后图像像素的灰度级在限制函数的限制作用下进行重新分配，完成后，再将图像从lab色彩空间转换回rgb色彩空间，得到预上色图像。

4.根据权利要求3所述的一种基于pix2pix着色概念的全色锐化方法，其特征在于：所述限制函数为：

技术总结本发明涉及一种基于pix2pix着色概念的全色锐化方法，属于遥感影像融合领域。本发明包括S1：对图像进行色彩空间转换以及对比度受限的直方图均衡化；S2：将所述步骤S1中的原始多光谱图像以及最后得到的预上色图像作为配对训练数据输入pix2pix模型中进行训练，训练过程中，使用频谱绝对差异损失函数作为条件损失；S3：pix2pix模型训练后进行测试，输出全色锐化图像。本发明通过对图像进行色彩空间转换以及对比度受限的直方图均衡化，保证模型能够学习到准确的色彩映射关系，使模型输出的图像与原图之间具有更高的色彩相似性；通过从频域角度定义条件损失，使模型更加关注图像的结构和纹理，具有更强的鲁棒性。技术研发人员：王雷光,童清渭,代沁伶,徐伟恒,赵毅力受保护的技术使用者：西南林业大学技术研发日：技术公布日：2024/7/29