一种具有图像长距离依赖特征的红外图像与可见光图像融合方法、系统、装置和介质

本发明属于图像处理，特别是涉及一种具有图像长距离依赖特征的红外图像与可见光图像融合方法、系统、装置和介质。

背景技术：

1、因单一传感器获得的信息有限，无法满足某些特定工作要求，为解决这些问题，多传感器融合成为必要。图像融合是指将两个或多个不同传感器获得的图像信息融合在一起，以获得更全面、更有信息量的图像，这些传感器可以是拍摄可见光、红外、雷达或其他波段的设备。图像融合的目的是提取每个传感器的优势，弥补彼此的不足，从而得到更具信息量和可用性的图像。图像融合可以应用于多个领域，包括军事、医学、环境监测、遥感等。而红外与可见光图像融合是图像融合领域的重点，红外图像能够穿透雾霾、烟尘等，也可用于夜间监视和侦察，而可见光图像能够提供更多形状和纹理信息，两者融合可以提高目标探测和识别的准确性。红外与可见光图像融合广泛应用于其他领域，例如军事安全领域、航空航天领域、医疗领域、工业与制造业和环境监测等领域。

2、红外与可见光图像融合在很早就已经被提出，但早期的图像融合方法多是基于像素级的处理。这些方法主要依赖于简单的像素操作，比如平均值、最大值或混合来合并图像。然而，随着计算机视觉和图像处理领域的发展，图像融合已经迈入了更高级别的阶段，利用了更复杂的算法和技术。现代图像融合方法包括多尺度变换、基于区域的方法、深度学习和神经网络等，但是这些方法仍然存在一些融合细节不够精细，无法很好联系全局图像特征信息和融合实时性差等缺陷，进而导致融合效果出现不均衡、不够细节、融合图像质量低和融合速度慢的问题。

技术实现思路

1、本发明的目的是提供一种具有图像长距离依赖特征的红外图像与可见光图像融合方法、系统、装置和介质，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种具有图像长距离依赖特征的红外图像与可见光图像融合方法，包括：获取待融合图像集；所述待融合图像集包括红外图像和可见光图像；

3、将所述待融合图像集输入图像融合模型中进行图像融合，得到融合图像，其中，所述图像融合模型包括依次连接的全局特征提取模块、特征融合模块和图像重构模块。

4、可选的，将所述待融合图像集输入图像融合模型之前，还包括：对所述待融合图像集进行灰度处理，得到灰度处理后的待融合图像集。

5、可选的，所述图像融合模型的训练过程包括：

6、获取训练数据，所述训练数据包括待融合图像训练集及对应的融合图像；

7、构建初始图像融合模型，将所述训练数据输入所述初始图像融合模型中的全局特征提取模块进行特征提取，将提取的特征进行特征融合，将特征融合结果和特征提取结果输入图像重构模块进行重构，并以重构后的初始训练结果与待融合图像训练集对应的融合图像之间的损失最小为目标，对全局特征提取模块和图像重构模块进行训练，得到所述图像融合模型。

8、可选的，所述图像融合模型的处理过程包括：

9、所述全局特征提取模块包括依次连接的第一特征提取模块、第二特征提取模块和第三特征提取模块，其中，所述第一特征提取模块和所述第二特征提取模块均由依次连接的双重3×3卷积层、transformer模块和maxpooling层构成；所述第三特征提取模块由依次连接的双重3×3卷积层和transformer模块构成；

10、将所述待融合图像集输入全局特征提取模块中的第一特征提取模块中进行特征提取，输出第一全局特征图，将所述第一全局特征图作为所述第二特征提取模块的输入进行特征提取，得到第二全局特征图，将所述第二全局特征图作为所述第三特征提取模块的输入进行特征提取，得到第三全局特征图；其中，各所述全局特征图中均包括红外图像特征和可见光图像特征；

11、将所述第一全局特征图和所述第二全局特征图作为所述特征融合模块的输入进行特征融合，得到融合特征图；

12、将所述融合特征图和所述第三全局特征图联合输入所述图像重构模块中进行特征重构，得到融合图像。

13、可选的，将所述第一全局特征图和所述第二全局特征图作为所述特征融合模块的输入进行特征融合，具体包括：

14、对所述第一全局特征图和所述第二全局特征图分别进行特征融合，得到第一融合特征数据和第二融合特征数据；将所述第一融合特征数据和所述第二融合特征数据进行融合，并对融合结果进行连续卷积处理，得到所述融合特征图。

15、一种具有图像长距离依赖特征的红外图像与可见光图像融合系统，包括：

16、数据采集模块，用于获取待融合图像集，所述待融合图像集包括红外图像和可见光图像；

17、图像融合模块，用于将所述待融合图像集输入图像融合模型中进行图像融合，得到融合图像，其中，所述图像融合模型包括依次连接的全局特征提取模块、特征融合模块和图像重构模块。

18、一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据所述的一种具有图像长距离依赖特征的红外图像与可见光图像融合方法。

19、一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如所述的一种具有图像长距离依赖特征的红外图像与可见光图像融合方法。

20、本发明的技术效果为：

21、本发明图像融合质量高、速度快，在基于自编码器的密集块网络模型中通过对全局特征提取模块进行改进，提高了图像上下层信息联系，建立了图像长距离依赖关系，改善了普通下采样方法导致分辨率下降、局部信息丢失的问题；改进融合策略和损失函数，解决了原有算法融合性能不佳、其他深度学习融合速度较慢的问题，因此红外与可见光图像融合质量高，融合速度快。

技术特征：

1.一种具有图像长距离依赖特征的红外图像与可见光图像融合方法，其特征在于，包括：

2.根据权利要求1所述的一种具有图像长距离依赖特征的红外图像与可见光图像融合方法，其特征在于，将所述待融合图像集输入图像融合模型之前，还包括：对所述待融合图像集进行灰度处理，得到灰度处理后的待融合图像集。

3.根据权利要求1所述的一种具有图像长距离依赖特征的红外图像与可见光图像融合方法，其特征在于，所述图像融合模型的训练过程包括：

4.根据权利要求1所述的一种具有图像长距离依赖特征的红外图像与可见光图像融合方法，其特征在于，所述图像融合模型的处理过程包括：

5.根据权利要求4所述的一种具有图像长距离依赖特征的红外图像与可见光图像融合方法，其特征在于，将所述第一全局特征图和所述第二全局特征图作为所述特征融合模块的输入进行特征融合，具体包括：

6.一种具有图像长距离依赖特征的红外图像与可见光图像融合系统，其特征在于，包括：

7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1-5中任一项所述的一种具有图像长距离依赖特征的红外图像与可见光图像融合方法。

8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的一种具有图像长距离依赖特征的红外图像与可见光图像融合方法。

技术总结本发明属于图像处理技术领域，并公开了一种具有图像长距离依赖特征的红外图像与可见光图像融合方法、系统、装置和介质，包括：获取待融合图像集，待融合图像集内包括红外图像和可见光图像；将待融合图像集输入图像融合模型中进行图像融合，得到融合图像；图像融合模型是在基于自编码器的密集块网络模型的基础上进行改进，在主干网络中加入了图像长距离依赖特征模块，将原有简单的卷积模块精细化，提高了图像上下层信息联系，建立了图像长距离依赖关系，改善了普通下采样方法导致分辨率下降、局部信息丢失的问题。本发明所述技术方案图像融合质量高、速度快，解决了现有技术中出现的融合性能不佳、融合速度较慢的问题。技术研发人员：刘甲甲,张顺,刘雪垠,马忠丽,吴思东,李艳霞,张国良,曾梦玮,戴莉斯受保护的技术使用者：成都信息工程大学技术研发日：技术公布日：2024/8/20