一种红外图像和可见光图像融合方法、系统、设备及介质

本发明属于图像处理，特别是涉及一种红外图像和可见光图像融合方法、系统、设备及介质。

背景技术：

1、图像融合是图像处理领域中的热门话题，目的是通过组合不同传感器的输出图像来生成信息丰富的融合图像。由于成像设备的硬件限制，单一类型的传感器获得的图像无法全面的呈现场景中的信息。比如，红外探测器是依靠物体的温度辐射成像，能够突出辐射强度大的物体和避免环境干扰的能力，但分辨率低，无法表达出物体的细节特征与背景状况。与之相反，可见光图像，分辨率高，在环境较好的情况下能展现出物体丰富的纹理特征，视觉效果较好，但在光线较暗的环境中，容易丢失场景中的目标。因此，红外图像与可见光图像的融合技术应运而生，旨在将同一场景下，将红外图像中的热辐射信息与可见光图像中纹理信息结合到一起，使得融合图像避免了红外图像中对比度低、分辨率低和可见光图像对光照条件敏感的缺点，融合后的图像有利于推进下游的图像识别、图像分割与目标检测等任务。

2、近年来，随着深度学习的不断发展，许多深度学习模型被应用到了红外图像与可见光图像的融合中并取得了较好的结果。现有技术中利用滤波函数将红外与可见光图像分成基本层与细节层，并将对应层相加构成新的基本层与细节层，为了突出细节，采用resnet网络增强细节层信息，最后将基本层与细节层融合，但该方法只考虑了图像的细节层，而缺少基本层的特征提取，在计算损失函数时，没有考虑到融合图像中红外图像与可见光图像信息占比问题。其后该方法又提出使用稠密网络块将浅层特征与深层特征拼接，从而实现特征重用，相对于resnet减少了参数量，提高了特征提取的效率，但是受cnn感受野的限制，浅层特征中缺少全局语义。

技术实现思路

1、本发明的目的是提供一种红外图像和可见光图像融合方法、系统、设备及介质，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种红外图像和可见光图像融合方法，包括：获取待融合图像；所述待融合图像包括可见光图像及对应的红外图像；

3、对所述待融合图像进行分层处理，得到分层图像；所述分层图像包括基本层图像和细节层图像；

4、将所述分层图像输入所述图像融合模型中进行图像融合，得到融合图像，其中，所述图像融合模型包括依次连接的浅层特征提取模块、深层特征提取模块和特征融合模块，所述浅层特征提取模块采用restormer模块，所述深层特征提取模块采用dense block模块。

5、可选的，对所述待融合图像进行分层处理，具体包括：

6、基于引导滤波器将所述可见光图像和所述红外图像分别进行分解，得到各图像对应的基本层和细节层；按照设定比例将各图像对应的基本层进行融合，得到所述基本层图像；按照设定比例将各图像对应的细节层进行融合，得到所述细节层图像。

7、可选的，获取所述基本层图像和所述细节层图像的具体计算公式为：

8、

9、式中，vib为基本层图像，vid为细节层图像，vb为可见光图像的基本层，vd为可见光图像的细节层；ib为红外图像的基本层，id为红外图像的细节层。

10、可选的，所述图像融合模型的训练过程包括：

11、获取训练数据，所述训练数据包括可见光训练图像及对应的红外训练图像；

12、对所述训练数据进行分层处理，得到分层训练图像；

13、构建初始图像融合模型，将所述分层训练图像输入所述初始图像融合模型进行图像融合，并以融合后得到的融合图像与输入的可见光训练图像及对应的红外训练图像之间的强度损失和梯度损失之和最小为目标，进行训练，得到所述图像融合模型。

14、可选的，所述图像融合模型的处理过程包括：

15、将所述分层图像输入所述浅层特征提取模块进行浅层特征提取，输出所述基本层图像和所述细节层图像分别对应的浅层特征图；

16、将所述浅层特征提取模块输出的浅层特征图输入所述深层特征提取模块进行特征提取，输出所述基本层图像和所述细节层图像分别对应的深度特征图；

17、将所述深层特征提取模块输出的深度特征图作为所述特征融合模块的输入进行特征拼接，使所述基本层图像对应的深度特征图和所述细节层图像对应的深度特征图进行拼接融合，得到所述融合图像。

18、一种红外图像和可见光图像融合系统，包括：

19、图像获取模块，用于获取待融合图像；所述待融合图像包括可见光图像及对应的红外图像；

20、图像分层模块，用于对所述待融合图像进行分层处理，得到分层图像；所述分层图像包括基本层图像和细节层图像；

21、图像融合模块，用于将所述分层图像输入所述图像融合模型中进行图像融合，得到融合图像，其中，所述图像融合模型包括依次连接的浅层特征提取模块、深层特征提取模块和特征融合模块，所述浅层特征提取模块采用restormer模块，所述深层特征提取模块采用dense block模块。

22、一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种红外图像和可见光图像融合方法。

23、一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种红外图像和可见光图像融合方法。

24、本发明的技术效果为：

25、本发明将红外与可见光图像分别分成基本层与细节层，然后将对应层加权融合形成新的基本层与细节层，使得后续特征提取更有针对性；本发明采用restormer模块和dense block模块构成编码器，由于传统的cnn网络感受野较小，restormer可以根据全局注意力提取浅层特征，dense block将浅层特征与深层特征拼接避免了浅层特征的丢失，通过将这些特征放入到解码器中可以重建出效果更好的融合图像。

技术特征：

1.一种红外图像和可见光图像融合方法，其特征在于，包括：

2.根据权利要求1所述的一种红外图像和可见光图像融合方法，其特征在于，对所述待融合图像进行分层处理，具体包括：

3.根据权利要求1所述的一种红外图像和可见光图像融合方法，其特征在于，获取所述基本层图像和所述细节层图像的具体计算公式为：

4.根据权利要求1所述的一种红外图像和可见光图像融合方法，其特征在于，所述图像融合模型的训练过程包括：

5.根据权利要求1所述的一种红外图像和可见光图像融合方法，其特征在于，所述图像融合模型的处理过程包括：

6.一种红外图像和可见光图像融合系统，其特征在于，包括：

7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1-5中任一项所述的一种红外图像和可见光图像融合方法。

8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的一种红外图像和可见光图像融合方法。

技术总结本发明属于图像处理技术领域，并公开了一种红外图像和可见光图像融合方法、系统、设备及介质，包括：获取待融合图像；所述待融合图像包括可见光图像及对应的红外图像；对所述待融合图像进行分层处理，得到分层图像；所述分层图像包括基本层图像和细节层图像；将所述分层图像输入所述图像融合模型中进行图像融合，得到融合图像，其中，所述图像融合模型包括依次连接的浅层特征提取模块、深层特征提取模块和特征融合模块，所述浅层特征提取模块采用Restormer模块，所述深层特征提取模块采用Dense Block模块。本发明所述技术方案能够避免浅层特征的丢失，可以重建出效果更好的融合图像。技术研发人员：陈明,王福成,皮晓雅,马国强,齐平,苏本跃,程军强,曹洁,楚杨阳,李玉华受保护的技术使用者：铜陵学院技术研发日：技术公布日：2024/9/9