一种基于多尺度分解的红外与可见光图像融合算法

本发明涉及图像处理，具体涉及一种基于多尺度分解的红外与可见光图像融合算法。

背景技术：

1、图像融合是图像处理中的一项重要任务。单一模态的图像无法表征复杂场景的全部信息。而红外与可见光图像融合通过合适的融合方法将两种图像融合在一起，可获取更多的信息和更清晰的视觉呈现。目前，该技术在视觉跟踪、夜间导航、事故鉴定取证等领域得到了广泛的应用。

2、红外图像依靠红外传感器捕获物体的热辐射成像，受外界光照变化的影响较小。但是纹理细节和结构信息丢失严重，空间分辨率较低。可见光图像则通过可见光传感器捕获物体的反射光成像，与人类视觉一致。相比于红外图像，可见光具有丰富的纹理细节和结构信息，但是它对环境变化十分敏感，受光照变化影响较大。因此，红外与可见光图像融合的目的是结合两种图像的优点，生成高质量的单幅图像。

3、传统的图像融合方法通常在空间域或变换域进行操作。空间域方法是在图像原始空间域进行像素级融合来获取融合图像。变换域方法是将图像转换到变换域，在变换域进行操作后转回空间域。尽管传统的图像融合方法已经能够取得良好的融合效果，但它本身存在的缺陷是无法进一步发展的阻碍。传统方法需要依靠先验知识来手动设计融合规则，大大增加了算法的工作量。

4、鉴于以上，本申请提供一种基于多尺度分解的红外与可见光图像融合算法用于解决上述问题。

技术实现思路

1、针对上述情况，为克服现有技术之缺陷，本发明提供一种基于多尺度分解的红外与可见光图像融合算法，构建两个优化问题，依据优化问题构建低频基础编码器与高频细节编码器来提取图像特征，采用基于优化的形式构建编码器能够增强该网络的可解释性，为了编码器能获取更多不同层次的特征信息，又将低频信息与高频信息各分为三个尺度，解码器引入了金字塔结构来融合多尺度特征信息，进行图像重构。

2、一种基于多尺度分解的红外与可见光图像融合算法，其特征在于，包括编码器、融合层和解码器，所述编码器包括基础编码器和细节编码器，具体包括以下步骤：

3、s1：针对低频信息与高频信息不同特点，提出基础编码器与细节编码器提取图像特征并且将输入图像分离为低频信息与高频信息；

4、s2：将红外与可见光图像经过基础编码器与细节编码器，各分离为三个尺度的低频基础信息与高频细节信息；

5、s3：将对应尺度的图像送入融合层实现红外与可见光的图像融合；

6、s4：将三个尺度的高频融合图像与低频融合图像送入解码器实现图像重构，形成最终融合图像；

7、s5：对编码器与解码器网络进行训练，实现图像融合。

8、上述技术方案有益效果在于：

9、(1)本方案中的网络架构基于自编码器的网络架构，采取低频信息和高频信息双尺度分解和多尺度特征信息融合的方法，有效保留了编码器网络所提取的不同尺度特征信息；

10、(2)本方案中的编码器网络是基于优化问题提出，增强了网络架构的可解释性，同时，针对低频信息与高频信息提出不一样的编码器结构；

11、(3)本方案中的解码器网络结合特征图金字塔结构来实现多尺度融合，进行图像重建；

12、(4)与其它几种融合算法相比，本方案中的网络架构在视觉评估与客观评价方面表现出更好的融合效果。

技术特征：

1.一种基于多尺度分解的红外与可见光图像融合算法，其特征在于，包括编码器、融合层和解码器，所述编码器包括基础编码器和细节编码器，具体包括以下步骤：

2.根据权利要求1所述的一种基于多尺度分解的红外与可见光图像融合算法，其特征在于，对s1中的基础编码器进行优化，优化过程如下：

3.根据权利要求1所述的一种基于多尺度分解的红外与可见光图像融合算法，其特征在于，对s1中的细节编码器进行优化，优化过程如下：

4.根据权利要求1所述的一种基于多尺度分解的红外与可见光图像融合算法，其特征在于，所述s4中引入特征图金字塔网络的多尺度融合理念来重建融合图像，具体包括以下步骤：

5.根据权利要求1所述的一种基于多尺度分解的红外与可见光图像融合算法，其特征在于，所述s5中编码器提取多尺度深度特征，解码器根据这些特征重建图像，其具体训练过程如下：

技术总结本发明提出一种基于多尺度分解的红外与可见光图像融合算法，该方法包含三个部分：编码器、融合层和解码器。将特征提取的优化问题展开为卷积神经网络，分为基础编码器和细节编码器，增加网络的可解释性；为了能够更加全面提取红外与可见光图像中的特征信息，将编码器各分为三个尺度提取高频细节信息与低频基础信息；解码器引入金字塔结构来实现多尺度融合，实现图像重建；在训练阶段，对编码器与解码器网络进行训练，实现图像重构；在测试阶段，编码器提取红外与可见光的多尺度图像特征，融合层将对应尺度的高频(低频)特征融合在一起，最后由解码器输出融合图像；本申请提出的融合方法在定性和定量指标评价上均有提高，具有良好的融合效果。技术研发人员：司海平,赵文汭,陈宝钢,闫辉,董萍,张国英,李艳玲,郭良栋受保护的技术使用者：河南农业大学技术研发日：技术公布日：2024/7/29