一种红外光图像和可见光图像的融合方法与流程

本发明涉及电力系统，尤其涉及一种红外光图像和可见光图像的融合方法。

背景技术：

1、图像融合技术是将两张及两张以上的图像，根据不同的任务需求提取各取所长，并融合成信息更加丰富的单张图像。

2、红外光传感器和可见光传感器可以通过不同波段捕获到不同的波段信息，但由于传感器内部结构的限制，还不存在能够捕获到所有波段信息的传感器；例如，红外光传感器能在恶劣环境下也能够捕获到显著的目标信息，但缺乏目标纹理细节信息，而可见光传感器能捕获到目标纹理细节信息，但却易受天气、遮挡和光照条件的影响，导致丢失大量的目标信息。

3、因此，为了充分利用这两种传感器的优势，急需一种红外光图像和可见光图像的融合方法，以结合红外光图像在恶劣环境下的目标捕获能力和可见光图像的纹理细节捕获能力，从而获得既显著又详细的融合图像。

技术实现思路

1、基于此，有必要针对上述问题，提出了一种红外光图像和可见光图像的融合方法，实现了对红外光图像和可见光图像进行融合，以结合红外光图像在恶劣环境下的目标捕获能力和可见光图像的纹理细节捕获能力，从而获得既显著又详细的融合图像。

2、为实现上述目的，本发明在第一方面提供一种红外光图像和可见光图像的融合方法，所述方法包括：

3、获取待融合红外光图像和待融合可见光图像；

4、将所述待融合红外光图像和所述待融合可见光图像输入至预设融合网络模型中，得到目标融合图像；

5、其中，所述预设融合网络模型在训练时的融合损失函数包括纹理细节损失函数和内容损失函数；

6、所述纹理细节损失函数用于根据训练时的待融合红外光图像的第一梯度图、训练时的待融合可见光图像的第二梯度图和训练时预测的目标融合图像的第三梯度图，确定所述训练时的待融合红外光图像和所述训练时的待融合可见光图像与所述训练时预测的目标融合图像之间在边缘、纹理和细节上的差异；

7、所述内容损失函数用于确定所述训练时的待融合红外光图像和所述训练时的待融合可见光图像与所述训练时预测的目标融合图像之间在整体结构和内容上的差异。

8、可选地，所述方法还包括：

9、将所述目标融合图像输入至预设检测网络模型中，得到目标检测结果。

10、可选地，所述获取待融合红外光图像和待融合可见光图像，包括：

11、获取红外光图像和可见光图像；

12、对所述红外光图像依次进行随机反转、随机旋转和归一化处理，得到所述待融合红外光图像；

13、对所述可见光图像依次进行随机反转、随机旋转和归一化处理，得到所述待融合可见光图像。

14、可选地，所述预设融合网络模型包括依次连接的密集连接块、拼接层和空间语义感知块，所述密集连接块作为所述预设融合网络模型的入口，所述空间语义感知块作为所述预设融合网络模型的出口；

15、所述密集连接块用于对所述待融合红外光图像进行特征提取，得到红外光特征；

16、所述密集连接块还用于对所述待融合可见光图像进行特征提取，得到可见光特征；

17、所述拼接层用于将所述红外光特征和所述可见光特征进行通道拼接，得到初步融合特征；

18、所述空间语义感知块用于对所述初步融合特征进行融合重构，得到所述目标融合图像。

19、可选地，所述密集连接块包括依次连接的多个密集连接层，第一个密集连接层作为所述密集连接块的入口，所有的密集连接层作为所述密集连接块的出口；

20、每个密集连接层均包括依次连接的第一卷积层、第一relu层和第一批归一化层，所述第一卷积层作为密集连接层的入口，所述第一批归一化层作为密集连接层的出口。

21、可选地，所述空间语义感知块包括依次连接的多个第一空间语义感知层、sigmoid层、逐点乘积层、连接层和第二空间语义感知层，第一个第一空间语义感知层与所述连接层连接，第二个第一空间语义感知层与所述逐点乘积层连接，第一个第一空间语义感知层作为所述空间语义感知块的入口，所述第二空间语义感知层作为所述空间语义感知块的出口；

22、第一空间语义感知层和第二空间语义感知层均为空间语义感知层，所述空间语义感知层包括依次连接的第二卷积层、第二relu层和第二批归一化层，所述第二卷积层作为所述空间语义感知层的入口，所述第二批归一化层作为所述空间语义感知层的出口。

23、可选地，所述预设检测网络模型包括依次连接的多个特征提取层和线性映射层，倒数第一个特征提取层与倒数第四个特征提取层连接，倒数第二个特征提取层与倒数第三个特征提取层连接，第一个特征提取层作为所述预设检测网络模型的入口，所述线性映射层作为所述预设检测网络模型的出口；

24、多个特征提取层用于对所述目标融合图像进行特征提取，得到深度卷积特征；

25、所述线性映射层用于将所述深度卷积特征进行展平映射转换，得到所述目标检测结果。

26、可选地，每个特征提取层均包括依次连接的第三卷积层、第三relu层和第三批归一化层，所述第三卷积层作为特征提取层的入口，所述第三批归一化层作为特征提取层的出口。

27、可选地，

28、所述融合损失函数为：lf＝ltexture+lcontent；

29、所述纹理细节损失函数为：

30、所述内容损失函数为：lcontent＝||if-iir||1+||if-ivis||1；

31、其中，lf为所述融合损失函数的损失值，ltexture为所述纹理损失函数的损失值，lcontent为所述内容损失函数的损失值，|| ||1为l1范数，为sobel算子提取梯度图，if为所述训练时预测的目标融合图像，iir为所述训练时的待融合红外光图像，ivis为所述训练时的待融合可见光图像，为所述第三梯度图，为所述第一梯度图，为所述第二梯度图。

32、可选地，所述预设检测网络模型在训练时的目标检测损失函数为：

33、

34、其中，lod为所述目标检测损失函数的损失值，n为大小为n×n的所述训练时预测的目标融合图像中的n，xi和yi为在所述训练时预测的目标融合图像上的位置(xi,yi)的训练预测结果，和为在所述训练时预测的目标融合图像上的位置(xi,yi)的真值标签结果。

35、为实现上述目的，本发明在第二方面提供一种红外光图像和可见光图像的融合装置，所述装置包括：

36、获取模块，用于获取待融合红外光图像和待融合可见光图像；

37、模型预测模块，用于将所述待融合红外光图像和所述待融合可见光图像输入至预设融合网络模型中，得到目标融合图像；

38、其中，所述预设融合网络模型在训练时的融合损失函数包括纹理细节损失函数和内容损失函数；

39、所述纹理细节损失函数用于根据训练时的待融合红外光图像的第一梯度图、训练时的待融合可见光图像的第二梯度图和训练时预测的目标融合图像的第三梯度图，确定所述训练时的待融合红外光图像和所述训练时的待融合可见光图像与所述训练时预测的目标融合图像之间在边缘、纹理和细节上的差异；

40、所述内容损失函数用于确定所述训练时的待融合红外光图像和所述训练时的待融合可见光图像与所述训练时预测的目标融合图像之间在整体结构和内容上的差异。

41、为实现上述目的，本发明在第三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面中任一项所述的方法。

42、为实现上述目的，本发明在第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面中任一项所述的方法。

43、采用本发明实施例，具有如下有益效果：上述方法通过预先训练好一个用于根据输入的待融合红外光图像和待融合可见光图像，预测输出目标融合图像的融合网络模型，然后获取待融合红外光图像和待融合可见光图像，最后将待融合红外光图像和待融合可见光图像输入至预设融合网络模型中，得到目标融合图像，其中，预设融合网络模型在训练时的融合损失函数包括纹理细节损失函数和内容损失函数，用于确定训练时的待融合红外光图像和训练时的待融合可见光图像与训练时预测的目标融合图像之间在边缘、纹理和细节上的差异，以及在整体结构和内容上的差异；实现了对红外光图像和可见光图像进行融合，以结合红外光图像在恶劣环境下的目标捕获能力和可见光图像的纹理细节捕获能力，从而获得既显著又详细的融合图像。