一种基于注意力掩膜的红外图像彩色化方法

本发明属于图像翻译，具体涉及到一种基于注意力掩膜的红外图像彩色化方法。

背景技术：

1、近年来，随着人们生活水平的不断提升，汽车数量也变得越来越多，此外随着人工智能技术蓬勃发展，自动驾驶也越来越受到人们的广泛关注。行车过程中为了采集到更加有价值的图像，往往需要使用红外技术对车辆行驶过程中的情况进行采集，因为红外图像几乎不受环境变化的影响，在天气状况不良或者能见度低的情况下依然可以稳定地采集到图像，这相比于可见光相机极其容易受光照条件的影响就具有更大的应用范围，表现也更加稳定，同时，红外图像的缺点也是显而易见的，它是一种根据物体散发的温度形成的一种单通道的灰度图像，不具备丰富的色度信息，细节和重要内容并不容易被人们所理解和计算机做进一步地处理，因此，如何在自动驾驶中所采集到的红外图像彩色化成具备丰富颜色信息的rgb图像具有十分重要的价值和意义。

2、在对于红外图像的彩色化问题上，早期的研究是一种手工设计色度空间作为参考体系，对红外图像中包含的不同语义信息进行着色；随着深度学习的出现和普及，涌现出了大量的基于神经网络结构的模型对于红外图像进行着色，这些方法可以分为两类，分别是基于监督学习和无监督学习的方法，监督学习需要配对的红外-可见光图像数据进行训练，而在自动驾驶领域中，交通场景的变化是十分迅速的，所以要采集到精准配对的红外-可见光图像数据对是一个十分困难的工作，因此，利用无监督学习进行非配对的红外与可见光图像翻译完成对于红外图像的彩色化是更加适用的方法，但现有的无监督模型更加注重红外图像彩色化后的整体着色情况，并没有过多地关注到红外图像中的某些包含重要信息的内容，例如，在自动驾驶上采集到的红外图像中，前方的道路情况和周围车辆情况传递更重要的前景信息，而远处的天空信息就属于次要性的背景信息；因此，如何在对红外图像完成着色的过程中同时可以让包含更重要信息的前景内容也得到清晰地翻译，这是一个新的关注点，基于这个问题，现有的方法中，在图像翻译领域中表现非常出色的一种深度学习模型，即基于生成对抗网络的模型也没有提出有效的办法，生成的结果并不能使得前景中一些重要内容的得到正确而清晰的着色。

技术实现思路

1、本发明所要解决的技术问题在于克服现有技术的缺陷，提供一种对图像中不同区域的精细控制，尤其是在强调前景内容和重要信息方面，提高了彩色化图像的质量和细节表现的基于注意力掩膜的红外图像彩色化方法。

2、解决上述技术问题所采用的技术方案是：一种基于注意力掩膜的红外图像彩色化方法，包括以下步骤：

3、步骤1.红外图像输入初步映射模块生成初步彩色图像，初步映射模块由编码器、转换层、解码器依次串联构成；

4、步骤1.1.红外图像输入到编码器进行二维卷积操作，生成初步特征图，对初步特征图依次进行归一化操作、第一激活函数处理，输出结果到转换层；

5、步骤1.2.转换层进一步深化特征后输出到解码器；

6、步骤1.3.解码器对转换层的输出进行反卷积操作，生成更接近原始图像尺寸的特征图，并依次通过归一化操作、第二激活函数处理生成初步彩色图像；

7、步骤2.初步彩色图像输入到注意力掩膜模块生成内容掩膜、前景注意力掩膜和背景注意力掩膜；

8、所述注意力掩膜模块由参数共享编码器、掩膜生成器串联构成，掩膜生成器包括并联的内容掩膜生成器、注意力掩膜生成器；

9、步骤2.1.初步彩色图像输入到参数共享编码器进行特征提取，生成特征图m输入到掩膜生成器；

10、步骤2.2.掩膜生成器的内容掩膜生成器用于提取图像的前景内容，生成多个内容掩膜；

11、步骤2.3.注意力掩膜生成器生成前景注意力掩膜和背景注意力掩膜；

12、步骤3.将前景注意力掩膜和背景注意力掩膜与相应的内容掩膜相融合，以增强特定区域的颜色和细节，同时得到目标图像；

13、步骤4.按照下式确定掩膜生成器的循环一致性损失，确保每个输入图像经过循环后生成的图像能够恢复到原始输入图像；

14、

15、式中，是循环一致性损失函数，x是输入的红外域图像,y是与x对应的可见光域的图像，g(x)是生成器g生成的y域图像，f(g(x))是对生成器g生成后的y域图像恢复到源红外域的图像，εx～pdata(x)[·]是输入图像x与经过两次生成器重建后的图像之差的l1规范化后的期望，εy～pdata(y)[·]是输入的y域图像与经过两次生成器重建后的图像之差的l1规范化后的期望；f(y)是生成的x域图像，g(f(y))是对生成器f生成的x域图像恢复到源可见光域的图像，‖·‖1是l1范数；

16、步骤5.按照下式确定感知损失，用于提高生成图像的感知质量；

17、

18、式中，是感知损失，是使用神经网络预训练模型提取图像的深层特征，‖·‖2是l2范数；

19、步骤6.输出彩色目标图像。

20、作为一种优选的技术方案，在步骤1.1中，所述第一激活函数为relu激活函数。

21、作为一种优选的技术方案，在步骤1.2中，所述转换层由9个结构相同的resnet模块组成，resnet模块是五层卷积神经网络。

22、作为一种优选的技术方案，在步骤1.3中，所述第二激活函数为tanh激活函数。

23、作为一种优选的技术方案，在步骤2.2中，所述内容掩膜生成器按照下式生成内容掩膜，

24、

25、式中，是内容掩膜，tanh(·)是激活过程，m是参数共享编码器生成的特征图，是内容掩膜中每个位置的权重，是内容掩膜中每个位置的坐标值，n代表生成的掩膜数量；

26、作为一种优选的技术方案，在步骤2.3中，所述注意力掩膜生成器按照下式生成前景注意力掩膜和背景注意力掩膜，

27、

28、式中，是前景注意力掩膜，softmax(·)是用于归一化的通道级函数，是注意力掩膜中每个位置的权重，是注意力掩膜中每个位置的坐标值，n是生成的注意力掩膜数量，是背景注意力掩膜。

29、作为一种优选的技术方案，在步骤3中，所述前景注意力掩膜和背景注意力掩膜与相应的内容掩膜按照下式相融合，得到目标图像，

30、

31、式中，g(x)是目标图像。

32、本发明的有益效果如下：

33、本发明通过注意力掩膜机制，能够更清晰地展现红外图像中的前景内容，利用循环一致性损失和感知损失，生成的彩色图像在视觉上更接近真实可见光图像，提升了图像的自然度和逼真度。

34、本发明利用共享参数编码器减少了注意力掩膜模块的复杂性和计算资源的消耗，同时保持了特征提取的效率和准确性，提升了模型的泛化能力。

35、本发明与现有技术相比，本发明更加关注于红外图像中包含重要信息的前景内容的清晰翻译，提升了彩色化后图像的信息价值，在不同的环境和条件下都能保持较高的彩色化效果，尤其是在低光照或恶劣天气条件下，红外图像的稳定性和可靠性更高。

36、本发明不仅适用于自动驾驶，还可以扩展到其他领域，如医疗成像、军事侦察、工业检测等，具有广泛的应用前景。