一种低照度彩色偏振图像增强方法、系统及设备

本发明涉及图像处理，尤其涉及一种低照度彩色偏振图像增强方法、系统及设备。

背景技术：

1、偏振技术是一种以不同偏振角度捕捉一组记录强度响应的图像，作为一种新型的信息采集方式，可以为图像的目标提供清晰的边界、表面特征等信息。彩色偏振成像技术兼具光谱和偏振两种特性，能获得比灰度偏振图像更加丰富的红绿蓝三波段偏振信息，其在抗雾霾、烟尘、复杂背景等恶劣环境下探测隐身、伪装等方面具有潜在的应用价值。但在实际生活中，彩色偏振成像经常受到光照不足、噪声的影响导致其成像质量严重下降，不利于图像的后续处理。为此，研究如何在低照度环境下恢复彩色偏振图像的对比度和偏振信息是非常重要的。

2、目前关于低照度偏振图像增强共分为两类，第一，基于传统的增强方法，其在暗环境下可以抑制图像的噪声并校正颜色偏差，但该方法的有效性受反射率与照射分解的模型容量限制，设计出适用于各种场景的有效约束十分困难；第二，基于深度学习的增强方法，该类方法在执行去噪和色偏校正中取得较好的效果，但并未全面考虑彩色偏振图像与传统强度图像之间的差异，设计出不损失偏振信息且能执行去噪及色偏校正的增强算法是较为困难的。

技术实现思路

1、本发明实施例的主要目的在于提出一种低照度彩色偏振图像增强方法、系统及设备，旨在设计一种提高彩色偏振图像的可见性和质量的低照度彩色偏振图像增强方法。

2、本发明解决上述技术问题的技术方案是，提供一种低照度彩色偏振图像增强方法，包括以下步骤：

3、(1)对低照度彩色偏振图像进行预处理：

4、提取低照度彩色偏振图像i0的四个不同方向的偏振态图像，获取在不同颜色空间和偏振信息的特征表示，即颜色空间偏振信息图像i1；

5、(2)构建网络模型：

6、构建包括初始卷积模块、三维偏振残差注意力模块及偏振色彩信息恢复模块的网络模型；通过初始卷积模块获得不同通道彩色偏振子图像之间的关联性和特征表示；通过三维偏振残差注意力模块获得彩色偏振图像中空间信息和纹理细节；通过偏振色彩信息恢复模块生成增强后颜色空间偏振信息图像i2；

7、设计损失函数；

8、(3)图像融合：

9、将增强后颜色空间偏振信息图像i2按相同偏振方向偏振态图像进行合成，产生增强后的彩色偏振结果图像i3。

10、进一步地，所述提取低照度彩色偏振图像的四个不同方向的偏振态图像，获取在不同颜色空间和偏振信息的特征表示的步骤中，

11、不同方向偏振态是指i0°,i45°,i90°,i135°四个方向偏振态，即i0＝{i0°,i45°,i90°,i135°}，四个方向偏振态在颜色模型空间上获取十二个颜色空间偏振信息图像；

12、其中，所述颜色模型空间是his颜色模型空间，故十二个颜色空间偏振信息图像i1，即

13、

14、式中，i1为颜色空间偏振信息图像集合，为偏振0°的h通道图像，为偏振0°的i通道图像，为偏振135°的s通道图像。

15、进一步地，所述通过初始卷积模块获得不同通道彩色偏振子图像之间的关联性和特征表示的步骤包括，

16、将十二个颜色空间偏振信息图像i1输入初始卷积模块；

17、初始卷积模块通过三维卷积层的串联在颜色通道上进行卷积操作，融合不同通道信息，捕捉颜色空间偏振信息图像中的空间信息、色彩信息和偏振信息，生成彩色偏振图像中不同通道之间更具特征性的关联性和特征表示，即多通道关联特征图像i21。

18、进一步地，所述通过三维偏振残差注意力模块获得彩色偏振图像中空间信息和纹理细节的步骤中，

19、所述三维偏振残差注意力模块包括三维卷积层、三维注意力模块及激活函数组件，

20、所述三维卷积层在彩色偏振图像的宽度、高度及通道上提取特征，捕捉彩色偏振图像空间上的纹理、形状及结构信息；

21、采用残差结构强调或抑制彩色偏振图像中的特定方向或通道的信息，动态调整网络模型对不同位置或通道的关注度；

22、激活函数在网络模型中引入非线性特征、激活彩色偏振图像的细节和边缘操作。

23、进一步地，所述三维注意力模块的计算流程为：

24、通过注意力机制计算彩色偏振图像中的空间和方向信息：

25、三维查询、键、值转换：将三维卷积的输出进行三维查询(q)、键(k)及值(v)的转换；

26、三维注意力计算：通过计算三维查询(q)和键(k)之间的相似性，使用softmax归一化方式，计算彩色偏振图像的三维注意力权重；

27、

28、其中，iweight是彩色偏振图像的三维注意力权重；t是矩阵的转置；dk是键的维度；

29、加权求和：使用计算得到的三维注意力权重对值(k)特征图进行加权求和；

30、i′＝iweight·v  (2)；

31、其中，i′表示加权求和的输出值。

32、进一步地，所述通过偏振色彩信息恢复模块生成增强后颜色空间偏振信息图像i2的步骤包括：

33、所述偏振色彩信息恢复模块包括三维卷积层、批归一化层及relu激活函数；

34、将三维卷积层、批归一化层及relu激活函数进行串联获得十二个增强后颜色空间偏振信息图像i2；即

35、

36、其中，i2是增强后颜色空间偏振信息图像集合，是偏振0°的h通道图像，为偏振135°的s通道图像；

37、进一步地，所述将增强后颜色空间偏振信息图像i2按相同偏振方向偏振态图像进行合成，产生增强后的彩色偏振结果图像i3的步骤中，

38、通过三维卷积学习增强后颜色空间偏振信息图像的不同颜色特征表示，在空间维度中保留偏振颜色通道信息；

39、通过非线性激活函数学习数据中的复杂关系，增加颜色合成模块的表达能力；

40、通过批归一化层加速网络模型的训练过程并提高网络模型的稳定性。

41、进一步地，所述设计损失函数的步骤中，所述损失函数包括：

42、强度—空间损失lis：

43、

44、其中，i是正常照度的彩色偏振图像；是增强后彩色偏振结果图像；n是训练样本数量；(x,y)是彩色偏振图像的像素，x是像素宽，y是像素长；‖·‖是l2范数；k＝{h,s,i}；j＝{0°,45°,90°,135°}。

45、偏振信息恢复损失lpr：

46、

47、颜色信息损失lci：

48、

49、其中，i,j是彩色偏振图像总光强图像，由stokes矢量计算获取。

50、总损失函数：

51、ltotal＝λ0lis+λ1lpr+λ2lci；

52、其中，λ0,λ1,λ2分别为网络中的超参数，λ0＝1,λ1＝10,λ2＝5。

53、为解决上述技术问题，本发明还提供一种基于颜色空间偏振信息的低照度彩色偏振图像增强系统，包括：

54、颜色分解模块，用于对输入的低照度彩色偏振图像进行处理，获取颜色空间偏振信息图像；

55、低照度彩色偏振图像增强模块，用于对颜色空间偏振信息图像进行处理，生成增强后颜色空间偏振信息图像；

56、颜色合成模块，用于对增强后颜色空间偏振信息图像进行处理，获得增强后彩色偏振结果图像。

57、进一步地，所述低照度彩色偏振图像增强模块包括：初始卷积模块、三维偏振残差注意力模块及偏振色彩信息恢复模块；

58、其中，初始卷积模块、三维偏振残差注意力模块及偏振色彩信息恢复模块采取顺序串联方式获得增强后颜色空间偏振信息图像；

59、所述初始卷积模块，用于生成多通道关联特征图像；

60、所述三维偏振残差注意力模块，用于生成空间纹理图像；

61、所述偏振色彩信息恢复模块，用于处理偏振与色彩信息之间的复杂关系，生成增强后颜色空间偏振信息图像。

62、为解决上述技术问题，本发明还提供一种设备，包括：处理器，用于执行如上所述低照度彩色偏振图像增强方法的计算机程序；存储器，用于存储计算机程序和相关数据。

63、与现有技术相比，本技术具有以下优点：

64、(1)本发明第一次将颜色分解合成与深度学习技术进行结合对低照度彩色偏振图像进行增强，采用了较为新颖的算法，降低了目前低照度彩色偏振图像所存在的不足。

65、(2)本发明有效利用颜色通道、偏振和低照度信息，提供了更加清晰和色彩鲜明的图像增强效果，为填补国内外在此领域的技术空白开辟新的方向，本发明能够使用不同环境和场景，并且可以应用于各种类型的彩色偏振图像，有效弥补了目前低照度彩色偏振图像处理方面的技术缺失。

66、(3)传统的彩色偏振图像增强算法需要设计相关的特定先验条件才能获得较好的结果，且效率较低，无法应用于实际应用，本发明通过结合偏振、颜色通道信息和深度学习技术，有效地提高了彩色偏振图像在低光条件下的视觉质量。

67、(4)本发明通过使用多样性数据集进行训练和评估，确保算法在不同场景和环境下都具有泛化能力。此外，在训练数据时，还去除了可能导致技术偏见的因素，例如特定环境下的光照偏差。实施例中对各个方面的描述各有侧重，如果某个实施例没有详细描述或记录的部分，则可以参考其他实施例中相关的描述。