基于偏振特征的低照度图像辉光效应抑制的方法

本发明涉及偏振光学、图像层分解技术、apsf辉光渲染技术和低光图像注意力增强技术，基于偏振特征的低照度图像辉光效应抑制的方法。

背景技术：

1、偏振光学是研究光波振动方向被限定在特定平面内的现象。在图像处理领域，偏振技术利用光波的偏振特性，通过偏振滤波器来控制成像过程中的特定振动方向，能有效抑制非金属表面的眩光和反射，增强图像的对比度和细节清晰度，可用于增强图像质量，在3d成像、遥感探测、医学成像和计算机视觉中，偏振图像处理技术可以显著提升图像质量，帮助突出特定特征，从而在图像分析和解释中提供更准确的信息。

2、图像层分解技术是一种将复杂图像分解为多个独立层的方法，以便于单独处理和分析。这种方法通常将图像分为底层(平滑层)和细节层，底层包含图像的主要结构和阴影，而细节层则包含边缘、纹理和其他高频信息。通过这种方式，可以在图像编辑、增强和分析中实现更精细的控制，例如在去除噪声、提高分辨率或进行特征提取时，只对特定层进行操作。

3、apsf(空间可变点扩散函数)辉光渲染技术是一种图像处理方法，用于模拟光源在图像中的散射效果。该技术通过考虑光源的方向性和空间分布，创造出更加自然和真实的辉光效果。在渲染过程中，apsf使用一系列加权函数来调整图像中每个像素的亮度，从而在物体边缘周围产生柔和的光晕。这种方法广泛应用于计算机图形学和视觉效果领域，增强视觉体验，尤其在模拟复杂光照环境下的场景时效果显著。

4、现有的低光图像注意力增强技术主要是针对正常低光图像场景进行设计，但是在实际场景中，由于辉光效应的存在，会使现有的低光图像增强技术错误的以辉光区域为基准，造成图像的光污染，导致图像模糊和分辨不清等。

技术实现思路

1、本发明的目的是为了弥补现有的低光图像增强技术的不足，提供了一种基于偏振特征的低照度图像辉光效应抑制的方法。这种方法能对真实低光图像中的光效应进行去除，并针对性的增强暗区、抑制亮区增强，让增强后的低光图像拥有更高的对比度，改善目标检测、语义分割等下游任务的效果。

2、本发明包含以下主要步骤：

3、1.一种基于偏振特征的低照度图像辉光效应抑制的方法，包括如下步骤：

4、(1)制作合成数据源，建立学习图像集：

5、(1-1)使用大气点扩散函数对正常夜间灯光图像操作，将自己搜集的正常夜间光照图像集，合成为成对清洁-辉光数据集syn-glow，再对数据集syn-glow做人工偏振处理，得到合成的成对偏振清洁-辉光数据集syn-polarization-glow。

6、(1-2)gta5是一个人工合成的夜间去雾辉光数据集，由gta5游戏引擎生成。共包含864张成对图像，其中787张成对图像作为训练集，其余图像作为测试集。

7、(2)使用stokes参数表示偏振光，过程包括：

8、(2-1)将所有无光效清洁夜间图像clear-images和光效夜间图像light-effects-images进行预处理，缩放到统一的宽度和高度，256×256；

9、(2-2)为了保持图像的偏振相关性，将同时获取的四幅偏振图像(i0、i45、i90、i135)打包成一个四维输入，根据stokes参数得到高维合成图像s0。stokes参数表达式具体为式(1)：

10、

11、(3)搭建光源分解网络模块，见图2，过程包括：

12、(3-1)将(2-2)中得到的高维合成图像s0送入光源提取模块中，见图2，用于提取干净的光源图。

13、(3-2)获取光源掩膜图，具体为：

14、(3-2-1)沿着图像的三个维度通道取最大值，设置一个阈值α，创建一个二值掩码图bm，其中的非零元素表示原始图像中最亮的区域，估算光源占原图像的比例。

15、(3-2-2)构建线性系统，求解线性系统得到纹理图t，见式(2)。

16、t＝(l+σe)/(bm*σ)       (2)

17、(3-2-3)将求解得到的一维纹理图t重塑回与原始高维合成图像s0相同的三维尺寸，得到经过拉普拉斯纹理增强的掩膜图m，对掩膜图m和高维合成图像s0做像素乘法得到光源掩膜图像is见式(3)：

18、is＝m×ic         (3)

19、(4)构建大气偏振图像分解网络(atmospheric polarisation imagedecomposition network，apid-net)，分解得到大气反射光图像j与大气透射率图t。apid-net包含两个分支，其中主分支包含六个卷积神经网络模块，副分支包含三个卷积神经网络模块，见图3。

20、(4-1)构建apid-net主分支，包含六个卷积神经网络模块，见图3。

21、(4-2)构建apid-net副分支，包含三个卷积神经网络模块，见图3。

22、(4-3)在偏振视角下，相机接收到的总辐照度i由目标衰减反射光的辐照度d和大气部分偏振光的辐照度a组成。这种总辐照度可以具体表示为式(4)：

23、i＝d+a＝j(x)·t(x)+a∞·[1-t(x)]   (4)

24、j(x)是大气反射光图像，t(x)是大气透过率，a∞是对应于无穷大的大气光，本发明中使用3-2)获取的光源掩膜图is来改进，见式(5)：

25、i＝j(x)·t(x)+is       (5)

26、结合2-2)得到的偏振下的高维合成图像s0，得到正向激励背景图像b，见式(6)：

27、

28、(4-4)构建该部分的损失函数。包括初始化步骤的损失，见式(7)；颜色恒定先验损失，见式(8)；梯度排除损失见式(9)。

29、

30、

31、

32、(5)构建多输入注意力增强模块(miae)，见图4，包括下采样、残差网络、上采样和鉴别器部分：

33、(5-1)将2-2)得到的s0、(3-2)获得的is和(4-3)获得的b拼接起来得到g(s0，is，b)，g作为输入到注意力模块中的数据。

34、5-2)构建下采样模块，见图5。输入通道为64，输出通道为256，激活函数为relu，使用批量归一化和最大池化层。

35、(5-3)构建残差网络，见图6。使用六个相同的残差块叠加。

36、(5-4)构建上采样模块，见图7。输入通道为256，输出通道为64，激活函数为relu，使用批量归一化和最大池化层。

37、(5-5)鉴别器模块构建，见图8。用一个不使用循环一致性损失的轻量级的gan作为鉴别器网络。第一个卷积块，输入通道为3，输出通道为64；第二个卷积块输出通道为128；第三个卷积块输出通道为256；第四个卷积块输出通道为512；第五个卷积块输出通道为1。

38、(5-6)计算图像特征保持损失，见式(10)。

39、

40、(5-7)计算总损失，见式(11)。

41、

42、2.根据权利要求书1所述的基于偏振特征的低照度图像辉光效应抑制的方法，其特征在于利用偏振效应解决低光增强中光效应导致增强后图像出现光污染、辉光效应的问题。首先，本发明用stokes参数把同一图像的4d偏振图像表示成一张充满偏振光信息的高维合成图像；其次，求解构建的线性系统获得干净的光源图；然后，使用层分解网络将高维合成图像s0分解为大气反射光图像j与大气透射率图t；最后，使用大气散射的基本物理模型合成多输入注意力增强模块(miae)所需的多维图像输入，该输入经过miae中的下采样、残差连接、上采样、鉴别器模块后，会输出一张抑制了光效应的夜间低光增强图像。