基于动态特征聚合和色彩校正的零样本低光图像增强方法

本发明属于计算机视觉和图像处理，具体涉及一种基于动态特征聚合和色彩校正的零样本低光图像增强方法。

背景技术：

1、低光图像增强技术可以有效地去除图像中因次优光照条件，例如光线昏暗、背光和光照不均匀等导致的亮度过低、局部过曝或者欠曝和色彩失真等缺陷，恢复场景中的信息并改善图像的审美质量，一直都是图像处理中的重要研究方向。

2、随着深度学习技术在近几年快速发展，其在低光图像增强领域逐渐成为主流，相关的方法也因此具有更高的准确性和更强的鲁棒性。基于深度学习的低光图像增强方法依照其学习策略可以分为基于监督学习的方法和基于非监督学习的方法。基于监督学习的方法虽然可以在某些数据集上取得较好的视觉效果和评价指标，但它们需要成对的低光-正常光图像作为训练数据，这在许多次优光照场景中是难以获取的。训练数据的局限性也使得这类方法的泛化能力较差，难以应对光照条件复杂多变的场景。基于非监督学习的方法中，基于无监督学习的方法虽然不需要配对图像，但在构造数据集时仍然需要对图像进行挑选并分类为低光图像和正常光图像，这在一定程度上仍然局限着模型的泛化能力。

3、因此，还出现了基于零样本学习的方法。这类方法更进一步完全消除对配对和未配对图像的需求，并设置一系列不依赖标签或真实值的无参考损失函数来指导训练，避免了人工选择训练数据的偏差导致模型泛化能力受限。然而，现有的零样本方法存在一些局限性。首先，次优光照场景本身具有多样性，这些场景间光照分布差异巨大，但现有零样本方法中的普通卷积神经网络在面对不同条件的图像时缺乏灵活性，因此在一些场景，尤其是极暗环境中无法充分地增强图像。然后，由于现有的零样本方法中仅使用色彩恒常性假设构造颜色损失函数以防止整体偏色，而对于局部区域或目标的色彩保持缺乏约束，因此增强图像存在颜色失真和色彩对比度偏低的问题。

技术实现思路

1、本发明的目的在于，提供一种基于动态特征聚合和色彩校正的零样本低光图像增强方法，将动态特征聚合运用到增强曲线估计网络中，充分发挥跳跃连接和注意力机制可以自适应选择和学习特征的能力，从多种次优光照场景，尤其是极暗环境的低光图像中估计出合适的增强曲线，以增强图像的亮度，同时利用低光图像中的色彩先验信息对增强曲线进行校正，防止增强过程中的颜色失真，并提升整体色彩对比度，此外，零样本学习的方式能够有效解决训练样本获取困难和模型泛化能力受训练数据限制的问题。

2、为解决上述技术问题，本发明的技术方案为：基于动态特征聚合和色彩校正的零样本低光图像增强方法，包括以下步骤：

3、s1、将预设的训练图像缩放至n×n大小，对其r、g、b三颜色通道计算得到色彩校正因子，将缩放后的训练图像及其色彩校正因子输入预设的增强曲线估计网络，根据预设的曲线表达式得到每个像素每次迭代时相应的增强曲线，通过色彩校正因子对增强曲线进行修正，对缩放后的训练图像通过修正后的增强曲线迭代k次，得到初步的增强结果；其中，128≤n≤512，且n为16的整数倍；2≤k≤10；

4、s2、对修正后的增强曲线的参数矩阵和初步的增强结果计算无参考损失，根据反向传播方法对增强曲线估计网络进行预设的训练轮数的训练；

5、s3、计算预设的测试图像的色彩校正因子，并将测试图像及其色彩校正因子输入训练后的增强曲线估计网络得到测试图像对应的增强曲线，通过测试图像的色彩校正因子对增强曲线进行修正，对测试图像通过修正后其对应的增强曲线迭代k次，得到最终的增强图像。

6、s1具体为：

7、s1a、对缩放后的训练图像r、g、b三颜色通道中的每个像素，依据其所在通道像素值的最大值和最小值计算得到其对应的色彩校正因子；

8、s1b、缩放后的训练图像及其色彩校正因子拼接并输入增强曲线估计网络，预测得到每次迭代后生成的增强曲线；

9、s1c、通过色彩校正因子对增强曲线进行修正，对缩放后的训练图像通过修正后的增强曲线迭代k次，得到初步的增强结果。

10、s2具体为：

11、s2a、根据修正后的增强曲线的参数矩阵和初步的增强结果计算无参考损失，并通过无参考损失进行加权表示总损失函数值，无参考损失具体包括四类损失函数，分别为邻域对比度损失、全局色彩损失、亮度损失以及增强平滑损失；

12、s2b、根据总损失函数值通过反向传播方法对增强曲线估计网络进行预设的训练轮数的训练。

13、s1a具体为：

14、色彩校正因子的定义为：对于坐标为(i,j)的像素i(i,j)，其对应的色彩校正因子定义为：

15、

16、其中，max和min分别为标准化后的像素值范围，φ和分别表示r、g、b三颜色通道中的最大值和最小值；

17、分别从r、g、b三颜色通道中计算并整合得到总体的色彩校正因子ψ(i,j)为：

18、

19、其中，ψr(i,j)、ψg(i,j)、ψb(i,j)分别为像素i(i,j)在r、g、b三颜色通道中分别对应的色彩校正因子，ψ的尺寸为3×n×n。

20、s1b具体为：

21、将缩放后的训练图像及其色彩校正因子拼接后输入增强曲线估计网络，增强曲线估计网络至少包括：三个3×3的浅层特征提取卷积层、两个结构相同的动态特征提取模块、一个通道注意块以及一个像素注意块；其中，动态特征提取块至少包括：三个3×3卷积层、一个relu激活函数层、一个通道注意块以及一个像素注意块；通道注意块至少包括：两个1×1卷积层、一个平均池化层、一个relu激活函数层以及一个sigmoid激活函数层；像素注意块至少包括：两个3×3卷积层、一个relu激活函数层以及一个sigmoid激活函数层；

22、对于缩放后的训练图像及其色彩校正因子拼接后的输入，首先使用一个3×3卷积提取出浅层特征f，对f依次通过两个结构相同的动态特征提取模块，其中的第二个动态特征提取模块以第一个动态特征提取模块的输出作为输入，在第一个动态特征提取模块中，首先对f进行包括一个3×3卷积层和relu激活函数的残差映射，得到特征fr：

23、

24、将fr通过一个3×3卷积层，再计算其通道和像素注意力并进行特征加权，以及一个跳跃连接，得到注意力筛选出的特征fatt：

25、

26、其中，pa和ca分别为像素注意块和通道注意块；

27、在通道注意力加权中，对于第c个通道的特征fc，进行全局平均池化，随后经过两个1×1卷积层和sigmoid以及relu激活函数，得到其权重表示为：

28、

29、其中，gap为全局平均池化，σ为sigmoid激活函数；

30、将每个通道的特征和其对应权重相乘，完成对不同通道特征的自适应选择，其中，对于第c个通道的特征fc和其对应权重相乘，表示为：

31、

32、其中，为经过第c个通道加权的特征；

33、对经过通道加权的特征进行像素注意力加权和选择：对经过通道加权的特征通过两个3×3卷积层和sigmoid以及relu激活函数，得到特征图中所有像素的权重进行一次跳跃连接，得到像素注意块的输出特征f*，表示为：

34、

35、动态特征提取模块中，特征f*即为通过注意力筛选出的特征fatt，将fatt通过一个3×3卷积层以及跳跃连接，得到第n个动态特征提取模块的输出特征fn，表示为：

36、

37、将两个动态特征提取模块提取到的不同深度的特征通过注意力运算进行动态聚合，得到最终提取到的特征fagg，表示为：

38、

39、将fagg通过两个3×3的后处理卷积层，预测得到尺寸为3k×n×n的增强曲线的参数矩阵对应于低光图像每个颜色通道中每个像素的k次迭代过程的增强曲线。

40、s1c具体为：

41、通过色彩校正因子修正增强曲线，得到最终的增强曲线的参数矩阵为：

42、

43、其中，i表示图像的第i次迭代增强；

44、依据预设曲线表达式得到相应的增强曲线，对缩放后的训练图像通过修正后的增强曲线迭代，修正后的增强曲线表示为：

45、

46、其中，yi表示第i次迭代增强后的图像；

47、每一次迭代增强都以前一次迭代增强的输出作为输入，经过k次迭代后输出初步的增强结果。

48、s2a具体为：

49、计算初步的增强结果和缩放后的训练图像之间的邻域对比度损失lnc：

50、

51、其中，a为图像中划分出的大小为4×4的局部区域个数，n4(i)表示以区域i为中心的上、下、左、右四个相邻区域，y和i分别表示初步的增强结果和缩放后的训练图像的局部区域强度平均值；

52、对初步的增强结果分别计算全局色彩损失lrgb以及亮度损失lbr；其中，全局色彩损失lrgb的计算方法表示为：

53、

54、其中，ym和yn分别表示m和n颜色通道的平均亮度；

55、亮度损失lbr的计算方法表示为：

56、

57、其中，m是大小为16×16的不重叠局部区域的个数，yk是每个局部的平均亮度；e是常数，代表一个可视度良好的亮度水平；

58、对修正后的增强曲线的参数矩阵计算增强平滑损失ltv，表示为：

59、

60、其中，n代表训练时的batch大小，和分别表示水平和垂直方向的梯度，是修正后的增强曲线的参数矩阵。

61、最终，总损失函数ltotal表示为以上四项损失函数的加权和，表示为：

62、ltotal＝αlnc+lrgb+βlbr+γltv

63、其中，α，β，γ均为控制损失项权值的常数。

64、s2b具体为：

65、在得到总损失函数值后，使用adam优化器以1e-4的学习率根据总损失函数值通过反向传播方法对增强曲线估计网络进行预设的训练轮数的训练。

66、n取256。

67、k取8。

68、与现有技术相比，本发明的有益效果为：

69、本发明将动态特征聚合运用到增强曲线估计网络中。充分发挥跳跃连接和注意力机制可以自适应选择和学习特征的能力，从多种次优光照场景，尤其是极暗环境的低光图像中估计出合适的增强曲线，以增强图像的亮度。同时利用低光图像中的色彩先验信息对增强曲线进行校正，防止增强过程中的颜色失真，并提升整体色彩对比度。此外，零样本学习的方式能够有效解决训练样本获取困难和模型泛化能力受训练数据限制的问题。