一种用于低光照增强的强光抑制方法与流程

本发明属于深度学习神经网络低层视觉任务中低光增强，特别涉及一种用于低光照增强的强光抑制方法。

背景技术：

1、现在，随着多媒体技术和人工智能的飞速发展和广泛应用，人们在日常生活中大量使用图像信息。然而目前的成像技术，暗光条件下，受到低信噪比和低亮度的影响，图像的质量会受到很大的影响，需要进行图像提亮，图像修复和图像增强，改善图像的视觉效果。较之目前的深度学习低光图像增强方法对暗光图像的处理存在的提亮后过曝，图像亮度不均匀等问题，现亟需一种能够解决上述技术问题，能够经过训练得到的模型应用于暗光图像上得到增强图像的方法来对暗光环境的图像进行增强同时解决原有图像亮区部分的强光抑制方法。

2、近年来，作为图像处理领域的研究热点之一的低照度图像增强技术。许多研究学者已经专注于其算法的研究并且提出了各种各样的有效方法，但是局限于低照度环境的变换性和拍摄设备的各异性，现有的一些低照度图像增强算法都无法全面有效的适用于所有类型的低照度图像。特别是在高动态范围(high dynamic range)图像合成技术领域，目前常用的方法有全局直方图均衡化等一些传统方法，也有一些人提出基于深度学习的低光增强的算法，通过模型将原有的低光照图像提亮等。

3、然而，现有方法如传统方法全局直方图均衡化等适用于整体图像增强，但是它不适用于图像的局部特征，增强后的图像效果差；对于一些学者提出基于深度学习的单幅图像对比度增强算法，当图像存在大面积过曝区域时，该算法并不能对过曝区域进行良好的校正。原有过曝的部分经过网络简单的增强最多也只能达到不进一步增加过曝程度，而无法达到恢复过曝区域细节的目的。

4、现有技术常用的技术术语：

5、图像信号处理isp：主要用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图像传感器。

6、短曝光与长曝光：通过改变曝光时间长短获取质量不同的数据，曝光时间短，进光量少图像暗，曝光时间长，进光量多图像更亮。

7、深度学习：是机器学习(ml,machine learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ai,artificial intelligence)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

8、迭代训练，是深度学习术语，指的是数据集批量输入模型，通过损失函数反传梯度，优化模型的过程。

9、损失函数，是深度学习术语，将数据集目标数据与模型输出计算损失函数，反传梯度从而优化模型的参数。

10、曝光融合：曝光融合是一种将使用不同曝光设置拍摄的图像组合成一个看起来像色调映射的高动态范围(hdr)图像的方法。

技术实现思路

1、为了解决上述问题，本技术的目的在于：提供一种基于深度学习的低光图像增强方法以解决现有的图像增强方法得到的增强后的图像效果差，无法恢复过曝的技术问题。提出一种用于低光增强的强光抑制方法。

2、具体地，本发明提供一种用于低光照增强的强光抑制方法，所述方法包括以下步骤：

3、s1，采集图像作为构建的训练数据集，并对所述训练数据集进行合并与扩充；所述采集的数据集同一场景下有两种，

4、1、输入：短曝光，目标：长曝光；

5、2、输入：短曝光、长曝光，目标：曝光融合图像；

6、第二种的输入短曝光、长曝光能够作为第一种数据集的输入与目标，这里的合并是指两者的通用；

7、s2，搭建cnn网络模型且此模型使用所述数据集训练，所述cnn网络模型包括增强网络与融合网络，所述增强网络包括下采样层、上采样层、跳跃连接层、残差层、自注意力机制层和输出层，所述融合网络包括跳跃连接层、残差层、融合层；

8、其中，所述下采样与上采样分别采用space_to_depth与depth_to_space的方式实现，以避免出现由于池化操作造成的模糊与反卷积造成的棋盘格问题；

9、其中，所述自注意机制层使用通道自注意力结构实现，所述通道自注意力结构，包括：gap为全局平均池化、fc为全连接，relu为relu激活函数，sigmoid为sigmoid激活函数，feature为特征图；

10、s3，对所述cnn网络模型进行迭代训练，更新所述cnn网络模型的各个可学习参数使模型效果达到最佳且稳定即无法继续优化时完成训练；

11、s4，根据完成训练的所述cnn网络模型进行模型推断最终得到暗光图像增强网络模型，并通过此模型对输入图像进行图像增强，得到最终结果；其中，所述推断进一步包括：

12、s4.1，需要获取目标场景的至少两张不同曝光图像，长曝光意在尽可能包含暗区的细节信息，短曝光意在尽可能获取图像内部过曝区域的细节信息，即长曝光图像不含欠曝或欠曝部分占比小于5％，短曝光图像不含过曝或过曝部分占比小于5％的信息，称短曝光图像为第一阶段待处理图像一，长曝光图像为第一阶段待处理图像二；

13、s4.2，将所述第一阶段待处理图像二输入所述增强网络，得到第二阶段待处理图像三；

14、s4.3，将所述第一阶段待处理图像一、第一阶段待处理图像二、第二阶段待处理图像三合并输入融合网络，融合网络输出为权重，所述合并使用concat连接操作完成；

15、s4.4，得到权重，分别与第一阶段待处理图像一、第一阶段待处理图像二、第二阶段待处理图像三加权再相加：

16、w1,w2,w3＝split(w)

17、out＝f1*w1+f2*w2+f3*w3w为网络输出，拆分成三个权重w1，w2，w3，out为最终输出，f1,f2,f3分别为第一阶段待处理图像一、第一阶段待处理图像二、第二阶段待处理图像三。

18、所述步骤s1中，所述训练数据集分为输入数据和目标数据，输入数据分为两部分，第一数据集的输入数据集为在不同条件下拍摄的短曝光图像，用以模拟暗光图像，所述第一数据集目标数据为同一拍摄条件下的长曝光图像；第二数据集的输入数据集为一个拍摄条件下至少两张不同曝光图像的数据，在实施过程中使用两张，所述第二数据集目标数据为同一拍摄条件下的多张不同曝光图像通过使用曝光融合方法合成的图像数据，所述曝光融合方法是一种基于像素级图像的融合,是一种一级的融合方式，根据不同曝光的图像的不同像素值计算图像的权值函数:

19、是否良好曝光权值函数:

20、对于归一化至0～1范围的图像，将取值在接近0.5的像素视为良好曝光，应该分配大的权重；接近0和1的分别为欠曝和过曝应该分配小的权重，像素值与其对应权重的关系符合均值为0.5的高斯分布：

21、

22、分母参数常设置为0.2，l为亮度；

23、对比度权值函数：

24、对图像的灰度图执行拉普拉斯滤波，结果取绝对值作为对比度指标：

25、c(ik)＝|δgray(ik)|；

26、饱和度权值函数：

27、rgb三通道之间差异大的视为饱和度高的区域，反之，对于过曝或者欠曝区域rgb三通道的值趋于一致，饱和度低，因此，将rgb三个通道之间的标准差作为饱和度指标：

28、

29、

30、获取以上3个指标后，就能计算每个像素对应的权重：

31、w＝c*s*e；

32、所述第二数据集的拍摄场景包含内部光源以提供过曝部分；

33、所述扩充包括翻转、裁剪、gamma变换，所述扩充对于第一、第二数据集都适用。

34、所述第二数据集目标图像的合成方法也可以采用合成高动态范围hdr图像的方式进行。

35、所述步骤s3中，所述各个可学习参数包括模型权重、偏置。

36、所述步骤s3中，所述增强网络与融合网络能够分开训练，在实施过程中通过所述第一数据集先训练增强网络，再使用训练好的增强网络与第二数据集训练融合网络；

37、其中损失函数采用结构相似性损失、平均绝对误差损失、感知损失、对比度增强损失、锐化损失的综合损失函数。

38、所述步骤s3中的损失函数只使用了结构相似性损失、平均绝对误差损失、感知损失：

39、结构相似性损失：

40、通常在计算两幅图像的差异时，使用mse损失容易受到光照的干扰，对于两幅图像x，y

41、ssim(x,y)＝l(x,y)·c(x,y)·s(x,y)

42、

43、其中，k1常取0.01

44、

45、

46、

47、

48、则

49、

50、平均绝对误差损失：

51、

52、感知损失:

53、感知损失是将模型输出与目标数据输入vgg网络，取出相同层的feature，计算平均绝对误差损失。

54、所述方法实施过程中所采用的是raw数据。

55、所述方法用于低光增强强光抑制任务的网络及训练。

56、由此，本技术的优势在于：

57、1、低光增强任务一直以来存在无法恢复过曝区域细节问题，本技术方法可以很好的完成低光增强任务基础上的强光抑制任务；

58、2、通过深度学习的方法，较之以往的传统方法，效果更佳，图像更真实，亮度更加均匀；

59、3、分步训练的方式很好的促成模型的收敛效果，且各部分模型目标清晰，使得模型效果可控。