一种构建低光照增强数据集的方法与流程

本发明属于深度学习神经网络低层视觉任务中低光增强，特别涉及一种构建低光照增强数据集的方法。

背景技术：

1、近年来，随着科技的飞速发展，图像处理技术愈发成熟。现有的有监督深度学习低光增强，其本质上是学习从暗光图像的值域映射到亮图域的函数映射，为提高图像质量，提亮，去噪等任务都是希望基于一个模型完成，而目前主流的训练损失函数，都是一些综合任务的损失函数，客观评价标准如结构相似度以及峰值信噪比等，常常与视觉效果不能很好的匹配，因此网络自适应学习起到很重要的作用，即数据集的优劣显得尤为重要，而低光增强任务的数据集很难收集，目前的一些公共数据集体量都比较小，训练的模型泛化能力也有很大的弊端，很难适应真实场景下的低光增强任务。

2、目前，大多方案都是在一些公共数据集上比如voc、imagenet等数据集上抽取一部分，利用伽马变换获得暗图的数据，再简单的随机在暗光图像上添加如高斯分布、泊松分布的噪声，以此来模拟真实场景下的暗图。

3、然而，简单利用伽马变换对数据做变暗操作，训练出的模型一是不能很好的在真实场景下使用，二由于夜晚场景比较复杂，常常在存在一些极暗区域的同时又存在一系列光源部分，这些部分常常容易在图像上表现为过曝，通过简单的伽马变化则是只能让模型学到提亮的效果，而对于原本过曝的区域，经过使用这种数据集训练出的模型推理后甚至于会更加过曝，从而导致失去细节信息。

4、现有技术常用的技术术语：

5、图像信号处理isp：主要用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图像传感器。

6、短曝光与长曝光：通过改变曝光时间长短获取质量不同的数据，曝光时间短，进光量少图像暗，曝光时间长，进光量多图像更亮。

技术实现思路

1、为了解决上述问题，本申请的目的在于：通过本方法，采集到的数据集在多帧融合低光照增强任务中，可以很好的在低光增强的同时达到强光抑制的作用，对于原本过曝的部分，可以很好的抑制，从而达到恢复其中细节的作用。通过本方法的操作，可以最大限度的完善低光增强任务中关于强光抑制上的不足，更好地适应真实暗光场景。

2、具体地，本发明提供一种构建低光照增强数据集的方法，所述方法包括以下步骤：

3、s1.图像收集：在环境光较暗的情况下保持环境光不过暗的条件下，即环境亮度为0.2lux-2lux之间，通过改变曝光时间来获取亮度不同的图像；

4、s2.图像处理：模拟3d去噪的作用，获得低噪声的图像；

5、s3.筛选输入数据集：

6、将步骤s2处理后的图像中不存在过曝的图像作为数据集短帧，称为short，将小于最亮帧的其他帧作为数据集长帧，称为long，短帧与长帧之间随机组合；实际采集过程中通过控制曝光时间调整图像帧的亮度，同一场景上下限相同，所述最亮帧的标准是当前场景下通过调整曝光时间使得图像最亮且不含过曝区域；

7、s4.添标签数据集合成：

8、通过曝光融合的方式将经过步骤s2处理后图像合成为一张，作为标签图像，表示为gt，同一场景下，任何一组short、long组合都对应同一张gt；所述曝光融合的方法包括一种基于像素级图像的融合，是一种一级的融合方式，根据不同曝光的图像的不同像素值计算图像的权值函数：

9、是否良好曝光权值函数：

10、对于归一化至0～1范围的图像，将取值在0.5左右的像素视为曝光良好，应该分配大的权重；接近0和1的分别为欠曝和过曝应该分配小的权重；像素值与其对应权重的关系符合均值为0.5的高斯分布：

11、

12、分母参数常设置为0.2，l为亮度；

13、对比度权值函数：

14、对图像的灰度图执行拉普拉斯滤波，结果取绝对值作为对比度指标：

15、c(ik)＝|δgray(ik)|

16、饱和度权值函数：

17、rgb三通道之间差异大的视为饱和度高的区域，反之，对于过曝或者欠曝区域rgb三通道的值趋于一致，饱和度低，因此，将rgb三个通道之间的标准差作为饱和度指标：

18、

19、

20、获取以上3个指标后，就能计算每个像素对应的权重：

21、w＝c*s*e；

22、s5.对图像进行剪切：

23、选择以相同的窗口、相同的步长，同时在gt和与之对应的short与long上截取图像。

24、所述步骤s1中，将自然光下，通过调节曝光时间，拍摄一系列同一场景不同亮度的近景图像，要求此类图像中色彩不能太过单一即场景中同一种颜色且无细节的部分占据比例不超过30％，且同一曝光时间下拍摄多张；

25、所述同一曝光时间下拍摄多张在实际执行中采集500张；

26、所述拍摄一系列同一场景不同亮度的近景图像，包含了过暗与过曝的图像，曝光时间的上限在于图像不至于大面积过曝，曝光时间的下限在于图像不至于大面积欠曝，只针对含有光源的场景中，过曝部分占据比例不超过10％，欠曝部分占据比例不超过10％，其余场景要求不含过曝与欠曝。

27、所述步骤s1中进一步包括：

28、假设同一场景下，符合要求的曝光时间跨度内根据所需的步长能够拍摄不同曝光的图像共m张，那么对于每一个曝光时间都以相同的相机参数拍摄n张；所述曝光时间跨度在实际采集过程中通过控制曝光时间调整图像帧的亮度，同一场景上下限相同，最亮帧为当前场景下通过调整曝光时间使得图像最亮且不含过曝区域为标准，含有光源的场景过曝占比不超过10％，最暗帧为当前场景下通过调整曝光时间使得图像最暗且不含欠曝区域为标准，含有光源的场景欠曝占比不超过10％；所需的步长在实际执行中根据曝光上限与下限，在该范围内取10个值，步长相等。

29、所述步骤s2图像处理的具体步骤如下：

30、假设令步骤s1中不同曝光时间的m张图像命名为(t1，t2，...，tm)，对于每一个图都有n张相同相机参数拍摄的图像，设为(t11，t12，...t1n)，使用相加再取平均的方式合成，如下公式

31、

32、这样模拟3d去噪的作用，从何获得低噪声的图像。

33、所述步骤s3中对于经过步骤s2处理后的m张图像进行筛选。

34、所述步骤s4将经过步骤s2处理后的m张图像合成为一张。

35、由此，本申请的优势在于：

36、1、低光增强数据集一直以来都面临难以收集的问题，一些真实拍摄的数据集面临数据对齐困难问题，制造的数据集则泛化能力弱，因为夜景场景的复杂性，常常无法在数据集层面上对于强光抑制问题作出兼顾，本方法使用一系列固定的步骤，可以轻松获取大批量符合训练要求的数据，减少成本；

37、2、多对一的数据，可以使模型训练能够更好的适应不同光照条件下的任务，使得模型泛化能力得到提升。

技术特征：

1.一种构建低光照增强数据集的方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种构建低光照增强数据集的方法，其特征在于，所述步骤s1中，将自然光下，通过调节曝光时间，拍摄一系列同一场景不同亮度的近景图像，要求此类图像中色彩不能太过单一即场景中同一种颜色且无细节的部分占据比例不超过30％，且同一曝光时间下拍摄多张；

3.根据权利要求2所述的一种构建低光照增强数据集的方法，其特征在于，所述步骤s1中进一步包括：

4.根据权利要求3所述的一种构建低光照增强数据集的方法，其特征在于，所述步骤s2图像处理的具体步骤如下：

5.根据权利要求4所述的一种构建低光照增强数据集的方法，其特征在于，所述步骤s3中对于经过步骤s2处理后的m张图像进行筛选。

6.根据权利要求5所述的一种构建低光照增强数据集的方法，其特征在于，所述步骤s4将经过步骤s2处理后的m张图像合成为一张。

技术总结本发明提供一种构建低光照增强数据集的方法，包括：S1.图像收集：在环境光较暗的情况下，保持环境光不过暗的条件下，通过改变曝光时间来获取亮度不同的图像；S2.图像处理：模拟3D去噪的作用，获得低噪声的图像；S3.筛选输入数据集：将步骤S2处理后的图像中不存在过曝的图像作为数据集短帧，称为short，将小于最亮帧的其他帧作为数据集长帧，称为long，短帧与长帧之间随机组合；S4.添标签数据集合成：通过曝光融合的方式将经过步骤S2处理后图像合成为一张，作为标签图像，表示为gt，同一场景下，任何一组short、long组合都对应同一张gt；S5.对图像进行剪切：选择以相同的窗口、相同的步长，同时在gt和与之对应的short与long上截取图像。更好地适应真实暗光场景。技术研发人员：魏友奇受保护的技术使用者：合肥君正科技有限公司技术研发日：技术公布日：2024/9/12