一种基于颜色偏移矫正的夜光图像增强方法及装置与流程

本发明涉及图像处理的，特别是指一种基于颜色偏移矫正的夜光图像增强方法及装置。

背景技术：

1、基于互联网的技术中，图像成为了至关重要的信息呈现载体，可以将信息更加直观地传递和呈现给我们。人类从外界获取的80%以上的信息都来自于人眼，由此可见，人类对图像质量的要求也会越来越高。图像处理技术一直是学者和专家们研究的热点和难点，其应用前景也非常广阔的[1]。

2、现实世界的场景通常涉及广泛的照明，这给摄影带来了巨大的挑战。不均匀的场景照明很容易产生曝光过度和曝光不足。在曝光不足的情况下拍摄图像通常会遇到可见性不理想的问题，例如几乎看不到细节，对比度相对较低，以及颜色暗淡。这种退化的图像不仅不能捕捉到用户想要的东西，而且还挑战了许多计算机视觉任务，因此有必要增强图像并获得良好的视觉效果[2]。

3、在夜间或者低光照条件下，由于环境因素的限制，人类拍摄到的图像往往会变得模糊不清、暗淡无光，这会降低拍摄效果，从而影响下游任务的开展。夜间图像增强技术可以对拍摄的图像进行处理，使其在低光照条件下获得更好的显示效果。常见的夜间图像增强技术包括亮度增强、对比度增强、色彩平衡、噪声抑制等。这些技术可以提高图像的清晰度、鲜明度和色彩还原度，从而使图像更加真实、准确、可靠。

4、传统的低光照图像增强方法大致包括基于直方图均衡（histogramequalization，he)的方法、白平衡[3]、灰度边缘假设[4]和基于retinex（retina andcortex）理论[5]的方法。直方图均衡方法通过扩展全局和局部灰度级别的动态范围来增加图像的对比度。基于直方图均衡的方法的局限性显而易见，因为它们忽略了有关图像结构的信息。采用retinex理论的方法通常将图像分解为反射和照明分量，通常认为反射率分量在任何照明条件下都是一致的，因此图像增强被表述为一个照明估计问题。

5、图像融合包括决策级融合、特征级融合、数据级融合（又叫像素级融合）。由于单一的传统算法处理效果不佳，ancuti等人第一次提出了一种基于融合的方法。该算法的思路是：首先，从输入图像中生成两幅用于融合的图像；然后，根据两幅待融合图像的对比度、显著特征和曝光量确定四个融合权重；最后，采用多尺度融合策略，将两幅图像和确定的权重进行融合，得到对比度增强和细节突出的增强图像。

6、基于传统算法的图像增强存在局限性，于是很多研究者开始使用卷积神经网络对低照度图像进行增强，提出了各种网络结构。由于基于 retinex的理论比较实用，一些网络结构融合了retinex理论，这类算法的思路是通过训练好的网络模型提取出入射光，然后对其进行调整，接着根据retinex模型计算出反射率，最后得到增强图像。

7、与其他常规视觉任务不同，利用深度网络解决低光照图像增强问题仍然不够成熟。核心难点在于缺乏有效的训练数据对。直到研究人员开发了一系列具有弱光输入和正常曝光标签的成对数据集，进而推动了低光照图像增强深度网络技术的发展。基于此，本发明旨在提出一种基于颜色偏移矫正的夜光图像增强算法。

8、背景技术中涉及的文献如下：

9、[1]付春豹. 低照度彩色图像增强算法的研究[d].长春工业大学,2024.doi:10.27805/d.cnki.gccgy.2023.000729。

10、[2]张航,颜佳.语义分割和hsv色彩空间引导的低光照图像增强[j].中国图象图形学报,2024,29(04):966-977。

11、[3]abdullah-al-wadud m, kabir m h, dewan m a a, et al. a dynamichistogram equalization for image contrast enhancement[j]. ieee transactionson consumer electronics, 2007, 53(2): 593-600。

12、[4]automatic white balance for digital still cameras[j]. journal ofinformation science and engineering, 2006, 22(3): 497-509。

13、[5]马龙, 马腾宇, 刘日升. 低光照图像增强算法综述[j]. 2022。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于颜色偏移矫正的夜光图像增强方法，能够处理曝光不足的夜光图像，从而生成该夜光图像对应的曝光正常的图像。

2、为了达成上述目的，本发明的解决方案是：

3、一种基于颜色偏移矫正的夜光图像增强方法，其包括如下步骤：

4、步骤a，夜光图像增强模型设计：包括一个基于u-net的特征提取模块、一个颜色偏移估计模块和一个颜色偏移矫正模块；

5、步骤b，从样本库中选取合适的开源数据集来进行实验；

6、步骤c，构建基于颜色偏移矫正的夜光图像增强模型；

7、步骤c1，构建并训练基于u-net的特征提取模块；自样本库中提取任意图像，获取该图像对应的过度曝光图像和曝光不足图像以及对应的真实图像，将曝光图像和曝光不足图像输入到基于u-net的特征提取模块，提取到对应的一维亮度特征图和；

8、步骤c2，一维亮度特征图和通过亮度估计得到三维亮色特征和三维暗色特征，再将三维亮色特征和三维暗色特征以及过度曝光图像输入到融合特征生成器得到融合后的三维亮度补偿特征图；

9、步骤c3，融合后的三维亮度补偿特征图作为一个辅助补偿信息与三维亮色特征和三维暗色特征经过颜色偏移估计模块分别可以得到亮色偏移量和暗色偏移量；

10、步骤c4，亮色偏移量和暗色偏移量以及过度曝光图像输入到颜色偏移矫正模块中以得到最后的模型输出；

11、在训练阶段，夜光图像增强模型通过亮度估计得到三维亮色特征和三维暗色特征的过程通过以下计算方式进行计算：

12、

13、

14、在训练阶段，模型输出与真实图像之间的差异通过以下损失函数进行计算，以调整网络参数：

15、

16、其中，、分别是平均绝对值误差、余弦相似度、结构相似性损失和vgg损失，、是超参数。

17、进一步，所述步骤c3具体包括以下步骤：

18、步骤c31，输入三维亮度补偿特征图与三维亮色特征，将这两个特征合并在一起，得到合并后的六维特征；

19、步骤c32，合并后的特征接着经过颜色卷积、位置卷积和偏移卷积得到特征、、，亮色特征特征相加后再与相乘利用颜色空间可变卷积来计算颜色偏移量，并生成亮色偏移量特征图；

20、步骤c33，输入三维亮度补偿特征图与三维暗色特征，将这两个特征合并在一起，得到合并后的六维特征；

21、步骤c34，合并后的特征接着经过颜色卷积、位置卷积和偏移卷积得到特征、、，特征相加后再与相乘利用颜色空间可变卷积来计算颜色偏移量，并生成暗色偏移量特征图。

22、进一步，所述步骤c4具体包括以下步骤：

23、步骤c41，输入亮色偏移量，分别经过3个1*1的卷积、、，得到特征，、，输入暗色偏移量，经过3个1*1的卷积、、，得到特征，、，输入图像，经过3个1*1的卷积、、，得到特征，、；

24、步骤c42，将卷积后的结果，、、，通过交叉注意力机制生成增强之后的图像；

25、进一步，所述步骤c后还包括步骤d：对构建的夜光图像增强模型进行训练，得到最终的颜色偏移矫正模型的模型参数，对图像进行测试，输入图像，得到颜色偏移矫正后的图像。

26、本发明的另一目的在于克服现有技术的不足，提供一种基于颜色偏移矫正的夜光图像增强装置，能够处理曝光不足的夜光图像，从而生成该夜光图像对应的曝光正常的图像。

27、为了达成上述目的，本发明的解决方案是：

28、一种基于颜色偏移矫正的夜光图像增强装置，包括模型构建及训练模块，模型构建及训练模块具有夜光图像增强模型对夜光图像进行处理，从而得到颜色偏移校正后的夜光图像；

29、所述模型构建及训练模块采用所述的基于颜色偏移矫正的夜光图像增强方法构建并训练从而得到基于颜色偏移矫正的所述夜光图像增强模型。

30、采用上述结构后，本发明基于颜色偏移矫正的夜光图像增强方法及装置考虑到模型的鲁棒性和可解释性，采用u-net网络来提取过度曝光和曝光不足的图像特征，然后通过一个融合特征生成器来生成亮度补偿特征图。通过颜色偏移模块来估计夜光图像的颜色特征图与亮度补偿特征图之间的颜色偏移。最后根据这些偏移量对图像的颜色偏移进行矫正以实现夜光图像增强。实验结果表明，本发明不仅能够提高图像的亮度，而且可以更好地保留图像细节和色彩信息。此外，消融研究结果突出了本发明方法的优秀模型性能。通过实验验证了本发明提出的颜色偏移矫正对夜光图像增强的有效性。

31、相较于现有技术，本发明具有以下有益效果：

32、（1）本发明采用u-net网络来提取过度曝光和曝光不足的图像特征，然后通过一个融合特征生成器来生成亮度补偿特征图。

33、（2）本发明通过颜色偏移模块来估计夜光图像的颜色特征图与亮度补偿特征图之间的颜色偏移，再根据这些偏移量对图像的颜色偏移进行矫正以实现夜光图像增强。

34、（3）本发明通过在低光照图像数据集上进行实验并与其他方法进行比较，实验结果表明，本发明不仅能够提高图像的亮度，而且可以更好地保留图像细节和色彩信息。