一种由粗到细的多尺度双支路图像曝光校正方法与流程

本发明属于图像处理，涉及一种由粗到细的多尺度双支路图像曝光校正方法，通过双支路光照学习机制在一张图片中同时定位过曝和欠曝区域，并进行区域图像自适应增强，同时结合多尺度曝光融合算法将增强后的不同曝光图像融合为信息更丰富的图像。

背景技术：

1、当图像中同时存在欠曝和过曝区域时，可能会导致图像细节的丢失和信息不完整，通过图像曝光校正技术，可以帮助恢复图像中欠曝和过曝区域的细节和信息，使得图像更加丰富和完整。这对于许多应用领域如计算机视觉、医学图像处理和遥感图像分析等至关重要。同时，在许多图像处理任务中，欠曝和过曝的图像可能会降低后续处理算法的性能，如目标检测、图像分割等，通过曝光校正技术，可以在图像预处理阶段就对图像进行调整，从而提高后续处理算法的准确性和效率。例如，cn112581392a公开了一种基于双向光照估计与融合修复的图像曝光校正方法、系统及存储介质，所述方法包括：将原始输入图像i及其反向图inv输入双向光照估计网络，得到前向光照图s和反向光照图sinv；联合i、inv、s和sinv得到欠曝光校正结果uc和过曝光校正结果oc；融合网络将所述i、uc和oc中曝光质量良好的区域融合在一起，输出最终图像；cn118014916a公开了一种基于unet网络的图像曝光校正方法及装置，其中方法包括：获取初始图像；将所述初始图像输入拉普拉斯分解模块，得到所述初始图像对应的拉普拉斯金字塔；所述拉普拉斯金字塔中包括至少一个分解图像；基于曝光校正模型，对所述拉普拉斯金字塔进行重建，得到所述初始图像经过曝光校正后的清晰图像；所述曝光校正模型是基于融合注意力模块和空洞残差密集模块对unet网络进行构建得到的。

2、然而，图像曝光校正技术还面临着一些挑战和问题，包括：一是现有的图像增强方法通常用于解决输入图像中的单一曝光问题，即过度或不足曝光问题。当输入图像的照度同时存在曝光过度和曝光不足的问题时，这些现有的方法可能不能很好地工作；二是单张图像由于存在欠曝和过曝区域的情况，可能无法覆盖广泛的动态范围，如何通过多曝光融合技术合成一张具有更广动态范围的图像是一个具有挑战性的任务。因此，亟需一种由粗到细的多尺度双支路图像曝光校正方法，解决输入图像中同时存在的曝光过度和曝光不足问题，并获得具有较好视觉质量的增强图像。

技术实现思路

1、本发明的目的在于克服现有技术存在的缺点，设计提供以一种由粗到细的多尺度双支路图像曝光校正方法，先通过动态区域感知卷积来学习过曝和欠曝区域的区域表示，再结合双支路光照学习机制在一张图片中同时定位过曝和欠曝区域，然后通过多尺度曝光融合技术将曝光校正后的多张图像进行融合，输出最终的融合图像。

2、为实现上述目的，本发明采用如下技术方案：

3、一种由粗到细的多尺度双支路图像曝光校正方法，具体包括以下步骤：

4、s1、将原始图像输入动态区域感知的特征提取模块进行特征提取，得到过曝和欠曝区域的区域表示；

5、s2、通过双支路照明估计模块定位过曝和欠曝区域，分别得到过曝增强图像和欠曝增强图像；

6、s3、通过多尺度曝光融合模块将步骤s2得到的过曝增强图像和欠曝增强图像进行融合，得到曝光校正后的图像。

7、作为本发明的进一步技术方案，步骤s1所述动态区域感知的特征提取模块采用unet网络的编码器-解码器架构，其中解码器中设有多尺度局部颜色分布模块，动态区域感知的特征提取模块提取特征的具体过程为：

8、s11、动态滤波器生成：给定原始图像 ，将原始图像输入unet网络中，解码器每一层的特征图均与对应层的下采样输出进行跳跃连接，将每一层来自编码器的特征图作为输入，使用自适应平均池化方法将输入样本进行降维，然后应用两个连续的1维卷积层，第一个卷积操作使用sigmoid(·)作为激活函数，第二个卷积操作不使用激活函数，最终产生n个卷积核的参数，得到n个滤波器；

9、s12、可学习掩码生成：通过可学习掩码决定将哪个滤波器分配到哪个区域，先通过解码器中的多尺度局部颜色分布模块得到多尺度局部颜色分布图，再将对应尺度的局部颜色分布图  进行2维卷积操作来预测多值掩码，将空间特征映射划分为n个区域，通过在不同的区域上应用不同的卷积核，多尺度局部颜色分布图引导网络定位不同曝光的区域，并将解码器的输出进行双边上采样，获得最终的提取特征，得到过曝和欠曝区域的区域表示。

10、作为本发明的进一步技术方案，步骤s12得到多尺度局部颜色分布图的过程为：

11、给定一个大小为的输入图像 ，其像素值范围在之间，将 分成 个小块，其中 是取最接近整数的运算符，并将局部颜色分布定义成大小为的局部块内的颜色直方图，使用4d局部颜色分布图  来表示尺度为  的分布，先构建一个双边网格，双边网格为一个四维数组，其中前两个维度对应于图像平面上的二维位置，第三个维度c对应着图像的通道数，第四个维度b对应直方图列向量bin，则4d局部颜色分布图 表示为：，其中返回像素所属的 的局部块内的索引，通过给k赋不同的值，得到不同尺度的局部颜色分布图，k取值范围为，则即为具有不同层次的多尺度局部颜色分布图。

12、作为本发明的进一步技术方案，步骤s2的具体过程为：

13、对于原始图像 ，基于retinex理论将输入图像 分解为照度图l和反射率图r，对于欠曝图像，将其反射率图r作为增强图像，则生成的欠曝增强图像可表示为；对于过曝图像，将其视为输入图像的反向图像中的曝光不足，反向图像可表示为 ，则生成的过曝增强图像表示为 ，其中，和由编码器和解码器生成。

14、作为本发明的进一步技术方案，步骤s3的具体过程为：

15、s31、以欠曝增强图像  、过曝增强图像 以及原始图像三张图像作为输入，设 为包含三张图像的集合，是图像的亮度分量，为一个像素位置，用分别表示像素的对比度、色彩饱和度和曝光度，其中，通过对每个图像的灰度版本应用拉普拉斯滤波器得到，通过计算r、g和b通道内的标准偏差得到，通过对每个通道分别应用高斯曲线并将结果相乘得到，将它们的乘积记为，则权重图表示为：；

16、s32、设和分别为亮度分量和权重图的高斯金字塔，则金字塔的总层数定义为：，其中，表示不大于的最大整数，分别代表图像的宽度和高度；

17、s33、将引导滤波的系数设置为和，则基于引导滤波的金字塔表示为：；

18、s34、将的拉普拉斯金字塔（laplacian）表示为，在完成引导滤波后，利用新的权重图将不同金字塔层的所有图像进行多尺度融合，得到融合金字塔：；

19、s35、对融合金字塔进行折叠操作得到最终的增强图像，即为曝光校正图像。

20、与现有技术相比，本发明具有以下有益效果：

21、（1）利用动态区域感知卷积和双支路光照学习机制，在一张图片中同时定位过曝和欠曝区域并进行图像区域自适应增强。

22、（2）利用多尺度曝光融合技术，将增强后的不同曝光图像融合为信息更丰富的图像。