基于邻像素分割与多曲线融合的暗图像增强方法

本发明属于图像处理，主要涉及暗图像增强，具体是一种基于邻像素分割与多曲线融合的暗图像增强方法。用于对在低光照环境下获取到的暗图像进行快速的增强，提高原始暗图像的亮度，改善暗图像的色彩丰富度，并拥有较好的视觉感受。

背景技术：

1、低照度图像增强旨在提高图像的可见性，同时保持其视觉自然性。这一工程一直以来备受科研工作者和市场的关注。在自动化产品生产、图像恢复、监控安全、自动驾驶、计算机视觉传感器、医疗影像等领域都有着十分重要的应用。早期人们的关注点主要集中在传统的视觉增强方法中，也可称为传统方法。其底层逻辑是对图像的每个像素值进行重新计算分配。虽然取得一定程度上的图像质量的优化，但增强效果依旧不明显，无法达到工业生产需求。随着科学技术的日新月异，海量的暗图像数据迫切需要增强。神经网络模型的出现使得大量的数据得到集中处理并且有很好的结果输出。很快基于神经网络模型的图像增强方法便成为了主流技术。但相比与传统技术，虽然处理效果有质的飞跃，但在时间效率上就有很大的弊端。

2、武汉贝塞尔三维图像设计有限公司在其申请的专利文献“一种基于贝塞尔曲线的暗图像处理方法”(申请号：cn 202111337628.7，申请公布号：cn 114119433 a)中公开了一种基于贝塞尔曲线的暗图像处理方法。该方法的实现步骤是，第一：使用自适应直方图均衡化对暗图像进行预处理并得到亮度、饱和度、色调；再将预处理的图像根据上述三个数据进行再度补偿得到第一亮度；第二：构建贝塞尔曲线模型，对暗图像亮度进行非线性处理得到增强之后的第二亮度，再将初始亮度、第一亮度、第二亮度进行多尺度融合得到第三亮度；第三：将第三亮度与初始图像分离出来的饱和度，色调信息结合得到最终的增强图像即为最后结果。该方法较为简单的实现了暗图像增强，可用于日间光学图像的处理。但是，该方法仍然存在的不足之处是，如何确定贝塞尔曲线的映射值以适应更多复杂情况下的图像，图像像素之间的上下文关系较少，任然存在一定的局限性。

3、济南浪潮高新科技投资发展有限公司在其申请专利文献“一种基于retinex的暗图像增强方法”(申请号：cn 20201010186.5，申请公布号：cn 113344798 a)中公开了一种基于retinex的暗图像增强方法。该方法的实现步骤包括：第一：将暗图像的rgb格式转换为hsv格式进行预处理，并分解出其中的反射图像r(x,y)。第二：将h,s,v三通道图像输入到由3*3卷积核的enhancenet网络+densenet网络中，使用relu及3*3卷积得到深度为64的特征映射图像；第三，将特征映射图像进行双线性插值上采样和两次卷积操作并对卷积后的结果再次进行卷积，得到输出结果iest，便可计算损失函数le＝||iest-ihr||2，其中ihr为原始图像；第四，利用计算损失函数得到的优化图像，并从hsv格式转回rgb图像l(x,y)；第五：再利用retinex核心公式r(x,y)＝logr(x,y)＝logs(x,y)·l(x,y)得到优化后的图像。该发明提出了一种利用神经网络训练获得更好视觉效果的图像增强方法，能够有效提高图像增强的效果。但是，该方法仍然存在的不足之处是，由于使用神经网络来处理图像信息，计算速度和实时性要求无法满足实际工程需求，不便于对图像做即时处理。

4、综上，现有技术中依照神经网络架构实现的暗图像增强方法，要么需要成对的亮暗图像数据集，要么需要大量的暗图像来训练模型。虽然神经网络模型增强的图像具有很好的增强效果和极佳的视觉感受，但增强效率和实时性方面无法满足当前生产生活需求。相比之下传统暗图像增强方法具备处理速度快的特点，但其增强效果却无法比肩神经网络模型。

技术实现思路

1、发明目的是针对现有技术存在的不足和需求，提出一种处理速度快、泛化能力强的基于邻像素分割与多曲线融合的暗图像增强方法。

2、本发明是一种基于邻像素分割和多曲线融合的暗图像增强方法，其特征在于，使用邻像素分割的方法对大图像进行四等分切割、使用多曲线对暗图像像素进行融合映射、使用逆邻像素合成增强图像，包括有以下步骤：

3、步骤1：邻像素采样分割：输入待增强暗图像，待增强图像包含有亮部区域和暗部区域；将像素为2n*2m的待增强暗图像进行相邻四像素分割，其中2n为待增强暗图像的宽度，2m为待增强暗图像的高度；将待增强暗图像以2*2像素块形式分割成若干个研究对象，每个研究对象又进行“田”字格划分；划分后的每个研究对象的像素均具有左上、右上、左下、右下的位置特点；将每个研究对象中的具有相同位置的像素重新拼接，得到全新的四组像素为n*m的拼接图像；简称拼接图像，该拼接图像拥有完整的原始图像的局部特征；

4、步骤2:归一化处理：对四组像素为n*m的拼接图像做归一化处理，使归一化处理图像的像素值都在[0,1]的范围之内，得到四幅拼接图像的归一化图像；

5、步骤3:多曲线多线程融合映射得到基础图像：根据拼接图像的数量设定四条线程，每条线程设有依次连接的初始调整与融合、区间映射、高斯误差函数映射、逆差值归一化四个模块，四条线程并行完成曲线映射的完整步骤；将四幅归一化图像同时输入至设定的四条线程中进行图像增强，其中每条线程增强过程均如下：使用多曲线中的不同曲线分别对归一化图像暗部区域进行暗部增益，对亮部区域的曝光现象进行抑制；随后将暗部增益和曝光抑制处理结果进行初步曲线融合，使用曝光抑制参数α调整初步融合曲线，得到亮部和暗部处理后的四幅过渡图像，该过渡图像与四幅归一化图像相对应；对过渡图像做曲线映射处理，得到具有融合信息与映射信息的基础图像；该四幅基础图像与四组过渡图像相对应；

6、步骤4:差值逆归一化处理，得到四幅增强的拼接图像：对四幅基础图像分别做差值逆归一化处理，将其转换为标准像素值区间的四幅增强的拼接图像；该四组增强的拼接图像与四组基础图像相对应，并且这四组增强的拼接图像已经具备明显的图像细节信息；

7、步骤5:逆邻像素合成，得到增强图像：对四组增强的拼接图像进行逆邻像素合成；使四幅增强的拼接图像的每个像素按照原来分割时的位置关系逆向拼接，最终得到像素为2n*2m的增强图像；相比于待增强暗图像，该增强图像具有明显的细节特征和更好的暗部与亮度对比度。

8、本发明解决了低光照图像的细节丢失，人工调参成本高，增强速度慢，方法的使用场景局限的问题。

9、本发明与现有技术相比具有以下优点：

10、提高了对暗图像处理的效率：传统图像增强方法只在算法层面提供了流程指导，随着当前图像像素的不断变大，相应的图像处理时间就会变得更长；结合当前处理器的多核特点，本发明提出了一种邻像素分割方法将原始暗图像化整为零，并使用多线程处理的方式对每个拼接图像进行处理，可大幅缩减图像处理时间。本发明提高了暗图像增强的处理效率，处理速度最快可达到23帧/秒，对普通的暗图像处理具有很高的实时性，兼具了良好的增强效果和较快的处理时间的优点。

11、消除了因直接分割而存在的拼接缝：传统的四等分分割不能保证每一幅拼接图像具有完整原始暗图像的所有信息，在曲线映射过程中四幅拼接图像的增益系数无法统一，使得每四幅拼接图像具有不同的增强效果，拼接后的增强图像在拼接边缘位置会出现明显的“十”字拼接缝；为了解决这一难题，本发明采取邻像素分割的方法，使每一块拼接图像都具有完整的暗图像的局部特征。由于本发明使用邻像素分割的方式对暗图像进行处理，在降低图像分辨率的同时保证每幅图像和原本图像之间具有极大的相似度。在提高暗图像增强效率的同时，避免线程之间的处理差异，确保最终的合成图像不会出现明显的拼接缝。

12、多曲线融合映射：传统的映射方法采用多项式拟合的形式。理论上多项式可以拟合任何连续曲线，但该方式的缺点是会出现大量的需要定义的参数；这使得参数量的减少和精确的曲线拟合两者不可兼得。本发明采用多曲线融合映射的方式，使用不同曲线来拟合映射曲线的，不仅提高了曲线拟合效率还极大地减少未定义参数的数量。多次的曲线处理效果叠加使得暗部的亮度信息得到充分的挖掘，特异性参数的设计降低了未定义参数的数量，抑制相对亮部信息过曝光，使图像有较好的视觉恢复。