天候天时自适应的快速图像清晰化处理方法

1.本发明涉及一种图像清晰化方法，尤其涉及一种天候天时自适应的快速图像清晰化处理方法，属于数字图像处理技术领域。


背景技术：

2.室外监控的成像质量容易受到天候和天时的影响。在不同的天候如雾天，雨天，和不同的天时，如夜间，黎明中，室外监控系统所采集的图像都具有不同的降质特点：雾天图像对比度低，颜色退化；阴雨天图像，亮度不均，纹理模糊；夜间图像，亮度暗淡，可视度低。所以为了使监控系统能够在各种天候天时中运行，人们一直致力于采用图像清晰化方法来抑制图像降质，增强图像清晰度。
3.而这些图像清晰化方法主要分为通用的图像清晰化方法和针对特定环境的图像清晰化方法。通用清晰化方法包括直方图均衡化算法、自动颜色均衡化算法、小波方法和曲波变换。该类方法通常可以增强图像的对比度和减弱图像的色偏，但却容易造成过度增强，亮度失衡或者颜色失真现象。
4.针对特定环境的图像清晰化方法主要包括雾天清晰化方法，阴雨天清晰化方法和夜间清晰化方法。该类方法通常是依据成像降质原理来抑制特定气候条件导致的图像降质，从而实现图像的清晰化。所以其清晰化效果较自然。例如：雾天环境中，浑浊大气对于光线的散射导致了目标反射光强度的降低。这一过程可以由大气散射模型很好地描述，所以近年来有很多基于大气散射模型的雾气图像清晰化方法被提出，用于估计反射光的透射率，恢复反射光，提高图像对比度。阴雨天环境中，场景光线受雨滴和雨雾干扰，导致了图像远处受散射干扰明显，场景中光照分布不均，导致图像暗部纹理模糊。所以阴雨天图像清晰化方法致力于消除远景散射，抑制图像中剧烈的亮度变化，并提升暗部纹理的清晰度。夜间环境中，光源照度的不足限制了目标反射光的强度。根据视网膜成像理论，场景反射率不受光照强度的影响，所以夜间图像的清晰化方法通过分离图像中光照和反射率，可以良好地恢复场景结构。
5.可以看出，对于不同的天候天时，针对特定气候条件的图像清晰化方法之间从依赖的成像原理，到算法流程以及清晰化效果都具有较大的区别。所以不同的天候和天时下，监控系统往往需要首先根据人类的判断确定成像环境的天气类别并选择对应图像清晰化算法。这就限制了图像监控系统的天候天时自适应能力，削弱了整个系统的智能化水平。
6.在此背景下，本发明整合图像降质理论，提出一个天候天时兼容的成像模型，并提出天候天时自适应的快速图像清晰化处理方法，可以处理成像于各类恶劣环境的降质图像，实现天候天时自适应的图像清晰化，且具有较低的复杂度，对于室外实时监控系统来说具有重要意义。


技术实现要素：

7.根据本发明的一个方面，提供了一种天候天时自适应的快速图像清晰化处理方
法，其特征在于包括：
8.a)获取降质图像i三个颜色通道ir,ib,ig的最大值i
max
，采用最大值滤波对i
max
进行滤波获得背景亮度i
back
，并对i
back
进行像素值域和梯度域联合滤波，从而获取降质图像对应的环境光照图像u；
9.b)将u中灰度值较高的前百分之一的像素的均值视为大气光强值a。计算降质图像i与a的比值z，将z中各区域像素在rgb颜色空间中所构成的簇边界视为误差椭球面q，根据q的下边界坐标估计出降质图像在该区域的雾气浓度，并依次计算各区域得到粗糙雾气浓度图dc。依靠散射方程计算出去雾图像的纹理分布图j1；
10.c)将j1中区域纹理强度作为dc置信度约束，可以得到dc的优化结果dr。若dr的均值位于[0.3,1]之间，则认为降质图像成像于散射环境中。对于散射环境图像，dr保持不变，对于非散射环境图像，dr乘以散射参数0.7，得到d
op
。计算1-d
op
得到透射率t。利用透射率t、大气光强值a，环境光照u以及散射成像方程还原出去散射增强图像j2；
[0011]
d)为了抑制成像环境中光照得不均匀分布，增强图像暗部细节，根据环境光照图像u对j2进行光照重映射，得到增强图像j3；
[0012]
e)计算u中灰度值较低的百分之50的像素的均值作为环境感光值g。如果g低于40，说明判断降质图片成像于低照度环境中。对于处于低照度环境中的降质图像，额外进行色偏去除，从而得到最终的清晰化图像j；
附图说明
[0013]
图1为本发明所述的天候天时自适应的快速图像清晰化处理方法的流程图。
[0014]
图2(a)至2(d)为本发明所示的恶劣环境中光照变化的示意图和效果图；其中，图2(a)表示大气粒子对入射环境光进行散射的过程，该过程将导致散射场景环境光照在空间上随散射角度和入射距离发生变化，将如图2(a)示意图进行量化得到图2(b)，其中三条曲线分别表示在不同的入射距离t下，散射粒子向各方向散射的光辐射强度随着与入射方向夹角的变化，图2(c)和2(d)分别是拍摄于散射场景的雾气图片，和本发明所预测得到的环境光照图。
[0015]
3(a)和3(b)为本发明方法计算图像透射率的示意图。图3(a)中坐标轴r右侧为区域像素簇在颜色空间中的误差椭球面边界示意图，可以求得椭球在三维坐标轴上的偏移，从而预测出如坐标轴r左侧去雾后的纹理分布图。图3(b)为纹理约束先验的示意图。对去雾后坐标轴r左侧的纹理分布进行纹理约束，可以限制如雾气图像右上角平坦区域处的雾气过度估计，抑制噪声，提高去散射图像的自然度。
[0016]
图4(a)至4(c)为根据本发明的快速图像清晰化方法与现有典型图像清晰化方法在测试图像上的实验结果对比；其中，图4(a)表示分别表示雾天图像，低照度图像和阴雨天图像，图4(b)表示改进暗原色方法idcp获取的清晰化图像，图4(c)表示本发明方法获取的清晰化图像。
具体实施方式
[0017]
根据本发明的一个方面，提供了一种天候天时自适应的快速图像清晰化处理方法。本发明的该方法实现了天候天时自适应的图像清晰化，且该方法得到的清晰化图像具
有亮度自然，对比度高，纹理清晰的优点。
[0018]
为实现自适应的图像清晰化，本发明采用下述技术方案：
[0019]
一种天候天时自适应的快速图像清晰化处理方法，其特征在于包括：
[0020]
根据本发明的一个方面，提供了一种天候天时自适应的快速图像清晰化处理方法，其特征在于包括：
[0021]
a)获取降质图像i三个颜色通道ir,ib,ig的最大值i
max
，采用最大值滤波对i
max
进行滤波获得背景亮度i
back
，并对i
back
进行像素值域和梯度域联合滤波，从而获取降质图像对应的环境光照图像u；
[0022]
b)将u中灰度值较高的前百分之一的像素的均值视为大气光强值a。计算降质图像i与a的比值z，将z中各区域像素在rgb颜色空间中所构成的簇边界视为误差椭球面q，根据q的下边界坐标估计出降质图像在该区域的雾气浓度，并依次计算各区域得到粗糙雾气浓度图dc。依靠散射方程计算出去雾图像的纹理分布图j1；
[0023]
c)将j1中区域纹理强度作为dc置信度约束，可以得到dc的优化结果dr。若dr的均值位于[0.3,1]之间，则认为降质图像成像于散射环境中。对于散射环境图像，dr保持不变，对于非散射环境图像，dr乘以散射参数0.7，得到d
op
。计算1-d
op
得到透射率t。利用透射率t、大气光强值a，环境光照u以及散射成像方程还原出去散射增强图像j2；
[0024]
d)为了抑制成像环境中光照得不均匀分布，增强图像暗部细节，根据环境光照图像u对j2进行光照重映射，得到增强图像j3；
[0025]
e)计算u中灰度值较低的百分之50的像素的均值作为环境感光值g。如果g低于40，说明判断降质图片成像于低照度环境中。对于处于低照度环境中的降质图像，额外进行色偏去除，从而得到最终的清晰化图像j；
[0026]
根据本发明的一个进一步的实施例，在上述步骤a)中，用像素值域和梯度域联合滤波器对于背景亮度i
back
进行边缘保持滤波，得到环境光照图像u：
[0027][0028][0029][0030]
其中，下标c表示r,g,b颜色通道，ψ为像素x周围的小块，ω为包含ψ的一个区域，nw为ω中包含的像素数量，n代表像素x的4个邻接像素，γ,λ，α为可控参数，用来控制滤波的力度，aa为值域滤波结果，作为梯度域滤波器的输入。其中在初始化时，设置γ＝2.5,λ＝0.01，α＝100。
[0031]
根据本发明的一个进一步的实施例，在上述步骤b)计算雾气图像中作为像素簇边界的误差椭球q距离三维坐标轴的最小偏移s：
[0032]
首先计算q的大小
[0033][0034]
其中，下标c表示r,g,b颜色通道，z代表雾气图像像素与大气光强值之商μ表示q的中心，u表示方向矩阵，其中列为q的轴向量。当设置误差椭圆的概率区间为[0,0.6]时，根据y的分布计算得到k值为1.71，从而确定了q的大小。
[0035]
再根据椭球大小计算椭球下边界距离坐标轴的最小偏移量：
[0036][0037]
其中，σ为区域方差，以图像i作为引导图对μ，σ进行引导滤波得到从而计算得到s。
[0038]
根据本发明的一个进一步的实施例，在上述步骤c)中根据偏移量s和纹理强度约束计算精细雾气浓度dr：
[0039][0040]
其中，c(x)表示纹理强度约束，可以通过曲线映射，由j1中的纹理强度转化得到：
[0041][0042]
其中，j1是根据s和散射方程得到的粗糙去雾图像的纹理分布图，sm为s的均值，k1为固定参数，n表示s的直方图统计结果，κ为纹理强度约束参数，由图像雾气浓度的分布决定，min
th
函数可以获取将j1像素从小到大排序后1％处的纹理强度值。
[0043]
根据本发明的一个进一步的实施例，在上述步骤c,d,e)中首先判断图像所处降质环境，再根据降质环境自适应地进行散射去除，光照重映射和色偏调整。
[0044]
根据本发明的一个进一步的实施例，在上述步骤d)中，对于去散射的图像进行以扩大可观察信息量为指引的高保真光照重映射，以去除低照度干扰：
[0045][0046]
其中j
2,m
为j2的均值。um为u的均值。
[0047]
由此，本发明提出了一种天候天时自适应的快速图像清晰化处理方法。该清晰化方法在清晰化过程中充分考虑了天候环境所导致的各种成像降质，在清晰化过程中自动判断成像环境并引入环境参数自适应调整清晰化效果，从而通过散射去除，光照调整和色偏去除实现天候天时的自适应图像清晰化。因此，本发明方法适合各种复杂光照条件和散射
状况的环境中成像的降质图像或视频，可以在无输入参数的情况下，显著提高降质图像对比度的同时，自适应的实现杂光干扰去除，图像整体亮度优化和偏色纠正。作为预处理模块，可以高效且显著提高各类视觉应用的自动化程度和环境适应性。
[0048]
本发明所提供的天候天时自适应的快速图像清晰化处理方法，对现有图像清晰化方法构成了实质性的显著改进。与现有技术相比，本发明的有益效果体现在图像清晰化效果对恶劣环境的高度自适应性上。
[0049]
以下对本发明的实施例进行具体说明。
[0050]
本发明中，描述的原理如下：
[0051]
传统图像清晰化模型为
[0052]
i(x)＝l(x)
·
r(x)
ꢀꢀ
(7)
[0053]
其中i为输入图像，l反映了图像中物体表面的光照变化，如高光和阴影，r为图像表示的场景反射率。该模型可以用于抑制图像中的物体反射光强产生的干扰，提取场景反射率。
[0054]
然而在室外场景中，导致成像降质的因素不仅仅有反射光强度，还有散射杂光的叠加，以及成像过程中传感器引入的色偏，而不同的天候和天时环境导致降质也有所区别。比如，雾气越浓，散射光越强，反射光衰减越强，环境亮度也越低，图像的纹理和颜色信息就越弱；低照度环境中，反射光强度越弱，图像黑暗区域中的弱色偏越有可能被增强算法放大。阴雨环境中，既有散射杂光影响，又存在光照不足的现象。
[0055]
所以我们在传统图像成像模型的基础上提出一个天候天时兼容图像成像模型：
[0056]
i(x)＝u(x)
·
r(x)
·
t(x) u(x)(1-t(x)) ξ
ꢀꢀ
(8)
[0057]
其中，本发明认为在散射环境中，物体表面反射的光强变化较弱，而受到多重散射影响，不同位置处的大气向观察者传播的光强出现明显差异，这会导致环境光照在空间上发生平滑变化，由变量u表示。公式的第一项表示反射光，公式第二项表示散射光，公式中ξ表示成像设备带来的色偏噪声。
[0058]
本发明中，基于公式(8)中的模型，天候天时自适应的快速图像清晰化处理方法如图1所示包括几个部分(注：图1中所示的图的原图是彩色的)：第一，对背景亮度进行梯度和空域约束，预测图像环境光照。第二,获取大气光强值，并依据误差椭球边界初步计算图像雾气浓度分布；第三，根据纹理约束的误差椭球先验得到优化的雾气浓度图，根据环境参数，判断降质图像是否处于散射环境，并计算透射率进行散射去除。第四，对于去散射图像进行光照重映射。第五，计算环境感光值作为环境参数，判断是否处于低照度环境。如图像成像于低照度环境，对增强图像进行色偏去除。下面以附图的方式对于本发明中的清晰化步骤展开具体说明(注：图1至4(c)中所示的图的原图是彩色的)。
[0059]
1.预测图像环境光照：
[0060]
在强散射环境中，包括浓雾，阴雨天候，由于空气中的湿度较大，悬浮粒子体积较大。如图2(a)所示，入射光线照射到悬浮粒子发生散射，此时入射光线穿透雾层到达该粒子的入射深度越远，光强越低，所以该粒子散射出的光辐射就越弱。并且根据大气散射理论，此时粒子对于光线的前向散射约束较强，所以如图2(b)所示，观察者与该粒子的连线与入射光线直射方向的夹角越大，散射向观察者的光线也越弱。所以不同位置处的大气粒子散射向观察者的光强产生明显差异，造成观察者观察到的环境光照的分布随场景深度和场景
位置变化。
[0061]
本发明用散射图像中的亮度和梯度信息来反应这种环境光照随场景深度和场景位置变化。考虑到在一定的场景深度，环境光照随位置平缓变化，我们首先在一个较大的区域对于背景亮度进行值域平滑滤波，减小物体反射率的干扰。然后考虑到环境光照随场景深度的变化，我们利用图像中梯度与场景深度之间的强相关性，用梯度滤波器来引导恢复背景亮度上大的边缘，从而得到环境光照图像u：
[0062][0063][0064][0065]
其中，下标c表示r,g,b颜色通道，ψ为像素x周围的小块，ω为包含ψ的一个区域，nw为ω中包含的像素数量，n代表像素x的4个邻接像素，γ,λ，α为可控参数，用来控制滤波的力度，aa为值域滤波结果，作为梯度域滤波器的输入。其中在初始化时，设置γ＝2.5,λ＝0.01，α＝100。可以看到，图2(d)中本发明得到的环境光照图比较自然的反应出图2(c)的光照变化。
[0066]
2.初步估算图像雾气浓度分布
[0067]
受噪声和浓重雾气干扰，大雾图像的透射率难以依靠现有方法进行准确估计，因此本发明提出了一种非局部纹理约束的误差椭球先验来估计雾气分布。
[0068]
该先验需要依靠误差椭球来初步估计散射环境中成像图像中的雾气浓度。由于图像大部分局部区域的像素反射率差异较小，像素值的差异主要来自于物体形状因素导致的光强差别，所以这些像素在r,g,b颜色空间中会聚集为一个椭球状像素簇，像素会有一定概率位于椭球边界内，该边界可以被表示为：
[0069][0070]
其中，下标c表示r,g,b颜色通道，z代表雾气图像像素与大气光强值之商μ表示q的中心，u表示方向矩阵，其中列为q的轴向量。考虑到随机信号，以及阴影纹理里的暗像素的存在，我们认为像素点落于椭球内的概率约为0.6：
[0071][0072]
其中，属于三次卡方分布，所以查概率表可得k＝1.71。
[0073]
由此，该误差椭球的下边界与某一坐标轴的距离可以表示为：
[0074]
l＝μ-k
·
σ
ꢀꢀ
(12)
[0075]
其中σ为像素簇在该坐标轴方向上的方差。因为清晰图像的密集纹理区域中像素簇与坐标轴的距离接近于0，所以可以认为误差椭球的偏移产生于雾气干扰。
[0076]
所以，如图3(a)所示，区域像素簇的误差椭球边界在三维坐标轴的偏移可以计算为：
[0077][0078]
其中，为了简化计算复杂度，以图像i作为引导图对μ，σ进行引导滤波得到s为三个下边界偏移的最小值。根据区域大部分像素聚集形成的像素簇的误差椭球边界进行雾气浓度估计，可以很好地避免异常信号和噪声干扰，得到较为准确的估计值。
[0079]
此时，可以根据公式(12)得到粗糙去雾图像的纹理强度分布图j1:
[0080][0081]
3.计算透射率，进行散射去除
[0082]
透射率值可由t＝1-s得到。但如图3(a)所示，由于依赖局部信息，雾气浓度在平坦区域会被过度估计，透射率被低估，图像右上角平坦区域的噪声在j1中被明显放大，这会导致图像不自然。所以本发明引入全局纹理分布信息来优化雾气浓度值：
[0083][0084]
其中，c(x)表示纹理强度约束，是通过曲线映射，由j1中的全局纹理强度分布转化而成：
[0085][0086][0087]
其中，sm为s的均值，k1为固定参数，n表示s的直方图统计结果，κ为纹理强度约束参数，由图像雾气浓度的分布决定，min
th
函数可以获取将j1像素从小到大排序后1％处的纹理强度值。可以看出纹理强度约束可以有效削弱局部区域的估计偏差。所以图3(b)表示的透射率值在平坦区域中更为合理，图像左上角平坦区域在映射后分布合理，这会减小显著去雾偏差，抑制过度去雾和噪声增强。
[0088]
得到雾气浓度图dr后，由于部分图像中，本身雾气浓度较低，直接去雾后会过度拉伸图像的对比度，破坏了增强图像的自然性。所以本发明加入了环境参数对成像环境进行判断，加强天候天时的自适应能力。
[0089]
本发明认为若dr的均值位于[0.3,1]这一环境参数范围之间，则认为降质图像成像于散射环境中。对于散射环境图像，dr保持不变，对于非散射环境图像，dr乘以散射参数0.7，得到d
op
,计算1-d
op
得到透射率t。此时可以根据公式(8)，计算得到透射率t,环境照度u,得到去散射图像j2.
[0090]
j2(x)＝u(x)
·
r(x) ξ2ꢀꢀ
(17)
[0091]
4.进行光照重映射
[0092]
在去除散射光干扰后，可以进一步根据retinex原理，去除低照度环境和高亮环境中环境光照干扰，得到亮度适宜的增强图像。不过简单剥离环境光照，会导致增强图像丢失
自然的光照信息。所以本发明提出了一种以扩大可观察信息量为指引的高保真光照重映射，以去除照度干扰，提高增强图像的清晰度。
[0093]
可观察信息量与恰可察觉差异(jdn)有关。我们需要使jdn在纹理丰富区域处较低，而在暗区和高亮区域较高，使图像整体的可观察信息量最大。而jdn的一个决定因素是亮度适配值la:
[0094][0095]
由公式(18)可知，la在像素值为127处可以得到最小值。所以对u进行gamma变换，使得除去变换后的环境光照的图像亮度均值接近于127，从而使增强图像在大部分区域保持较低的jdn值。gamma变换如下所示：
[0096][0097]
其中j
2,m
为j2的均值。um为u的均值，log表示log变换函数。
[0098]
5.进行色偏去除
[0099]
如果降质图像成像于低照度环境，那么在光照重映射阶段，色偏将会明显扩大。本发明加入了新的环境参数来进一步判断图像的成像环境。
[0100]
首先计算u中灰度值较低的百分之50的像素的均值作为环境感光值g。如果g处于环境参数范围[0,40]，说明判断降质图片成像于低照度环境中。对于处于低照度环境中的降质图像，本发明采用灰度世界方法对于j2进行额外进行整体色偏去除，并将色偏抑制图像变换到hsv空间，对饱和度分量s乘以0.8进行饱和度放缩，并转换回rgb空间，从而得到最终的清晰化图像j；
[0101]
图4中显示了通过一系列的环境判断，散射去除，光照重映射，色偏去除，本发明的清晰化方法与现有清晰化方法在测试图像上的实验结果对比(注：图4(a)至4(c)中所示的图的原图是彩色的)。图4(a)表示浓雾天，阴雨天和夜间多种天候天时获取的降质图像，图4(b)分别表示去雾方法idcp，阴雨天方法nlpe和夜间清晰化方法robustretinex所分别处理获取的清晰化图像，图4(c)表示在无输入参数的情况下，本发明方法获取的清晰化图像。由图4(a)至4(c)可知，本发明获得的清晰化图像均具有较高的视觉质量和清晰度，显示出本发明具有较高的天候天时自适应性。
[0102]
需要说明的是，以上公开的仅为本发明的具体实施实例。根据本发明所提供的技术思想，本领域的普通技术人员所能思及的变化应落入本发明的保护范围内。