图像去噪方法、装置、电子设备与存储介质与流程

1.本发明涉及图像处理领域，尤其涉及一种图像去噪方法、装置、电子设备与存储介质。


背景技术：

2.图像去噪是图像信号处理(image signal processing，以下简称isp)单元中的常见功能模块，其目的是降低图像信号中的噪声。在一个光电成像系统中，图像在生成和传输的过程中常常受到各类因素的干扰，如：光电转换过程中电荷数量的波动、系统电子元器件的干扰、模数转换带来的量化误差等，这些干扰都会引入噪声，一方面降低了图像质量，另一方面对图像的后续处理(如分割、压缩和识别等)产生不利影响。因此，在图像信号处理中，为了抑制噪声，改善图像质量，便于更高层次的处理，必须对图像进行去噪处理。
3.截止目前，除去近年来新兴的先验类去噪方法(机器学习、深度学习等)以外，传统的去噪方法大致可以分为以下几类：
4.(1)滤波类，以非局部均值滤波算法(nlm，buades等人于2005年发表的《a non_local algorithm for image denoising》)为例,其主要思想是：带噪图像中每一个像素点v(i)的去噪结果均由周围一定范围内的所有像素点v(j)加权求均值得到，其中各v(j)的权重大小由各v(j)邻域和v(i)邻域的相似度决定。
5.(2)域变换类，以小波阈值算法(wavelet threshold，donoho等人于1992年发表的《de-noising by soft-thresholding》)为例，其主要思想是：将带噪图像在各个尺度上进行(正交)小波分解，保留大尺度(低分辨率)下的全部分解值，而对于小尺度(高分辨率)下的分解值，通过设置阈值，将低于该阈值的小波系数置为零，高于该阈值的小波系数保留或经过一定修正。最后将处理完成的小波系数通过小波逆变换进行重构。从稀疏表达的角度也可以把这类小波算法归类为固定字典的稀疏表达方法。
6.(3)稀疏表达类：以非局部集中稀疏表达算法(ncsr，dong等人于2011年发表的《nonlocally centralized sparse respresentation for image restoration》)为例，其主要思想是：将图像中的各个像素块(patch)使用k-means聚类算法分为k类，其中的每个类都学习出一个pca子字典。对于每个给定的patch，通过计算其与所有聚类的距离来确认该patch属于哪一类聚类，然后选择对应pca子字典编码重构该patch。
7.上述几类经典方法中，它们也或多或少存在一些缺陷，如滤波类算法本质上都是通过低通来平滑噪声，损失高频信息的同时容易产生结构型人工痕迹，且对于不同强度的噪声，其去噪效果极大程度上受到滤波器大小的限制；域变换类算法容易受到基函数的影响，在对物体轮廓边缘的处理上不够平整甚至产生偏移；基于字典学习的稀疏表达算法需要通过大量的逻辑运算以实现聚类和块匹配，硬件实现代价较大，而在实际工程应用中，以消费类摄像机的isp处理单元为例，由于硬件资源与产品的成本密切相关，其内部算法的运算逻辑复杂度和数据存储空间往往受到极大限制。
8.因此，如何提供一种在平滑噪声图像的同时尽可能保留高频有效信息，且便于硬
件实现的图像去噪算法成了目前需要解决的问题。


技术实现要素：

9.本发明提供一种图像去噪方法、装置、电子设备与存储介质，以解决现有技术中存在的问题。
10.根据本发明的第一方面，提供了一种图像去噪方法，包括：
11.获取输入图像；
12.确定所述输入图像中像素点的噪声强度；
13.基于所述噪声强度，对所述输入图像进行双边滤波，得到基础层信息；并基于所述基础层信息与所述输入图像，确定细节层信息，所述细节层信息中记录了每个像素点对应的差异值，所述差异值表征了所述输入图像中像素点的取值相对于所述基础层信息的差异；
14.将所述差异值转换至频率域，并进行去噪，得到频率域处理后信息；
15.合并所述频率域处理后信息与所述基础层信息，得到合并图像；
16.对所述合并图像与所述输入图像进行联合双边滤波，得到滤波后图像；
17.基于所述去噪后图像，确定最终的目标图像。
18.根据本发明的第二方面，提供了一种图像去噪装置，包括：
19.输入单元，用于获取输入图像；
20.噪声确定单元，用于确定所述输入图像中像素点的噪声强度；
21.分层单元，用于基于所述噪声强度，对所述输入图像进行双边滤波，得到基础层信息；并基于所述基础层信息与所述输入图像，确定细节层信息，所述细节层信息中记录了每个像素点对应的差异值，所述差异值表征了所述输入图像中像素点的取值相对于所述基础层信息的差异；
22.频率域处理单元，用于将所述差异值转换至频率域，并进行去噪，得到频率域处理后信息；
23.合并单元，用于合并所述频率域处理后信息与所述基础层信息，得到合并图像；
24.联合双边滤波单元，用于对所述合并图像与所述输入图像进行联合双边滤波，得到滤波后图像；
25.目标图像确定单元，用于基于所述去噪后图像，确定最终的目标图像。
26.根据本发明的第三方面，提供了一种电子设备，包括处理器与存储器，
27.所述存储器，用于存储代码和相关数据；
28.所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的图像去噪方法。
29.根据本发明的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面及其可选方案涉及的图像去噪方法。
30.本发明提供的图像去噪方法、装置、电子设备与存储介质中，实现了基础层与细节层的分层与合并，并在分层后在频率域实现了细节层信息的去噪，进而，综合利用图像空间域和频率域上的信息，更好地挖掘和提取图像中的有效信息，提升了去噪效果，且有利于硬件实现。
31.同时，本发明以输入图像为依据确定了所述输入图像中像素点的噪声强度，并以此为依据实现双边滤波，相较而言，现有相关技术中，双边滤波所采用的噪声强度是人为给定的，所以，本发明自适应地匹配去噪强度，提升了以往传统方法的去噪效果。
32.此外，本发明的处理过程还可有利于硬件实现。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
34.图1是本发明一实施例中图像去噪方法的流程示意图；
35.图2是本发明一实施例中步骤s12的流程示意图；
36.图3是本发明一实施例中步骤s122的流程示意图；
37.图4是本发明一实施例中步骤s13的流程示意图；
38.图5是本发明一实施例中步骤s14的流程示意图；
39.图6是本发明一实施例中图像去噪装置的构造示意图；
40.图7是本发明另一实施例中图像去噪装置的构造示意图；
41.图8是本发明一实施例中输入单元与噪声确定单元的构造示意图；
42.图9是本发明一实施例中输入单元、噪声确定单元与分层单元的构造示意图；
43.图10是本发明一实施例中分层单元、频率域处理单元与合并单元的构造示意图；
44.图11是本发明一实施例中电子设备的构造示意图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
47.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
48.本发明实施例提供的图像去噪方法可适于利用软件方式实现，也可适于利用硬件方式实现，也可适于利用硬件方式与软件方式的结合实现，不论如何实现，均不脱离本发明实施例的范围。
49.请参考图1，图像去噪方法，包括：
50.s11：获取输入图像；
51.对输入图像的获取，可以指输入图像数据的接收，该输入图像可以任意图像，输入图像数据具体可理解为表征输入图像的矩阵数据；
52.进一步的举例中，输入图像数据可以为亮度(luminance，简称y)模式下的输入图像数据，对应的，本说明书中的输入单元(例如图7-图10所示的输入单元21)可向后续单元输送亮度模式下的输入图像数据，进而，记载了输入图像每个像素点的亮度值，根据配置的不同，输入图像数据的位宽大小也有所不同，例如可以10bit的图像数据；
53.s12：确定所述输入图像中像素点的噪声强度；
54.其中的噪声强度，可以为能够对噪声的程度进行描述的任意信息；具体可基于本领域任意标准或非标准的理论依据而定义、确定出该噪声强度，例如可依据emva1288标准中所定义的噪声模型而设计噪声强度的确定方式；
55.s13：基于所述噪声强度，对所述输入图像进行双边滤波，得到基础层信息；并基于所述基础层信息与所述输入图像，确定细节层信息；
56.其中的细节层信息中记录了每个像素点对应的差异值，所述差异值表征了所述输入图像中像素点的取值相对于所述基础层信息的差异；其可以采用传统意义上的残差计算方式而计算基础层信息与所述输入图像的残差，进而以此作为差异值，形成细节层信息，也可采用区别于此的方式而确定出一个能表征出差异的数值作为差异值，具体的，其中的细节层信息，可理解为差异值组合而形成的矩阵。此外，不论如何计算，均不脱离本发明实施例的范围；
57.s14：将所述差异值转换至频率域，并进行去噪，得到频率域处理后信息；
58.其中，任意可将差异值转换至频率域的方式，均可作为步骤s14的一种可选方案，例如可采用传统的傅里叶变换，也可采用非传统的方式实现，任意可在频率域进行去噪的方式，均可作为步骤s14的一种可选方案，例如可先对傅里叶变换后的信息去除高频分量，再将其逆变换重构回空间域，也采用非传统的方式实现；不论步骤s14的具体实现方式如何，只要在频率域下实现了去噪，就不脱离本发明实施例的范围；
59.s15：合并所述频率域处理后信息与所述基础层信息，得到合并图像；
60.其中的合并方式，可以为传统的将两者叠加的方式，也可以为非传统的方式，不论采用何种方式，均不脱离本发明实施例的范围；此外，其中对合并图像的得到，可理解为计算得到合并图像的数据(信息)的过程。
61.s16：对所述合并图像与所述输入图像进行联合双边滤波，得到滤波后图像；
62.s17：基于所述去噪后图像，确定所述最终的目标图像。
63.以上方案中，实现了基础层与细节层的分层与合并，并在分层后在频率域实现了细节层信息的去噪，进而，综合利用图像空间域和频率域上的信息，更好地挖掘和提取图像中的有效信息，提升了去噪效果，且有利于硬件实现。
64.同时，本发明以输入图像为依据确定了所述输入图像中像素点的噪声强度，并以此为依据实现双边滤波，相较而言，现有相关技术中，双边滤波所采用的噪声强度是人为给定的，所以，本发明自适应地匹配去噪强度，提升了以往传统方法的去噪效果。
65.此外，本发明的处理过程还可有利于硬件实现。
66.其中一种实施方式中，步骤s12的过程，可以包括：
67.s121：对所述输入图像进行预滤波，得到预滤波后图像；
68.s122：估计所述预滤波后图像中每个像素区域中每个像素点的噪声强度。
69.在区别于图2所示方案的其他实施方式中，也可直接对输入图像进行噪声强度的估计，而不实现预滤波。
70.相较于不实现预滤波的方案，以上实施方式通过预滤波，降低了原始图像噪声对后续的噪声估计和双边滤波的干扰，且在实验中也证明了步骤s121的引入能够在很大程度上降低去噪效果上的人工痕迹。
71.进一步举例中，步骤s121的预滤波过程可以包括：
72.对所述输入图像进行扩边后，基于预滤波配置系数，对扩边后的输入图像进行卷积运算，得到所述预滤波后图像。
73.其中扩边的大小，可理解为使得预滤波并估计出的噪声强度可充分覆盖输入图像的每个像素点位置，从而适于满足双边滤波的需求。
74.例如，可以对输入图像(即亮度图像)进行四周扩边操作，若卷积运算所采用的窗口为3
×
3窗，则扩充宽度为1像素，针对扩充的像素，其填充形式可以为镜像边界填充。
75.然后以扩边后亮度图像上的每个像素点(i,j)为中心，在周围3
×
3邻域上取像素块为窗口(即3
×
3窗)，与预先配置好的预滤波核函数(对应的取值为预滤波配置系数)做卷积运算，依此操作，在运算完整幅图像后得到预滤波的输出结果。
76.步骤s121的一种举例中，以3
×
3窗为例，可以对输入图像进行3
×
3的滤波运算，采用的卷积核参数可配(如高斯核等)，其计算公式(1)如下：
[0077][0078]
其中：
[0079]
inputm×n为输入图像的数据，例如可表征m
×
n大小的输入图像中每个像素点的亮度值；
[0080]
prekernel为预滤波配置参数；
[0081]
prekernel(i,j)表征了3
×
3窗大小内(i,j)位置点对应的预滤波配置滤波系数；
[0082]
preinputm×n表征了预滤波后图像，其也可理解为本说明书中预滤波子单元221的输出，代表经预滤波后m
×
n大小的滤波后图像中每个像素点所对应的亮度值。
[0083]
步骤s122(及噪声估计子单元222)的目的是估计出图像上每个像素点位置的噪声强度，以便后续的步骤s13和/或步骤s16(及分层单元23和/或联合双边滤波单元26)能够实现参数自适应。
[0084]
噪声估计计算的理论依据可例如是emva1288标准中所定义的噪声模型公式(2)：
[0085][0086]
该公式是描述传感器特性的核心公式，其中，是噪声的方差，为暗电流引起的噪声，为量化噪声，μy为数字信号的平均值，μ
y_dark
为暗电流的数字值，k为整个系统增
益。可以看到，噪声方差和光电转换输出信号平均亮度值近似存在某种线性关系。
[0087]
所以，可基于这种线性关系，利用亮度均值标定噪声强度。
[0088]
具体的，请参考图3，步骤s122可以包括：
[0089]
s1221：对所述预滤波后图像进行扩边后，在扩边后的预滤波后图像中，以所述预滤波后图像的每个像素点为中心像素点取噪声估计像素块，计算每个噪声估计像素块内像素点的亮度均值作为对应中心像素点的亮度表征值；
[0090]
通过以上步骤s1221，由于每个中心像素点即预滤波后图像的一个像素点，进而，可得到预滤波后图像的每个像素点的的亮度表正值(即亮度均值)；
[0091]
s1222：基于所述亮度表征值，确定对应像素点的噪声强度。
[0092]
步骤s1221的具体举例中，可以先对预滤波的输出结果(即预滤波后图像)进行四周扩边操作，其中，若噪声估计像素块为5
×
5像素块，则扩充宽度为2像素，并填充所扩充的像素，填充形式可以为镜像边界填充。然后以扩边后的预滤波后图像上的每个像素点(i,j)为中心，在周围5
×
5邻域上取像素块，计算该像素块的平均值，依此操作，在运算完整幅图像后得到每个像素点(i,j)对应的亮度均值，计算公式(3)如下：
[0093][0094]
其中，
[0095]
preinputm×n(i,j)为输入，即表征了预滤波后图像，代表5
×
5区域内各像素点的亮度值；
[0096]
avglumam×n步骤s1222(及噪声计算模块2221)的输出，代表亮度均值，即亮度均值。
[0097]
在得到每个像素点对应位置的亮度均值后，一种举例中，可以通过单一线性映射确定每个像素点的噪声强度，另一举例中，可以通过分段线性映射的形式得到该像素点的噪声强度；即：
[0098]
基于预设的线性关系信息，以及所述亮度表征值，确定每个像素点的噪声强度；
[0099]
其中，所述线性关系信息表征了亮度表征值与噪声强度之间的线性关系，且处于不同区间范围的亮度表征值所对应的线性关系是不同的。
[0100]
相较于采用单一线性映射，采用多段线性映射的情况下，可具有增强鲁棒性和实际应用中可调性的技术效果，
[0101]
具体的，计算噪声强度时，可计算公式(4)至公式(5)如下：
[0102][0103]
[0104]
其中：
[0105]
avgluma代表每个像素点的亮度均值，即亮度表征值；
[0106]
slope0～4为配置参数，代表每段线性映射的斜率；
[0107]
x
s0～4
为配置参数，代表每段线性映射起始点的横坐标值；
[0108]ys0～4
为配置参数，代表每段线性映射起始点的纵坐标值；
[0109]
sigma为步骤s122(及噪声估计子单元222)的输出，代表该点的噪声强度。
[0110]
双边滤波，可描述为bilateral filter，双边滤波的卷积核可以由两个核函数生成，分别是空域核函数与值域核函数，以下实施方式中，将对其具体实现方式进行示例说明。
[0111]
其中一种实施方式中，请参考图4，步骤s13可以包括：
[0112]
s131：对所述输入图像进行扩边后，在扩边后输入图像中，以所述输入图像的每个像素点为中心像素点取第一像素块；
[0113]
s132：基于每个像素点的噪声强度，以及每个第一像素块中像素点与中心像素点间的欧式距离，计算每个像素点的空域核函数取值；
[0114]
其中，所述空域核函数取值与所述欧式距离正相关，所述空域核函数取值与所述噪声强度负相关；本领域任意的空域核函数均可应用于此而作为一种可选方案；
[0115]
s133：基于每个像素点的噪声强度，以及每个第一像素块中像素点与中心像素点的残差，计算每个像素点的值域核函数取值；
[0116]
所述值域核函数取值与所述残差正相关，所述值域核函数取值与所述噪声强度负相关；本领域任意的值域核函数均可应用于此而作为一种可选方案；
[0117]
s134：针对每个像素点，计算所述空域核函数取值与所述值域核函数取值的乘积，得到每个像素点的双边滤波系数；
[0118]
s135：基于各像素点的双边滤波系数，对扩边后输入图像进行卷积，得到所述基础层信息。
[0119]
其中的第一像素块可例如为5
×
5像素块，此时，步骤s131的一种举例中，可以首先对输入图像进行四周扩边操作，扩充宽度为2像素，再对扩充的像素进行填充，填充形式为镜像边界填充。然后以扩边后亮度图像上的每个像素点(i,j)为中心，在周围5
×
5邻域上取像素块(即第一像素块)，。
[0120]
步骤s132的一种举例中，可基于以下公式(6)、(7)计算所述空域核函数取值：
[0121]
dist
(i,j)2
＝(x
(i,j)-x
center
)2 (y
(i,j)-y
center
)2ꢀꢀꢀ
(6)
[0122][0123]
其中：
[0124]
x
(i,j)
表征了对应像素点(i,j)在笛卡尔坐标系中的横坐标；
[0125]y(i,j)
表征了对应像素点(i,j)在笛卡尔坐标系中的纵坐标；
[0126]
x
center
表征了对应像素点所属双向滤波时像素块的中心像素点在笛卡尔坐标系中的横坐标；
[0127]ycenter
表征了对应像素点所属双向滤波时像素块的中心像素点在笛卡尔坐标系中的纵坐标；
[0128]
dist
(i,j)
表征了对应像素点(i,j)至所属第一像素块的中心像素点的欧式距离；
[0129]
sigma
(i,j)
表征了对应像素点(i,j)的噪声强度；
[0130]
gaind0为配置参数，用于描述噪声强度固定增益；
[0131]
gaussiankernel
(i,j)
表征了所述空域核函数取值。
[0132]
若第一像素块为5
×
5像素块，则：x
(i,j)
代表5
×
5像素块内点(i,j)在笛卡尔坐标系中的横坐标；y
(i,j)
代表5
×
5像素块内像素点(i,j)在笛卡尔坐标系中的纵坐标；dist
(i,j)
代表5
×
5像素块内像素点(i,j)至像素块中心像素点的欧式距离；sigma
(i,j)
为步骤s122(及噪声估计子模块222、噪声计算模块2222)的输出值，代表该5
×
5像素块内像素点(i,j)的噪声强度。
[0133]
步骤s133的一种举例中，可基于以下公式(8)、公式(9)计算所述值域核函数取值：
[0134]
residual
(i,j)2
＝(preinput
(i,j)-preinput
center
)2ꢀꢀ
(8)
[0135][0136]
其中：
[0137]
preinput
(i,j)
表征了对应像素点(i,j)的亮度值；
[0138]
preinput
center
表征了对应像素点所属第一像素块的中心像素点的亮度值；
[0139]
residual
(i,j)
表征了对应像素区域内像素点(i,j)相对于所属第一像素块的中心像素点的残差；
[0140]
sigma
(i,j)
表征了对应像素点的噪声强度；
[0141]
gainr0为配置参数，用于描述噪声强度固定增益；
[0142]
valuekernel
(i,j)
表征了所述值域核函数取值。
[0143]
preinput
(i,j)
代表5
×
5窗内点(i,j)的亮度值；preinput
(i,j)
代表5
×
5窗内中心点的亮度值；residual
(i,j)
代表5
×
5窗内点(i,j)的中心点的残差；sigma
(i,j)
为步骤s122(及噪声估计子模块222、噪声计算模块2222)的输出值，代表该5
×
5像素块内像素点(i,j)的噪声强度。
[0144]
步骤s134的一种举例中，双边滤波的核函数为上述两个核函数的乘积，计算公式(10)如下：
[0145][0146]
在得到双边滤波的卷积核bilteralkernel(即双边滤波配置参数)后，使用其对输入图像进行卷积，以5
×
5像素块为例，计算公式(11)如下：
[0147][0148]
其中：
[0149]
inputm×n为以上公式的输入，即输入图像数据，代表m
×
n大小的原始图像中每个点所对应的亮度值；
[0150]
bilteralkernel为双边滤波配置参数，bilteralkernel(i,j)代表5
×
5窗大小内(i,j)位置点对应的双边滤波系数；bfoutm×n为以上公式的输出，亦即步骤s135(及双边滤波子单元231)的输出，代表经双边滤波后m
×
n大小的输出图像中每个点所对应的亮度值。bfout即作为图像分层后的基础层信息。
[0151]
部分实施方式中，可通过计算扩边后的输入图像与双边滤波后图像的残差得到图像分层的细节层信息。
[0152]
另一实施方式中，差异值也可与以上的残差概念有所不同，进而也可称其为伪残差，具体的，步骤s13还可包括(即：所述基于所述基础层信息与所述输入图像，确定细节层信息包括)：
[0153]
s136：对所述输入图像进行扩边后，在所述基础层信息与扩边后的输入图像中，分别以其中的像素点为中心点取相同尺寸的像素块，计算所述扩边后的输入图像中每个像素块的每个像素点的亮度值与所述基础层信息中同样位置的像素块的中心像素点的取值之差作为所述差异值，得到所述细节层信息。
[0154]
以5
×
5大小的窗为例，本单元所计算的是输入图像5
×
5像素块与双边滤波后5
×
5像素块中心点的差值，而不是传统残差意义上原始图像5
×
5像素块与双边滤波后5
×
5像素块对应相减。以5
×
5的窗为例，计算公式(12)如下：
[0155]
bfdiff5×5(i,j)＝input5×5(i,j)-bfout5×5(2,2)
ꢀꢀꢀꢀꢀꢀ
(12)
[0156]
bfdiff即作为图像分层后的细节层信息，也可理解为是对应的差异值。
[0157]
该实施方式可具有以下积极效果：一是更多地保留了输入图像上的信息，更适合后续频域处理在频率域上提取有效信息，且在实验中也证明了这样做得到的去噪结果在低对比度细节上的效果更好；二是节省硬件开销，例如不需要等5
×
5像素块中的所有像素点都完成双边滤波操作。
[0158]
其中一种实施方式中，步骤s14的过程可例如：将图像的空间域信息通过某类基函数变换为频率域信息，再在频率域上去除高频分量，最后通过逆变换重构回空间域，得到频率域处理后信息。
[0159]
另一实施方式中，输入进行频率域处理的信息并非为带有大量低频分量的输入图像数据，而是细节层信息(即差异值，亦即伪残差)，反映了每个邻域区域与中心点的差异，也可将这种差异通过傅里叶变换转换至频率域，然后直接使用频率域信息依据步骤s134计算得到的双边核(即双边滤波系数)进行加权，不需要逆变换重构回空间域，最终得到处理后的细节层。
[0160]
例如，其中转换至频率域的过程可例如采用傅里叶变换、加窗傅里叶变换(gabor transform)，加窗傅里叶变换(gabor transform)的数学表达式(13)如下：
[0161][0162]
其中，p代表窗中心点位置；q代表p点为中心的窗内各点的位置；r代表窗半径；win1代表窗1(半径为r)内各点的值；win2代表窗2(半径为r)中心点的值；k为核函数，一般
用作约束窗内其他点和中心点的置信关系，可以使用高斯核或其他函数表示。
[0163]
以5
×
5的窗为例，可将其写为如下公式(14)：
[0164][0165]
其中，input5×5(i,j)-bfout5×5(2,2)为对应的差异值，也可理解为细节层信息，bilateralkernel(i,j)为步骤s134中计算得到的双边滤波系数。
[0166]
但考虑到如果这样做，那么在硬件实现上就需要对传统傅里叶变换的实数部分和虚数部分分别做运算。在不需要进行逆变换的情况下，可使用一种近似傅里叶计算代替上述的傅里叶变换过程。根据欧拉公式(14)：
[0167]
e-ix
＝cos(x)-isin(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0168]
由欧拉公式(15)可知指数函数能够分解为余弦函数与正弦函数。傅里叶变换中的指数函数也可简化为余弦函数。
[0169]
故而，一种方案中，步骤s14可以包括：
[0170]
s141：以所述细节层信息中的位置点为中心点取频率域窗口，基于余弦函数，以及双边滤波时对应像素点的双边滤波系数，对各频率域窗口进行变换，得到每个频率域窗口的频率域信息；
[0171]
s142：为每个位置点确定一个收缩权重；
[0172]
s143：基于所述收缩权重，对每个频率域窗口内的位置点进行频率域信息的加权求和再算平均值，并利用所述平均值作为对应频率域窗口中心点的频率域处理后取值；
[0173]
其中，所述频率域处理后信息包括所有频率域处理后取值。
[0174]
以上方案中，若采用硬件实现，则硬件就只需要计算傅里叶变换的实数项，大大降低了计算量，且在去噪效果上仅仅在低对比度细节上略有降低，没有带来更多影响，权衡比较这样所降低的硬件成本是值得的。
[0175]
步骤s141的一种方案中，可基于以下公式进行变换：
[0176][0177]
其中：
[0178]
bfdiffn×n(i,j)表征了所述细节层信息中对应频率域窗口内位置点(i,j)的差异值；
[0179]
bilateralkernel(i,j)表征了：针对于对应频率域窗口内的位置点(i,j)，在双边滤波时对应像素点的双边滤波系数；
[0180]
gabor
l
×
l
表征了l
×
l的频率域窗口的频率域信息。
[0181]
以5
×
5的窗为例，将图像的细节层每5
×
5数据使用步骤s135(及双边滤波子单元)得到的双边滤波系数进行加权，再通过5
×
5近似傅里叶变换转换为频率域信息。计算公式
参见公式计算公式(16)如下：
[0182][0183]
其中一种实施方式中，步骤s142可以包括：
[0184]
基于双边滤波时每个像素点的双边滤波系数，以及所述频率域信息，确定每个位置点的收缩权重。
[0185]
具体的，可以基于以下公式，确定所述收缩权重：
[0186][0187][0188]
其中：
[0189]
sigmagain为配置参数，表征了高频分量去除强度增益；
[0190]
gabor
l
×
l
表征了l
×
l的频率域窗口的频率域信息；
[0191]
weightf
l
×
l
表征了所述收缩权重。
[0192]
以5
×
5的频率域窗口为例，则：具体实现方法如公式(17)与公式(18)：
[0193][0194][0195]
其中，sigmagain为配置参数，代表高频分量去除强度增益；gabor5×5为步骤s142(及权重计算子单元242)的输入，代表5
×
5频率域窗口内频率域信息；weightf5×5为输出，代表5
×
5频率域窗口内频率域信息的对应权重。
[0196]
步骤s143的具体举例中，以5
×
5的窗为例，具体实现方法如公式(19)：
[0197][0198]
其中，gabor5×5为输入步骤s143(及加权平均子单元)的输入，代表5
×
5窗内频率域信息；
[0199]
sigmagain为配置参数，代表高频分量去除强度增益；weightf5×5为输出，代表5
×
5窗内频率域信息的对应收缩权重；fftout为步骤s143(及加权平均子单元)的输出，代表频率域处理后信息或频率域处理后取值。
[0200]
其中一种实施方式中，步骤s15可以包括：
[0201]
将所述频率域处理后信息中各位置点的取值与所述基础层信息中对应像素点的
取值加权求和，得到所述合并图像。
[0202]
例如：若基于5
×
5的窗实现以上加权求和，计算公式(20)如下：
[0203]
mergeout5×5(2,2)＝ws×
bfout5×5(2,2) wf×
fftout
ꢀꢀꢀꢀꢀꢀ
(20)
[0204]
其中，ws为配置参数，代表双边滤波结果的权重，即基础层信息的权重；wf为配置参数，代表频域收缩结果的权重，即频率域处理后信息(或频率域处理后数值)的权重；
[0205]
mergeout为步骤s15(及合并单元25)的输出，同时也可理解为本发明实施例设计方法的第一级去噪的结果。
[0206]
其中一种实施方式中，
[0207]
步骤s16的联合双边滤波，可以是独立于步骤s13的双边滤波而执行的，而与之完全不同，也可与步骤s13的双边滤波采用相关或相似的处理过程。
[0208]
其中，图像去噪效果很大程度上和滤波器卷积核的大小有关，根据实验证明，小滤波窗对图像细节纹理的保留友好但平坦区域欠平滑，在低照度且信噪比低的场景下，仅依靠第一层去噪无法很好地平滑图像平坦区域上的高强度噪声。因此，以上方案中通过步骤s16(及合并后双边滤波单元)引入第二级去噪处理。
[0209]
所以，步骤s16的目的是使图像的平坦区域更平滑，细节纹理区域进一步贴近输入图像，同时降低人工去噪痕迹。
[0210]
步骤s16的一种举例中，可以包括：
[0211]
对所述合并图像进行扩边，在扩边后合并图像中，以所述合并图像的像素点为中心像素点取第二像素块，计算各像素点的再次双边滤波系数，并基于各像素点的再次双边滤波系数，对输入图像进行卷积，得到所述滤波后图像。
[0212]
其中，所述第二像素块可以大于所述双边滤波所采用的第一像素块。例如：第一像素块为5
×
5的像素块时，第二像素块可以为9
×
9的像素块。
[0213]
以9
×
9的第二像素块为例，步骤s16中，可以首先对第一级去噪结果(即合并图像)进行四周扩边操作，扩充宽度为4像素，填充形式为镜像边界填充。然后以扩边后亮度图像上的每个像素点(i,j)为中心，在周围9
×
9邻域上取像素块，结合点(i,j)的去噪强度根据像素块的空间域和值域信息计算双边核(即对应的双边滤波系数)，将输入图像上相同位置上的9
×
9像素块与该双边核(即对应的双边滤波系数)做卷积运算，依此操作，在运算完整幅图像后得到联合双边滤波结果，即滤波后图像。
[0214]
具体实现方法可例如以步骤s15(及合并单元25)的输出结果(即合并图像)作为导向图，在输入图像上进行9
×
9联合双边滤波。联合双边滤波(joint bilateral filter)核函数计算的方法与步骤s13的双边滤波相似，具体可参见公式(6)～(11)的相应说明，在此不予赘述，其中，只有公式(8)和公式(11)有所变化，变化后的公式(21)和公式(22)如下：
[0215]
residual
(i,j)2
＝(mergeout
(i,j)-mergeout
center
)2ꢀꢀꢀꢀꢀꢀ
(21)
[0216][0217]
比较公式(8)和公式(21)可以看到，双边滤波和联合双边滤波唯一的不同点是：联合双边滤波在计算值域核函数上将计算值域相似度的对象变为步骤s15(及合并单元25)的结果mergeout。简单地说，两者的本质差别就是联合双边滤波使用了第一级去噪后的结果
(合并图像)作为值域权重的计算依据。而公式(22)相对于公式(11)的变化仅仅是由5
×
5的窗变为9
×
9的窗。最后，jbfout即作为步骤s16(及合并后双边滤波单元26)的输出。
[0218]
步骤s17的一种举例中，可以包括：
[0219]
对所述输入图像与所述滤波后图像进行加权求和，得到所述最终的目标图像。
[0220]
以上举例中，步骤s17(及目标图像确定单元27)目的是在去噪完成的基础上保留一定的全局随机噪声，以提高整体去噪效果的均匀度，同时，也避免了因图像平坦区域过度平滑所带来的不真实感而造成人眼视觉感官上的不适。步骤s17(及目标图像确定单元27)的具体实现方式的计算公式(23)如下：
[0221]
output＝(1-wn)
×
jbfout wn×
input
ꢀꢀꢀꢀꢀꢀ
(23)
[0222]
其中，wn为配置参数，代表输入图像input的权重；output代表步骤s17(及目标图像确定单元27)的输出，亦即图像去噪方法(及图像去噪装置)的最终输出。
[0223]
请参考图6、图7，提供了一种图像去噪装置2，包括：
[0224]
输入单元21，用于获取输入图像；
[0225]
噪声确定单元22，用于确定所述输入图像中像素点的噪声强度；
[0226]
分层单元23，用于基于所述噪声强度，对所述输入图像进行双边滤波，得到基础层信息；并基于所述基础层信息与所述输入图像，确定细节层信息，所述细节层信息中记录了每个像素点对应的差异值，所述差异值表征了所述输入图像中像素点的取值相对于所述基础层信息的差异；
[0227]
频率域处理单元24，用于将所述差异值转换至频率域，并进行去噪，得到频率域处理后信息；
[0228]
合并单元25，用于合并所述频率域处理后信息与所述基础层信息，得到合并图像；
[0229]
联合滤波单元26，用于对所述合并图像与所述输入图像进行联合双边滤波，得到滤波后图像；
[0230]
图像最终确定单元27，用于基于所述滤波后图像，确定最终的目标图像。
[0231]
以上输入单元21、噪声确定单元22、分层单元23、频率域处理单元24、合并单元25、联合滤波单元26、图像最终确定单元27，可以是程序单元，也可以是硬件单元，还可以被配置为：部分为程序单元，部分为硬件单元。
[0232]
进而可见，本发明实施例的方案(例如图像去噪方法、装置)可基于硬件(例如电路)实现，也可基于软件实现，还可基于软硬结合的方式实现。在已知各单元、子单元、模块功能的情况下，可以根据需求任意选择、组件合适的电路。
[0233]
在以上各单元均以硬件方式实现的情况下，则：
[0234]
以图6为例，输入单元21可分别连接噪声确定单元22与分层单元23，噪声确定单元22可连接分层单元23，分层单元23可分别连接频率域处理单元24与合并单元25，频率域处理单元24连接合并单元25，合并单元25与输入单元21连接联合双边滤波单元26，联合双边滤波单元26连接图像最终确定单元27此时，图像最终确定单元27可实现较为简单的处理过程(例如直接将联合双边滤波单元26得到的合并图像输出)；
[0235]
在图7所示的举例中，在图6所示方案的基础上，图像最终确定单元27可使用到输入单元的输入图像等，进而，图像最终确定单元27也可连接输入单元21。
[0236]
进一步的其他举例中，基于图像最终确定单元27和/或联合双边滤波单元26的具
体功能的变化、细化，其也可再与分层单元23等连接。
[0237]
可选的，请参考图8，噪声确定单元22，可以包括：
[0238]
预滤波子单元221，用于对所述输入图像进行预滤波，得到预滤波后图像；
[0239]
噪声估计子单元222，用于估计所述预滤波后图像中每个像素区域中每个像素点的噪声强度。
[0240]
此时，预滤波子单元221可连接输入单元21与噪声估计子单元222。
[0241]
可选的，预滤波子单元221，具体用于：
[0242]
对所述输入图像进行扩边后，基于预滤波配置系数，对扩边后的输入图像进行卷积运算，得到所述预滤波后图像。
[0243]
可选的，请参考图8，噪声估计子单元222，可以包括：
[0244]
亮度均值计算模块2221，用于对所述预滤波后图像进行扩边后，在扩边后的预滤波后图像中，以所述预滤波后图像的每个像素点为中心像素点取噪声估计像素块，计算每个噪声估计像素块内像素点的亮度均值作为对应中心像素点的亮度表征值；
[0245]
噪声计算模块2222，用于基于所述亮度表征值，确定对应像素点的噪声强度。
[0246]
可选的，所述噪声计算模块2222，具体用于：
[0247]
基于预设的线性关系信息，以及所述亮度表征值，确定每个像素点的噪声强度；
[0248]
其中，所述线性关系信息表征了亮度表征值与噪声强度之间的线性关系，且处于不同区间范围的亮度表征值所对应的线性关系是不同的。
[0249]
对应的，亮度均值计算模块2221分别连接预滤波子单元221与噪声计算模块2222。
[0250]
可选的，请参考图9，所述分层单元23，包括：
[0251]
双边滤波子单元231，具体用于：
[0252]
对所述输入图像进行扩边后，在扩边后输入图像中，以所述输入图像的每个像素点为中心像素点取第一像素块；
[0253]
基于每个像素点的噪声强度，以及每个第一像素块中像素点与中心像素点间的欧式距离，计算每个像素点的空域核函数取值；其中，所述空域核函数取值与所述欧式距离正相关，所述空域核函数取值与所述噪声强度负相关；
[0254]
基于每个像素点的噪声强度，以及每个第一像素块中像素点与中心像素点的残差，计算每个像素点的值域核函数取值；所述值域核函数取值与所述残差正相关，所述值域核函数取值与所述噪声强度负相关；
[0255]
针对每个像素点，计算所述空域核函数取值与所述值域核函数取值的乘积，得到每个像素点的双边滤波系数；
[0256]
基于各像素点的双边滤波系数，对扩边后输入图像进行卷积，得到所述基础层信息。
[0257]
可选的，所述基于每个像素点的噪声强度，以及每个第一像素块中像素点与中心像素点间的欧式距离，计算对应像素点的空域核函数取值，包括：
[0258]
基于以下公式计算所述空域核函数取值：
[0259]
dist
(i,j)2
＝(x
(i,j)-x
center
)2 (y
(i,j)-y
center
)2[0260]
[0261]
其中：
[0262]
x
(i,j)
表征了对应像素点(i,j)在笛卡尔坐标系中的横坐标；
[0263]y(i,j)
表征了对应像素点(i,j)在笛卡尔坐标系中的纵坐标；
[0264]
x
center
表征了对应像素点所属双向滤波时像素块的中心像素点在笛卡尔坐标系中的横坐标；
[0265]ycenter
表征了对应像素点所属双向滤波时像素块的中心像素点在笛卡尔坐标系中的纵坐标；
[0266]
dist
(i,j)
表征了对应像素点(i,j)至所属第一像素块的中心像素点的欧式距离；
[0267]
sigma
(i,j)
表征了对应像素点(i,j)的噪声强度；
[0268]
gaind0为配置参数，用于描述噪声强度固定增益；
[0269]
gaussiankernel
(i,j)
表征了所述空域核函数取值。
[0270]
可选的，所述基于每个像素点的噪声强度，以及每个第一像素块中像素点与中心像素点的残差，计算对应像素点的值域核函数取值，包括：
[0271]
基于以下公式计算所述值域核函数取值：
[0272]
residual
(i,j)2
＝(preinput
(i,j)-preinput
center
)2[0273][0274]
其中：
[0275]
preinput
(i,j)
表征了对应像素点(i,j)的亮度值；
[0276]
preinput
center
表征了对应像素点所属第一像素块的中心像素点的亮度值；
[0277]
residual
(i,j)
表征了对应像素区域内像素点(i,j)相对于所属第一像素块的中心像素点的残差；
[0278]
sigma
(i,j)
表征了对应像素点的噪声强度；
[0279]
gainr0为配置参数，用于描述噪声强度固定增益；
[0280]
valuekernel
(i,j)
表征了所述值域核函数取值。
[0281]
可选的，请参考图9，分层单元23可以包括：
[0282]
差异计算子单元232，用于对所述输入图像进行扩边后，在所述基础层信息与扩边后的输入图像中，分别以其中的像素点为中心点取相同尺寸的像素块，计算所述输入图像中每个像素块的每个像素点的亮度值与所述基础层信息中同样位置的像素块的中心像素点的取值之差作为所述差异值，得到所述细节层信息。
[0283]
对应的，双边滤波子单元231分别连接输入单元21与差异计算子单元232，同时，差异计算子单元232还可连接输入单元21。
[0284]
可选的，请参考图10，所述频率域处理单元24可以包括：
[0285]
变换子单元241，用于以所述细节层信息中的位置点为中心点取频率域窗口，基于余弦函数，以及双边滤波时对应像素点的双边滤波系数，对各频率域窗口进行变换，得到每个频率域窗口的频率域信息；
[0286]
权重计算子单元242，用于为每个位置点确定一个收缩权重；
[0287]
加权平均子单元243，用于基于所述收缩权重，对每个频率域窗口内的位置点进行频率域信息的加权求和再算平均值，并利用所述平均值作为对应频率域窗口中心点的频率
域处理后取值；所述频率域处理后信息包括所有频率域处理后取值。
[0288]
对应的，变换子单元241连接于差异计算子单元232与权重计算子单元242，加权平均子单元243连接于权重计算子单元242与合并单元25。
[0289]
可选的，变换子单元241，具体用于：
[0290]
基于以下公式进行变换：
[0291][0292]
其中：
[0293]
bfdiffn×n(i,j)表征了所述细节层信息中对应频率域窗口内位置点(i,j)的差异值；
[0294]
bilateralkernel(i,j)表征了：针对于对应频率域窗口内的位置点(i,j)，在双边滤波时对应像素点的双边滤波系数；
[0295]
gabor
l
×
l
表征了l
×
l的频率域窗口的频率域信息。
[0296]
可选的，权重计算子单元242，具体用于：
[0297]
基于双边滤波时每个像素点的双边滤波系数，以及所述频率域信息，确定每个位置点的收缩权重。
[0298]
可选的，所述基于双边滤波时每个像素点的双边滤波系数，以及所述频率域信息，确定每个位置点的收缩权重，包括：
[0299]
基于以下公式，确定所述收缩权重：
[0300][0301][0302]
其中：
[0303]
sigmagain为配置参数，表征了高频分量去除强度增益；
[0304]
gabor
l
×
l
表征了l
×
l的频率域窗口的频率域信息；
[0305]
weightf
l
×
l
表征了所述收缩权重。
[0306]
可选的，所述合并单元25，具体用于：
[0307]
将所述频率域处理后信息中各位置点的取值与所述基础层信息中对应像素点的取值加权求和，得到所述合并图像。
[0308]
可选的，所述联合滤波单元26具体用于：
[0309]
对所述合并图像进行扩边，在扩边后合并图像中，以所述合并图像的像素点为中心像素点取第二像素块，计算各像素点的再次双边滤波系数，并基于各像素点的再次双边滤波系数，对所述输入图像进行卷积，得到所述滤波后图像。
[0310]
可选的，所述第二像素块大于所述双边滤波所采用的第一像素块。
[0311]
所述目标图像确定单元27，具体用于：
[0312]
对所述输入图像与所述滤波后图像进行加权求和，得到所述最终的目标图像。
[0313]
以上图6至图10中各单元的处理过程，其中的技术名词、技术手段、技术效果，以及各种可选方案均可参照图像去噪方法中步骤s11至步骤s17中的相关描述理解，在此不再赘述。
[0314]
此外，以下针对以上各种方案提到的几处细节的改进及其效果进行强调说明：
[0315]
基于步骤121(及预滤波子单元221)的具体方案，可以在处理过程最开始对输入亮度图像(即输入图像)进行预滤波处理(例如3
×
3预滤波处理)。该处理过程大幅度降低了原始的输入图像噪声对后续的噪声估计和双边滤波核函数计算所造成的干扰，且在实验中也证明了该单元能够在很大程度上降低去噪效果上的人工痕迹。相较而言，现有的部分方案中，通常不会做该预处理，进而，在后续处理上必须依赖更大的滤波窗(例如31
×
31)和更多级的迭代计算(例如3级)才能降低人工去噪痕迹，而这些都是硬件成本所无法承受的。可见，针对于硬件实现图像去噪方法的方案，可起到有效降低硬件成本的技术效果。
[0316]
基于步骤s122(及噪声估计子单元222)的具体方案，使多个步骤(及单元)实现了去噪参数自适应，同时提升了去噪效果。相较而言，现有的部分方案中，去噪参数都是人为给定的，且均为全局去噪参数。进一步的，以公式(2)及其说明为例的方案中，噪声强度与图像亮度存在某种关系。也就是说，理论上，在图像不同亮度上的去噪力度不应相同，不应仅仅人为给定一个全局去噪参数，故而，在基于线性关系而确定噪声强度的方式下，可准确估计噪声强度，大幅提升去噪效果。
[0317]
基于步骤s141至步骤s143(及变换子单元241、权重计算子单元242与加权平均子单元243)的具体方案中，在不需要进行逆变换的情况下，采用实数部分进行运算的方案代替传统傅里叶变换，使用余弦函数代替指数函数，进而仅含有实部计算，大大降低了硬件计算量，且在去噪效果上仅仅在低对比度细节上略有降低，没有带来更多影响，权衡比较这样所降低的硬件成本是值得的。相较而言，若采用传统傅里叶变换，在硬件实现上需要对实数部分和虚数部分分别做运算，不适合工程应用。可见，针对于硬件实现图像去噪方法的方案，可起到有效降低硬件成本的技术效果。
[0318]
基于步骤s15(及合并单元25)的具体方案中，可在基础层信息和频率域处理后信息合并上做了加权求和处理，可有助于降低风险，并有利于实际应用上的效果调整，相较而言，在部分现有技术中，通常采用直接相加的方式实现合并，这样存在一定风险且不利于实际应用上的效果调整。
[0319]
基于步骤s16(及联合双边滤波单元26)的具体方案中，所采用尺度大于第一次滤波时的尺度(即第二像素块的尺寸大于第一像素块)时，可以使图像的平坦区域更平滑，细节纹理区域进一步贴近原始图像，同时降低人工去噪痕迹，之所以如此选择，是因为：根据实验证明，小滤波窗对图像细节纹理的保留更友好，大滤波窗对平坦区域的平滑更友好。因此，第一级去噪使用的是较小的卷积核(例如5
×
5卷积核)，第二级去噪使用的是较大的卷积核(例如9
×
9卷积核)，且采用的是联合双边滤波的思想，使图像的平坦区域更平滑，细节纹理区域进一步贴近原始图像(即输入图像)，同时降低人工去噪痕迹。
[0320]
基于步骤s17(及目标图像确定单元27)的具体方案中，采用加权求和的情况，可在两级去噪均完成的基础上可选择保留一定比例的全局随机噪声，以提高整体去噪效果的均
匀度，同时，也避免了因图像平坦区域过度平滑所带来的不真实感而造成人眼视觉感官上的不适。相较而言，现有相关技术中，通常会在去噪后而直接输出，而不会利用步骤s17(及目标图像确定单元27)实现噪声保留。
[0321]
此外，若图像去噪方法是基于软件程序而实现的，则：请参考图11，本发明实施例还提供了一种电子设备30，包括：
[0322]
处理器31；以及，
[0323]
存储器32，用于存储所述处理器的可执行指令；
[0324]
其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。
[0325]
处理器31能够通过总线33与存储器32通讯。
[0326]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
[0327]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0328]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。