用于图像去噪的方法和系统与流程

用于图像去噪的方法和系统
1.本技术基于并要求于2020年12月11日提交的第63/124,247号美国临时专利申请以及于2021年4月29日提交的第17/244,504号美国非临时专利申请的优先权，所述美国专利申请的全部内容通过引用包含于此。
技术领域
2.本公开总体涉及图像去噪。


背景技术：

3.在基于多帧的细节等级图(detail grade map)估计和去噪中，期望提供实用的多帧图像去噪解决方案，并期望增强多帧图像处理质量。


技术实现要素：

4.根据一个实施例，一种方法包括：确定参考帧与非参考帧之间的差异图，确定参考帧的局部方差，基于确定的局部方差与确定的差异图之间的差来确定细节功率图，以及基于确定的细节功率图来确定细节等级图。
5.根据一个实施例，一种系统包括存储器以及处理器，处理器被配置为：确定参考帧与非参考帧之间的差异图，确定参考帧的局部方差，基于确定的局部方差与确定的差异图之间的差来确定细节功率图，以及基于确定的细节功率图来确定细节等级图。
附图说明
6.根据下面结合附图的详细描述，本公开的特定实施例的以上和其他方面、特征以及优点将更清楚，在附图中：
7.图1示出根据实施例的yuv颜色编码方案域多帧去噪(mfd)系统的示图；
8.图2示出根据实施例的mfd系统的示图；
9.图3示出根据实施例的去噪的方法的流程图；以及
10.图4示出根据一个实施例的网络环境中的电子装置的框图。
具体实施方式
11.在下文中，参照附图详细描述本公开的实施例。应当注意，尽管相同的元件在不同的附图中示出，但是它们将由相同的参考标号表示。在下面的描述中，提供诸如详细配置和组件的具体细节以仅帮助全面理解本公开的实施例。因此，本领域技术人员应当清楚，在不脱离本公开的范围的情况下，可做出对在此描述的实施例的各种改变和修改。此外，为了清楚和简明，省略了对公知的功能和构造的描述。下面描述的术语是考虑到本公开中的功能而定义的术语，并且可根据用户、用户的意图或习惯而不同。因此，术语的定义应基于贯穿本说明书的内容来确定。
12.本公开可具有各种修改和各种实施例，在本公开中，下面参照附图详细描述实施
例。然而，应当理解，本公开不限于实施例，而是包括本公开的范围内的所有修改、等同物和替代物。
13.尽管可使用包括序数(诸如，第一、第二等)的术语来描述各种元件，但是结构元件不受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。例如，在不脱离本公开的范围的情况下，第一结构元件可被称为第二结构元件。类似地，第二结构元件也可被称为第一结构元件。如在此使用的，术语“和/或”包括一个或多个相关项的任何组合和所有组合。
14.在此使用的术语仅用于描述本公开的各种实施例，而不意在限制本公开。除非上下文另外清楚地指示，否则单数形式意在包括复数形式。在本公开中，应当理解，术语“包括”或“具有”指示存在特征、数量、步骤、操作、结构元件、部件或它们的组合，并且不排除存在或可能添加一个或多个其他特征、数量、步骤、操作、结构元件、部件或它们的组合。
15.除非不同地定义，否则在此使用的所有术语具有与本公开所属领域的技术人员所理解的含义相同的含义。除非在本公开中清楚地定义，否则术语(诸如，在通用词典中定义的术语)应被解释为具有与相关领域中的上下文含义相同的含义，而不应被解释为具有理想化或过于形式化的含义。
16.根据一个实施例的电子装置可以是各种类型的电子装置中的一种。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据公开的一个实施例，电子装置不限于上述电子装置。
17.本公开中使用的术语不意在限制本公开，而是意在包括针对相应实施例的各种改变、等同物或替换物。关于附图的描述，类似的参考标号可用于表示类似的元件或相关的元件。除非相关上下文另外清楚地指示，否则与项对应的名词的单数形式可包括一个或多个事物。如在此使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”和“a、b或c中的至少一个”的短语中的每个可包括在短语中的相应一个中一起列举的项的所有可能组合。如在此使用的，诸如“第1”、“第2”、“第一”和“第二”的术语可用于将相应组件与另一组件区分开，而不意在在其他方面(例如，重要性或顺序)限制组件。意图是，如果在具有或不具有术语“可操作地”或“通信地”的情况下，元件(例如，第一元件)被称为“与”另一元件(例如，第二元件)“结合”、“结合到”、“连接”或“连接到”另一元件(例如，第二元件)，则指示该元件可直接(例如，有线)、无线地或经由第三元件与所述另一元件结合。
18.如在此使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并且可与其他术语(例如，“逻辑”、“逻辑块”、“部件”和“电路”)可互换地使用。模块可以是适合于执行一个或多个功能的单个集成组件或其最小单元或部件。例如，根据一个实施例，模块可以以专用集成电路(asic)的形式实现。
19.本系统和方法提供了基于多帧的细节等级图(detail grade map)估计，其中，估计的图指定用于区分细节区域与高噪声区域和/或局部运动区域的置信分数。估计的细节等级图用于控制自适应空间域去噪功率，该自适应空间域去噪功率被应用为对时域去噪(融合)结果的后处理。
20.本系统和方法还提供了自适应空间域去噪结构，其中，去噪的水平可通过估计的细节等级图来控制：在细节区域中应用较弱的去噪并且在带噪区域和/或局部运动区域中
应用较强的去噪。
21.图1示出根据实施例的yuv颜色编码方案域多帧去噪(mfd)系统的示图。参考图像(例如，第0输入图像)和输入图像(例如，第k输入图像)在图像配准(image registration)块102被配准。在对非参考帧应用图像配准之后，在多帧融合(例如，自适应时域去噪)块104每帧独立地应用时域合并。合并帧(例如，合并的亮度)被传递到后处理(例如，亮度后处理或自适应空间域去噪和锐化)块106以进一步降低噪声水平，并增强边缘和细节。
22.作为模型，本系统和方法考虑n个带噪图像的突发，其中，yk(x，y)表示第k变形图像帧(即，在图像配准后与参考帧对齐(align))的亮度，ck(x，y)表示第k图像帧的色度(u通道或v通道)，k∈{0，...，n-1}，(x，y)表示二维(2d)空间像素位置。此外，y
k，s
(i，j)被定义为yk的s∈{lh，hl，hh，ll_lh，ll_lh，ll_hh，ll_ll}子带的第(i，j)小波系数，c
k，s
(i，j)被定义为ck的s子带的第(i，j)小波系数。
23.在mfd结构中，时域去噪(例如，帧融合)之后是空间域去噪(例如，基于非局部均值(nlm)或变换域的去噪)和锐化(例如，反锐化掩蔽(unsharpmasking))，以进一步降低噪声并增强质量。在空间域去噪中，可在纹理和细节区域中运用弱去噪和强锐化，并且可在平坦和带噪区域中运用强去噪和弱锐化。此外，时域平均的水平根据参考帧与非参考帧之间的对齐的水平而变化，使得可以在良好对齐的区域中进行更多的时域平均。由于由不完美的图像配准引起的局部运动或残余全局未对齐(residual global misalignment)，对齐的水平在整个图像平面上变化。
24.因此，本系统和方法通过较强的空间域去噪来补偿时域去噪中的不平衡。细节等级图递送处于-1至1的范围内的等级图，其中，等级1表示强细节区域，等级-1表示局部运动区域和/或带噪区域。为了确定细节等级图，如等式(1)中那样确定参考帧(参考图像)与非参考帧(带噪输入图像)之间的差异图(dk(i，j)，其中，i∈{1，...，w}，j∈{1，...，h}，w和h分别对应于图像帧的宽度和高度，dk(i，j)表示参考帧的像素(i，j)与非参考帧的像素(i，j)之间的差，blur()表示模糊操作)。
[0025][0026]
任何模糊操作(诸如，5
×
5高斯滤波或5
×
5方框滤波(box filtering，又称为箱式滤波))可被运用。然后，如等式(2)中那样确定细节功率图detailpower(i，j)：
[0027][0028]
其中，如等式(3)和(4)中那样：
[0029][0030]yg，0
＝blur(y0)
ꢀꢀ
(4)
[0031]
refvar表示参考帧的局部方差，或者表示细节和噪声功率，或粗略地说，detaildweight和varmax是可调参数。此外，
在非运动区域中并且在完美对齐的情况下，因此，在完全对齐的情况下，细节功率图可基于细节功率与噪声功率之间的差被确定，如等式(5)中所示，其中，表示细节功率，表示噪声功率。
[0032][0033]
对于具有的强细节区域，细节功率图表示细节功率，并且对于具有率图表示细节功率，并且对于具有的弱细节区域，等式(5)中的细节功率图变为负数，并且其数值表示噪声功率。此外，在dk(i，j)＞＞refvar(i，j)的局部运动区域中，等式(5)的细节功率图变为具有较大数值的负数。对于detailpower(i，j)＞0，细节功率图指示细节等级，并且对于detailpower(i，j)＜0，细节功率图指示噪声和运动功率。最后，如等式(6)中那样通过对以上细节功率图进行归一化和截断来获得细节等级图。
[0034][0035]
detailnorm是可调参数。
[0036]
在多帧融合中，由于局部运动和全局运动两者，合并(即，时域去噪)的水平在空间上变化，使得在静态和良好对齐的区域中实现最多时域平均，并且在局部运动区域中发生最少时域平均。为了适当地配置后处理块，将detailgrade传递给后处理块，以根据细节等级图动态地调整去噪和锐化的水平。目标是在由detailgrade(i，j)
→
1表示的细节区域中应用较少的去噪和较多的锐化，并且在由detailgrade(i，j)
→‑
1表示的局部运动区域和/或平坦区域中应用较多的去噪、较少的锐化和较少的抖动。
[0037]
计算的细节等级图可用于自适应地控制去噪功率，使得较强的去噪将被应用在带噪的平坦区域和/或运动区域中，并且较弱的去噪将被应用在细节区域中。可使用细节等级图通过调整噪声功率来控制去噪功率。在变换域去噪中，如等式(7)中那样应用常规收缩操作(shrinkage operation)：
[0038][0039]
其可如等式(8)中那样由细节等级图自适应地控制：
[0040][0041]
其中，σ2是调谐参数，是多帧融合结果，是的去噪版本，下标0指示参考帧索引，下标s是变换域去噪中的子带索引，并且dndetailgrade如等式(9)中那样获得：
[0042][0043]
其中，detaildn_slp和detaildn_offset是调谐参数，detailgrade(i，j)是细节等
级图，并且s是变换域(例如，非抽样的哈尔(haar)变换)中的子带索引。
[0044]
图2示出根据实施例的mfd系统的示图。在图像配准块202，对参考图像y0和输入图像执行图像配准。输入图像可被配准为带噪输入图像yk。在多帧融合块204，参考图像和带噪输入图像可被融合。在细节等级图估计块206，基于带噪输入图像和参考图像确定细节等级图。在空间域去噪块208，可基于细节等级图和从多帧融合块206输出的融合的亮度来执行空间域去噪以产生最终的亮度。
[0045]
图3示出根据实施例的去噪的方法的流程图300。在302，系统确定参考帧与非参考帧之间的差异图。在304，系统确定参考帧的局部方差。在306，系统基于确定的局部方差与确定的差异图之间的差来确定细节功率图。在308，系统基于确定的细节功率图来确定细节等级图。
[0046]
图4示出根据一个实施例的网络环境400中的电子装置401的框图。参照图4，网络环境400中的电子装置401可经由第一网络498(例如，短程无线通信网络)与电子装置402通信，或者经由第二网络499(例如，远程无线通信网络)与电子装置404或服务器408通信。电子装置401可经由服务器408与电子装置404通信。电子装置401可包括处理器420、存储器430、输入装置450、声音输出装置455、显示装置460、音频模块470、传感器模块476、接口477、触觉模块479、相机模块480、电源管理模块488、电池489、通信模块490、连接端子478、用户识别模块(sim)496或天线模块497。在一个实施例中，可从电子装置401省略组件中的至少一个(例如，显示装置460或相机模块480)，或者可将一个或多个其他组件添加到电子装置401。在一个实施例中，组件中的一些可被实现为单个集成电路(ic)。例如，传感器模块476(例如，指纹传感器、虹膜传感器或照度传感器)可嵌入在显示装置460(例如，显示器)中。
[0047]
处理器420可执行例如软件(例如，程序440)以控制电子装置401的与处理器420连接的至少一个其他组件(例如，硬件组件或软件组件)，并且可执行各种数据处理或计算。作为数据处理或计算的至少一部分，处理器420可将从另外的组件(例如，传感器模块476或通信模块490)接收的命令或数据加载到易失性存储器432中，处理存储在易失性存储器432中的命令或数据，并将结果数据存储在非易失性存储器434中。处理器420可包括主处理器421(例如，中央处理器(cpu)或应用处理器(ap))以及可独立于主处理器421操作或与主处理器421结合操作的辅助处理器423(例如，图形处理器(gpu)、图像信号处理器(isp)、传感器集线器处理器或通信处理器(cp))。另外地或可选地，辅助处理器423可适合于比主处理器421消耗更少的功率，或者执行特定功能。辅助处理器423可被实现为与主处理器421分离或者是主处理器421的一部分。
[0048]
辅助处理器423可在主处理器421处于非激活(例如，睡眠)状态时代替主处理器421或者在主处理器421处于激活状态(例如，执行应用)时与主处理器421一起，控制与电子装置401的组件之中的至少一个组件(例如，显示装置460、传感器模块476或通信模块490)相关的功能或状态中的至少一些。根据一个实施例，辅助处理器423(例如，图像信号处理器或通信处理器)可被实现为在功能上与辅助处理器423相关的另一组件(例如，相机模块480或通信模块490)的一部分。
[0049]
存储器430可存储由电子装置401的至少一个组件(例如，处理器420或传感器模块476)使用的各种数据。各种数据可包括例如软件(例如，程序440)和用于与其相关的命令的
输入数据或输出数据。存储器430可包括易失性存储器432或非易失性存储器434。
[0050]
程序440可作为软件存储在存储器430中，并且可包括例如操作系统(os)442、中间件444或应用446。
[0051]
输入装置450可从电子装置401的外部(例如，用户)接收将要由电子装置401的其他组件(例如，处理器420)使用的命令或数据。输入装置450可包括例如麦克风、鼠标或键盘。
[0052]
声音输出装置455可将声音信号输出到电子装置401的外部。声音输出装置455可包括例如扬声器或接收器。扬声器可用于一般目的(诸如，播放多媒体或录音)，并且接收器可用于接收传入呼叫。根据一个实施例，接收器可被实现为与扬声器分离或者扬声器的一部分。
[0053]
显示装置460可在视觉上将信息提供到电子装置401的外部(例如，用户)。显示装置460可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据一个实施例，显示装置460可包括适合于检测触摸的触摸电路，或者适合于测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
[0054]
音频模块470可将声音转换为电信号，反之亦然。根据一个实施例，音频模块470可经由输入装置450获得声音，或者经由声音输出装置455或与电子装置401直接(例如，有线)或无线连接的外部电子装置402的耳机输出声音。
[0055]
传感器模块476可检测电子装置401的操作状态(例如，功率或温度)或电子装置401外部的环境状态(例如，用户的状态)，然后生成与检测的状态对应的电信号或数据值。传感器模块476可包括例如手势传感器、陀螺仪传感器、大气压传感器、磁传感器、加速度传感器、握持传感器、近距离传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
[0056]
接口477可支持用于电子装置401直接(例如，有线)或无线地与外部电子装置402连接的一个或多个指定协议。根据一个实施例，接口477可包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
[0057]
连接端子478可包括连接器，电子装置401可经由该连接器与外部电子装置402物理连接。根据一个实施例，连接端子478可包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
[0058]
触觉模块479可将电信号转换为可由用户经由触感或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据一个实施例，触觉模块479可包括例如马达、压电元件或电刺激器。
[0059]
相机模块480可捕获静止图像或运动图像。根据一个实施例，相机模块480可包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
[0060]
电源管理模块488可管理供应给电子装置401的电力。电源管理模块488可被实现为例如电源管理集成电路(pmic)的至少一部分。
[0061]
电池489可向电子装置401的至少一个组件供电。根据一个实施例，电池489可包括例如不可再充电的一次电池、可再充电的二次电池或燃料电池。
[0062]
通信模块490可支持在电子装置401与外部电子装置(例如，电子装置402、电子装置404或服务器408)之间建立直接(例如，有线)通信信道或无线通信信道，并且经由建立的
通信信道执行通信。通信模块490可包括可独立于处理器420(例如，ap)操作并支持直接(例如，有线)通信或无线通信的一个或多个通信处理器。根据一个实施例，通信模块490可包括无线通信模块492(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块494(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络498(例如，诸如蓝牙
tm
、无线保真(wi-fi)直连或红外数据协会(irda)标准的短程通信网络)或第二网络499(例如，诸如蜂窝网络、互联网或计算机网络(例如，lan或广域网(wan))的远程通信网络)与外部电子装置通信。这些各种类型的通信模块可被实现为单个组件(例如，单个ic)，或者可被实现为彼此分离的多个组件(例如，多个ic)。无线通信模块492可使用存储在用户识别模块496中的用户信息(例如，国际移动用户识别(imsi))来在通信网络(诸如，第一网络498或第二网络499)中识别和认证电子装置401。
[0063]
天线模块497可向电子装置401的外部(例如，外部电子装置)发送信号或电力，或者从电子装置401的外部(例如，外部电子装置)接收信号或电力。根据一个实施例，天线模块497可包括一个或多个天线，并且由此适合于在通信网络(诸如，第一网络498或第二网络499)中使用的通信方案的至少一个天线可例如由通信模块490(例如，无线通信模块492)选择。然后，可经由选择的至少一个天线在通信模块490与外部电子装置之间发送或接收信号或电力。
[0064]
上述组件中的至少一些可相互连接并且经由外设间(inter-peripheral)通信方案(例如，总线、通用输入和输出(gpio)、串行外围接口(spi)或移动工业处理器接口(mipi))在它们之间传送信号(例如，命令或数据)。
[0065]
根据一个实施例，可经由与第二网络499连接的服务器408在电子装置401与外部电子装置404之间发送或接收命令或数据。电子装置402和404中的每个可以是与电子装置401相同类型或不同类型的装置。将要在电子装置401处执行的操作中的全部或一些可在外部电子装置402、404和服务器408中的一个或多个处执行。例如，如果电子装置401应该自动地或者响应于来自用户或另外的装置的请求来执行功能或服务，则电子装置401代替执行功能或服务，或者除了执行功能或服务之外，可请求一个或多个外部电子装置执行功能或服务的至少一部分。接收请求的一个或多个外部电子装置可执行请求的功能或服务的至少一部分，或者与请求相关的附加功能或附加服务，并将执行的结果传送到电子装置401。电子装置401可在对结果进行进一步处理或不进行进一步处理的情况下提供结果，作为对请求的回复的至少一部分。为此，例如云计算、分布式计算或客户端-服务器计算技术可被使用。
[0066]
一个实施例可被实现为包括存储在可由机器(例如，电子装置401)读取的存储介质(例如，内部存储器436或外部存储器438)中的一个或多个指令的软件(例如，程序440)。例如，电子装置401的处理器可调用存储在存储介质中的一个或多个指令中的至少一个指令，并且在处理器的控制下在使用或不使用一个或多个其他组件的情况下执行至少一个指令。因此，机器可被操作以根据调用的至少一个指令来执行至少一个功能。一个或多个指令可包括由编译器生成的代码或可由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式被提供。术语“非暂时性”指示存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语不区分数据半永久地存储在存储介质中的位置和数据临时地存储
在存储介质中的位置。
[0067]
根据一个实施例，公开的方法可包括在计算机程序产品中和在计算机程序产品中提供。计算机程序产品可作为产品在卖方与买方之间交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(cd-rom))的形式分发，或者经由应用商店(例如，play store
tm
)在线分发(例如，下载或上传)，或者直接在两个用户装置(例如，智能电话)之间分发。如果在线分发，则计算机程序产品的至少一部分可临时生成或至少临时存储在机器可读存储介质(诸如，制造商的服务器的存储器、应用商店的服务器或中继服务器)中。
[0068]
根据一个实施例，上述组件中的每个组件(例如，模块或程序)可包括单个实体或多个实体。可省略上述组件中的一个或多个，或者可添加一个或多个其他组件。可选地或另外地，多个组件(例如，模块或程序)可集成到单个组件中。在这种情况下，集成的组件仍然可以以与在集成之前所述多个组件中的每个的一个或多个功能由所述多个组件中的对应组件执行的方式相同或相似的方式，执行所述多个组件中的每个的一个或多个功能。由模块、程序或另外的组件执行的操作可顺序地、并行地、重复地或启发式地执行，或者操作中的一个或多个操作可以以不同的顺序执行或省略，或者一个或多个其他操作可被添加。
[0069]
尽管已经在本公开的具体实施方式中描述了本公开的特定实施例，但是在不脱离本公开的范围的情况下，可以以各种形式修改本公开。因此，本公开的范围不应仅基于描述的实施例来确定，而是基于所附权利要求及其等同物来确定。