图像降噪方法、装置与图像采集系统与流程

本申请涉及图像降噪处理领域，尤其涉及一种图像降噪方法、装置与图像采集系统。

背景技术：

1、数字图像处理可以由isp(图像信号处理器，image signal processor)执行。数字图像处理包括例如亮度、颜色、降噪、锐化等多类别的处理。不同类别的图像处理过程，需要占用的硬件资源不同，即isp处理数字图像的能力与硬件成本直接相关，硬件成本越高，数字图像的处理能力越高。

2、在对图像进行降噪或锐化的过程中，因需要对图像进行滤波处理，因此需要的硬件成本应根据滤波处理的需求提升。例如在图像滤波的过程中，若设计的滤波器的维度为5×5，则每次需要在存储器中存储5行图像数据。为了提升图像处理效果，可以提升滤波器的维度，但随之也需要增加对存储器的资源占用，因此会提升硬件成本。

3、因此在设计isp时，需要兼顾硬件成本与图像处理效果进行平衡性考虑。即在不占用过多硬件资源的基础上，增强图像处理效果，以在isp中配置的硬件资源不足时仍能提升图像处理效果。

技术实现思路

1、本申请提供一种图像降噪方法、装置与图像采集系统，以解决isp因硬件资源配置不足导致图像处理效果差的问题。

2、第一方面，本申请提供一种图像降噪方法，包括：

3、获取输入帧图像与参考帧图像；

4、基于所述输入帧图像与所述参考帧图像计算运动掩膜；所述运动掩膜用于区分所述输入帧图像与所述参考帧图像中的运动区与静止区；

5、对所述输入帧图像与所述参考帧图像执行加权运算，得到第一降噪图像；所述运动区的第一加权系数与所述静止区的第二加权系数不同；

6、基于所述运动掩膜计算收敛状态掩码；

7、若所述收敛状态掩码的图像参数小于收敛阈值，则将所述第一降噪图像标记为第一后序参考帧；所述图像参数用于表征所述第一降噪图像中的静止区的像素变化趋势；所述第一后序参考帧用于后序降噪流程；

8、对所述第一降噪图像执行空域滤波，得到第二降噪图像，且标记所述第二降噪图像为目标图像。

9、在一些可行的实施例中，还包括：

10、若所述收敛状态掩码的图像参数大于或等于收敛阈值，则基于所述第二降噪图像生成第二后序参考帧图像；

11、获取所述第二后序参考帧图像，以及对所述输入帧图像和所述后序参考帧图像执行加权运算。

12、在一些可行的实施例中，还包括：

13、对所述输入帧图像与所述第二后序参考帧图像执行加权运算时，后序运动区的第三加权系数与所述第一加权系数相同；后序静止区的第四加权系数小于所述第二加权系数；所述后序运动区指的是所述输入帧图像与所述第二后序参考帧图像中的运动区；所述后序静止区指的是所述输入帧图像与所述第二后序参考帧图像中的静止区。

14、在一些可行的实施例中，对所述第一降噪图像执行空域滤波，得到第二降噪图像，包括：

15、获取所述收敛状态掩码中像素的掩码像素值；

16、计算所述第一像素值与所述掩码像素值的第一乘积，以及计算所述第二像素值与所述掩码像素值的第二乘积；所述第一像素值为所述第一降噪图像中的像素点的像素值；所述第二像素值为所述第二降噪图像中的像素点的像素值；

17、计算所述第一乘积与所述第二乘积的和，以生成所述第一后序参考帧图像。

18、在一些可行的实施例中，获取所述收敛状态掩码中像素的掩码像素值，还包括：

19、基于所述掩码像素值计算所述第一降噪图像中的静止区的图像参数；所述图像参数包括亮度、颜色、纹理中的至少一种；

20、若所述图像参数小于收敛阈值，则标记所述第一降噪图像中的静止区为收敛状态；

21、若所述图像参数大于或等于收敛阈值，则标记所述第一降噪图像中的静止区为非收敛状态。

22、在一些可行的实施例中，获取所述输入帧图像和参考帧图像，还包括：

23、若获取到所述输入帧图像，且未获取到所述参考帧图像，则对所述输入帧图像执行时域降噪处理以及空域降噪处理，得到第三后序参考帧图像；

24、将所述第三后序参考帧图像存储至预设缓存。

25、在一些可行的实施例中，对所述第一降噪图像执行空域滤波，得到第二降噪图像，且标记所述第二降噪图像为目标图像之后，还包括：

26、标记所述目标图像中的目标运动区与目标静止区；

27、获取所述目标静止区的图像参数；

28、以所述目标静止区的图像参数为基准，调整所述目标运动区的图像参数，以平衡所述目标静止区与所述目标运动区的图像效果。

29、在一些可行的实施例中，将所述第一降噪图像标记为第一后序参考帧之后，还包括：

30、将所述第一后序参考帧图像存储至预设缓存；

31、从所述预设缓存中获取所述第一后序参考帧图像。

32、第二方面，本申请提供一种图像降噪装置，包括：采集模块、运动判断模块、时域降噪模块、状态判断模块、空域滤波模块；

33、所述采集模块用于获取输入帧图像与参考帧图像；

34、所述运动判断模块用于基于所述输入帧图像与所述参考帧图像计算运动掩膜；所述运动掩膜用于区分所述输入帧图像与所述参考帧图像中的运动区与静止区；

35、所述时域降噪模块用于对所述输入帧图像与所述参考帧图像执行加权运算，得到第一降噪图像；所述运动区的第一加权系数与所述静止区的第二加权系数不同；

36、所述状态判断模块用于基于所述运动掩膜计算收敛状态掩码；

37、所述空域滤波模块用于在所述收敛状态掩码的图像参数小于收敛阈值时，将所述第一降噪图像标记为第一后序参考帧；所述图像参数用于表征所述第一降噪图像中的静止区的像素变化趋势；所述第一后序参考帧用于后序降噪流程；

38、所述空域滤波模块还用于对所述第一降噪图像执行空域滤波，得到第二降噪图像，且标记所述第二降噪图像为目标图像。

39、第三方面，本申请提供一种图像采集系统，包括图像传感器以及第二方面中所述的图像降噪装置；图像传感器被配置为：采集目标区域的目标图像；图像降噪装置被配置为：对目标图像执行降噪处理，以及输出降噪目标图像。

40、由上述技术内容可知，本申请提供一种图像降噪方法、装置与图像采集系统。所述方法可以获取输入帧图像与参考帧图像，并通过运动掩膜区分图像中的运动区与静止区，以及基于划分的运动区与静止区为图像加权进而得到第一降噪图像。运动掩膜还用于计算收敛状态掩码，通过收敛状态掩膜可以确定静止区的图像是否收敛。在静止区的图像收敛的条件下，可以采用第一降噪图像作为第一后序参考帧图像以用于后序帧降噪。而在静止区的图像未收敛的条件下，可以采用第二降噪图像作为第二后序参考帧图像继续用于当前帧降噪，以增强降噪效果，在未增加对硬件资源的占用的基础上仍可以提升图像降噪效果。

技术特征：

1.一种图像降噪方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，还包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述第一降噪图像执行空域滤波，得到第二降噪图像，包括：

5.根据权利要求4所述的方法，其特征在于，获取所述收敛状态掩码中像素的掩码像素值，还包括：

6.根据权利要求1所述的方法，其特征在于，所述获取所述输入帧图像和参考帧图像，还包括：

7.根据权利要求1所述的方法，其特征在于，对所述第一降噪图像执行空域滤波，得到第二降噪图像，且标记所述第二降噪图像为目标图像之后，还包括：

8.根据权利要求1所述的方法，其特征在于，所述将所述第一降噪图像标记为第一后序参考帧之后，还包括：

9.一种图像降噪装置，其特征在于，包括：采集模块、运动判断模块、时域降噪模块、状态判断模块、空域滤波模块；

10.一种图像采集系统，其特征在于，包括图像传感器以及权利要求9中所述的图像降噪装置；所述图像传感器被配置为：采集目标区域的目标图像；所述图像降噪装置被配置为：对所述目标图像执行降噪处理，以及输出降噪目标图像。

技术总结本申请提供一种图像降噪方法、装置与图像采集系统。所述方法可以获取输入帧图像与参考帧图像，并通过运动掩膜区分图像中的运动区与静止区，以及基于划分的运动区与静止区为图像加权进而得到第一降噪图像。运动掩膜还用于计算收敛状态掩码，通过收敛状态掩膜可以确定静止区的图像是否收敛。在静止区的图像收敛的条件下，可以采用第一降噪图像作为第一后序参考帧图像以用于后序输入帧降噪。而在静止区的图像未收敛的条件下，可以采用第二降噪图像作为第二后序参考帧图像继续用于当前输入帧降噪，以增强降噪效果，在未增加对硬件资源的占用的基础上仍可以提升图像降噪效果。技术研发人员：周杰旻受保护的技术使用者：爱芯元智半导体股份有限公司技术研发日：技术公布日：2024/7/29