噪声估计方法及装置、计算机设备、存储介质及程序产品与流程

本技术涉及视频处理领域，特别涉及一种噪声估计方法及装置、计算机设备、存储介质及程序产品。

背景技术：

1、噪声水平估计是一种常见的视频处理算法。通过准确地估计视频的噪声水平，有利于更好地设计下游的降噪算法，且有利于更准确地判断视频是否需进入降噪模块处理，以在视频链路系统中减少视频降噪的次数，进而减少视频链路系统中的计算复杂度，提升视频的画质处理效率。但通过传统的噪声估计方法对视频的噪声水平进行估计，存在估计的噪声水平的准确度偏低的不足。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够更准确地估计视频的噪声水平的噪声估计方法及装置、计算机设备、存储介质及程序产品。

2、第一方面，本技术提供了一种噪声估计方法，所述方法包括：

3、获取视频中的前一帧和所述视频中的当前帧，所述前一帧和所述当前帧为相邻解码的视频帧，且所述前一帧的解码顺序在所述当前帧之前；

4、基于所述当前帧的像素点相较于所述前一帧的像素点的位置偏移量，对所述前一帧的像素点的位置进行预测，得到所述前一帧的补偿帧；

5、基于所述补偿帧的像素点与所述前一帧的像素点的差异，得到所述前一帧的第一空域噪声；

6、基于所述第一空域噪声，得到所述视频的噪声水平。

7、采用第一方面提供的噪声估计方法，获取视频中的相邻解码的前一帧和当前帧，以当前帧的像素点相较于前一帧的像素点的位置偏移量为依据，对前一帧的像素点的位置进行预测。基于预测出来的各个像素点的位置，得到对前一帧进行预测的补偿帧。本噪声估计方法引入视频运动估计，基于前一帧做运动补偿，得到经过运动补偿的补偿帧。若运动补偿成功，则前一帧与补偿帧高度相似，前一帧的像素点与补偿帧的像素点之间几乎无差异。若前一帧的像素点与补偿帧的像素点之间存在差异，则表明未完全运动补偿成功，而未完全补偿成功是受到了前一帧所包含的第一空域噪声的影响。因此，补偿帧的像素点与前一帧的像素点的差异，即预测的前一帧的像素点，和实际的前一帧的像素点的差异，可用于表征前一帧所包含的第一空域噪声所引起的信息变化。基于补偿帧的像素点与前一帧的像素点的差异，则能够准确地得到前一帧的第一空域噪声。进而，由于视频的噪声水平可基于视频中相邻解码的前一帧的第一空域噪声得到，因此，在准确地得到前一帧的第一空域噪声的情况下，能够更准确地得到视频的噪声水平。

8、在其中一个实施例中，所述基于所述补偿帧的像素点与所述前一帧的像素点的差异，得到所述前一帧的第一空域噪声，包括：

9、确定所述补偿帧与所述前一帧的所述差值帧，所述差值帧的差值像素点的亮度信息是所述前一帧的第一像素点的亮度信息，与所述补偿帧的第二像素点的亮度信息的差值的绝对值，所述差值像素点在所述差值帧的位置与所述第一像素点在所述前一帧的位置、所述第二像素点在所述补偿帧的位置相同；所述差值帧的噪声水平用于表示所述前一帧的所述第一空域噪声；

10、提取所述差值帧的差值特征值，所述差值特征值用于表示所述差值帧的噪声水平。

11、在其中一个实施例中，所述差值帧包括至少一个差值图像块；所述提取所述差值帧的差值特征值，包括：

12、对所述差值帧的所述至少一个差值图像块进行第一目标处理，得到所述至少一个差值图像块的至少一个第一处理参数，所述差值图像块与所述第一处理参数一一对应；所述第一处理参数用于表示所述差值图像块的平滑程度；

13、从所述至少一个第一处理参数中，确定小于第一阈值的至少一个第一目标参数；所述第一目标参数所对应的差值图像块的平滑程度与所述差值帧的噪声相匹配；

14、从所述至少一个第一目标参数中确定所述差值帧的所述差值特征值。

15、在其中一个实施例中，在所述第一目标处理为计算小波系数的情况下，所述第一处理参数包括对所述差值图像块进行小波分解后得到的第一小波系数、第二小波系数、第三小波系数和第四小波系数；所述第一小波系数是指在所述差值图像块的行方向和列方向均利用高通小波滤波器进行处理而产生的小波系数，所述第二小波系数是指在所述差值图像块的行方向利用低通小波滤波器进行处理后，再在所述差值图像块的列方向利用高通小波滤波器进行处理而产生的小波系数，所述第三小波系数是指在所述差值图像块的行方向利用高通小波滤波器进行处理后，再在所述差值图像块的列方向利用低通小波滤波器进行处理而产生的小波系数，所述第四小波系数是指在所述差值图像块的行方向和列方向均利用低通小波滤波器进行处理而产生的小波系数；所述至少一个第一目标参数包括至少一个第一参数和至少一个第二参数，所述第一目标参数与所述第一参数、所述第二参数一一对应；所述从所述至少一个第一处理参数中，确定小于第一阈值的至少一个第一目标参数，包括：

16、从所述至少一个第一处理参数中，确定至少一个第二小波系数和至少一个第三小波系数；

17、从所述至少一个第二小波系数中，确定小于所述第一阈值的所述至少一个第一参数；

18、从所述至少一个第三小波系数中，确定小于所述第一阈值的所述至少一个第二参数。

19、在其中一个实施例中，所述从所述至少一个第一目标参数中确定所述差值帧的所述差值特征值，包括：

20、确定所述至少一个第一目标参数中的第一峰值和第一均值，所述第一峰值是指出现频率最高的第一目标参数，所述第一均值是指所述至少一个第一目标参数的平均值；

21、将所述第一峰值和所述第一均值作为所述差值帧的所述差值特征值。

22、在其中一个实施例中，所述将所述第一峰值和所述第一均值作为所述差值帧的所述差值特征值之前，所述方法还包括：

23、对所述差值帧的协方差进行特征值分解，得到目标特征值，所述目标特征值用于表示所述差值帧的噪声水平；

24、所述将所述第一峰值和所述第一均值作为所述差值帧的所述差值特征值，包括：

25、将所述第一峰值、所述第一均值和所述目标特征值作为所述差值帧的所述差值特征值。

26、在其中一个实施例中，所述对所述差值帧的协方差进行特征值分解，得到目标特征值，包括：

27、确定所述差值帧的所述协方差；

28、对所述协方差进行特征值分解，得到至少一个特征值；

29、将所述至少一个特征值进行从小到大排序；

30、在排序后的所述至少一个特征值中，若相邻的第一特征值与第二特征值的差值的绝对值大于差值阈值，则确定所述第一特征值为所述目标特征值；

31、其中，所述第一特征值小于所述第二特征值，且所述第一特征值和所述第二特征值为排序后的所述至少一个特征值中，最小的一组目标值，所述目标值是指差值的绝对值大于所述差值阈值的相邻特征值。

32、在其中一个实施例中，所述基于所述第一空域噪声，得到所述视频的噪声水平，包括：

33、确定所述补偿帧与所述当前帧的均值帧，所述均值帧的均值像素点的亮度信息是所述补偿帧的第三像素点的亮度信息，与所述当前帧的第四像素点的亮度信息的加权和，所述均值像素点在所述均值帧的位置与所述第三像素点在所述补偿帧的位置、所述第四像素点在所述当前帧的位置相同；

34、提取所述均值帧的均值特征值，所述均值特征值用于表示所述均值帧的噪声水平，所述均值帧的噪声水平用于表示所述当前帧的第二空域噪声；

35、基于所述第一空域噪声和所述第二空域噪声，得到所述视频的噪声水平。

36、在其中一个实施例中，所述均值帧包括至少一个均值图像块；所述提取所述均值帧的均值特征值，包括：

37、对所述均值帧的所述至少一个均值图像块进行第二目标处理，得到所述至少一个均值图像块的至少一个第二处理参数，所述均值图像块与所述第二处理参数一一对应；所述第二处理参数用于表示所述均值图像块的平滑程度；

38、从所述至少一个第二处理参数中，确定小于第二阈值的至少一个第二目标参数；所述第二目标参数所对应的均值图像块的平滑程度与所述均值帧的噪声相匹配；

39、从所述至少一个第二目标参数中确定所述均值帧的所述均值特征值。

40、在其中一个实施例中，所述基于所述第一空域噪声和所述第二空域噪声，得到所述视频的噪声水平，包括：

41、基于所述前一帧与所述当前帧的相同位置的像素点的差异，得到所述前一帧和所述当前帧之间的时域噪声；

42、基于所述第一空域噪声、所述第二空域噪声和所述时域噪声，得到所述视频的噪声水平。

43、在其中一个实施例中，所述基于所述前一帧与所述当前帧的相同位置的像素点的差异，得到所述前一帧和所述当前帧之间的时域噪声，包括：

44、确定所述前一帧与所述当前帧的混合帧，所述混合帧的混合图像块由所述前一帧的第一图像块与所述当前帧的第二图像块拼接而成，所述混合图像块包括所述混合帧的像素点，所述第一图像块包括所述前一帧的像素点，所述第二图像块包括所述当前帧的像素点，所述第一图像块在所述前一帧的位置与所述第二图像块在所述当前帧的位置相同；所述混合帧的噪声水平用于表示所述前一帧和所述当前帧之间的所述时域噪声；

45、提取所述混合帧的混合特征值，所述混合特征值用于表示所述混合帧的噪声水平。

46、在其中一个实施例中，所述混合帧包括至少一个混合图像块；所述提取所述混合帧的混合特征值，包括：

47、对所述混合帧的所述至少一个混合图像块进行第三目标处理，得到所述至少一个混合图像块的至少一个第三处理参数，所述混合图像块与所述第三处理参数一一对应；所述第三处理参数用于表示所述混合图像块的平滑程度；

48、从所述至少一个第三处理参数中，确定小于第三阈值的至少一个第三目标参数；所述第三目标参数所对应的混合图像块的平滑程度与所述混合帧的噪声相匹配；

49、从所述至少一个第三目标参数中确定所述混合帧的所述混合特征值。

50、在其中一个实施例中，所述基于所述第一空域噪声、所述第二空域噪声和所述时域噪声，得到所述视频的噪声水平，包括：

51、将所述第一空域噪声、所述第二空域噪声和所述时域噪声进行线性拟合，得到所述视频的噪声水平。

52、在其中一个实施例中，所述基于所述当前帧的像素点相较于所述前一帧的像素点的位置偏移量，对所述前一帧的像素点的位置进行预测，得到所述前一帧的补偿帧，包括：

53、确定所述当前帧的第五像素点相较于所述前一帧的第六像素点的位置偏移量，所述第五像素点与所述第六像素点具有相同语义；

54、基于所述当前帧的所述第五像素点，以所述位置偏移量为依据对所述前一帧的所述第六像素点进行预测，得到第七像素点；

55、基于所述第七像素点，得到所述前一帧的补偿帧。

56、第二方面，本技术还提供了一种噪声估计装置，所述装置包括：

57、视频帧获取模块，用于获取视频中的前一帧和所述视频中的当前帧，所述前一帧和所述当前帧为相邻解码的视频帧，且所述前一帧的解码顺序在所述当前帧之前；

58、视频帧预测模块，用于基于所述当前帧的像素点相较于所述前一帧的像素点的位置偏移量，对所述前一帧的像素点的位置进行预测，得到所述前一帧的补偿帧；

59、空域噪声确定模块，用于基于所述补偿帧的像素点与所述前一帧的像素点的差异，得到所述前一帧的第一空域噪声；

60、视频噪声估计模块，基于所述第一空域噪声，得到所述视频的噪声水平。

61、第三方面，本技术还提供了一种计算机设备，包括：存储器、处理器，其中，所述存储器存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行如第一方面或第一方面的任一实施例所示的方法。

62、第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序；当所述计算机程序在一个或多个处理器上运行时，执行如第一方面或第一方面的任一实施例所示的方法。

63、第五方面，本技术还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令；在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行如第一方面或第一方面的任一实施例所示的方法。

64、可以理解地，上述第二方面提供的噪声估计装置、第三方面提供的计算机设备、第四方面提供的计算机可读存储介质和第五方面提供的计算机程序产品，可用于执行本技术第一方面或第一方面的任一实施例所示的噪声估计方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。