用于视频处理的方法、装置及介质与流程

本公开的实施例一般涉及视频编解码技术，并且更具体地，涉及用于图像/视频编解码的基于神经网络(nn)的滤波器的组合。

背景技术：

1、如今，数字视频功能正被应用于人们生活的各个方面。针对视频编码/解码，已经提出了多种类型的视频压缩技术，诸如，mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4第10部分高级视频编解码(avc)、itu-t h.265高效视频编解码(hevc)标准、通用视频编解码(vvc)标准。然而，传统视频编解码技术的编解码效率通常非常低，这是不期望的。

技术实现思路

1、本公开的实施例提供了一种用于视频处理的解决方案。

2、在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的视频单元与视频单元的码流之间的转换期间，将多个组合的滤波器应用于视频单元；以及基于经滤波的视频单元执行转换。根据本公开的第一方面的方法自适应地组合滤波器，这可以有利地提高编解码效率和编解码性能。

3、在第二方面，提出了一种用于处理视频数据的装置。该用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器。该指令在由处理器执行时使处理器执行根据第一方面的方法。

4、在第三方面，提出了一种用于处理视频数据的非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储使处理器执行根据第一方面的方法的指令。

5、在第四方面，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法而生成的码流。该方法包括：将多个组合的滤波器应用于视频的视频单元；以及基于经滤波的视频单元生成目标块的码流。

6、在第五方面，一种用于存储视频的码流的方法，其包括：将多个组合的滤波器应用于视频的视频单元；基于经滤波的视频单元生成目标块的码流；以及将码流存储在非暂态计算机可读记录介质中。

7、提供本技术实现要素：部分是为了以简化的形式介绍以下具体实施方式中进一步描述的概念的选择。本发明内容部分不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。

技术特征：

1.一种视频处理的方法，包括：

2.根据权利要求1所述的方法，其中所述多个滤波器包括神经网络(nn)滤波器和非-nn滤波器。

3.根据权利要求2所述的方法，其中所述非-nn滤波器包括以下之一：

4.根据权利要求2所述的方法，其中所述nn滤波器包括基于卷积神经网络(cnn)的环内滤波器。

5.根据权利要求2所述的方法，其中所述nn滤波器和所述非-nn滤波器根据预定顺序或自适应顺序被应用。

6.根据权利要求1所述的方法，其中所述多个滤波器包括第一nn滤波器和第二nn滤波器。

7.根据权利要求6所述的方法，其中如果所述第一nn滤波器的第一nn模型和所述第二nn滤波器的第二nn模型相同，则所述第一nn模型的第一输入和所述第二nn模型的第二输入不同。

8.根据权利要求7所述的方法，其中被用于所述第一nn滤波器的量化参数(qp)和被用于所述第二nn滤波器的量化参数(qp)不同。

9.根据权利要求7所述的方法，其中所述qp是所述第一nn模型和所述第二nn模型的输入参数。

10.根据权利要求7所述的方法，其中针对不同的qp，所述第一nn模型和所述第二nn模型不同。

11.根据权利要求6所述的方法，其中所述第一nn滤波器的第一nn模型和所述第二nn滤波器的第二nn模型不同。

12.根据权利要求1所述的方法，其中将所述多个组合的滤波器应用于所述视频单元包括：

13.根据权利要求12所述的方法，其中所述重建通过预测和残差被生成。

14.根据权利要求12所述的方法，其中所述重建是一个或多个其它滤波器的经滤波的输出信号。

15.根据权利要求14所述的方法，其中所述一个或多个其它滤波器的类型与所述多个滤波器相同，或

16.根据权利要求1所述的方法，其中所述多个滤波器包括第一非-nn滤波器和第二非-nn滤波器。

17.根据权利要求16所述的方法，其中所述第一非-nn滤波器包括db滤波器，并且所述第二非-nn滤波器包括sao滤波器。

18.根据权利要求16所述的方法，其中所述第一非-nn滤波器包括db滤波器，并且所述第二非-nn滤波器包括alf。

19.根据权利要求16所述的方法，其中所述第一非-nn滤波器包括sao滤波器，并且所述第二非-nn滤波器包括alf。

20.根据权利要求16所述的方法，其中所述第一非-nn滤波器包括以下至少一项：db滤波器、sao滤波器、bif、ccsao滤波器、ccalf或alf，或

21.根据权利要求1所述的方法，其中所述多个滤波器被组合为滤波器。

22.根据权利要求21所述的方法，其中所述多个滤波器包括第一滤波器和第二滤波器，并且所述第一滤波器和所述第二滤波器被组合为第三滤波器。

23.根据权利要求22所述的方法，其中所述第三滤波器不同于所述第一滤波器和所述第二滤波器。

24.根据权利要求22所述的方法，其中所述第一滤波器与所述第二滤波器相同。

25.根据权利要求22所述的方法，其中所述第一滤波器包括db滤波器且所述第二滤波器包括sao滤波器，并且所述db滤波器和所述sao滤波器被组合为所述第三滤波器。

26.根据权利要求22所述的方法，其中所述第一滤波器包括db滤波器且所述第二滤波器包括nn滤波器，所述db滤波器和所述nn滤波器被组合为所述第三滤波器。

27.根据权利要求22所述的方法，其中所述第一滤波器包括sao滤波器且所述第二滤波器包括nn滤波器，所述sao滤波器和所述nn滤波器被组合为所述第三滤波器。

28.根据权利要求22所述的方法，其中所述第一滤波器包括bif且所述第二滤波器包括nn滤波器，所述bif和所述nn滤波器被组合为所述第三滤波器。

29.根据权利要求22所述的方法，其中所述第一滤波器包括alf且所述第二滤波器包括nn滤波器，所述alf滤波器和所述nn滤波器被组合为所述第三滤波器。

30.根据权利要求22所述的方法，其中所述第一滤波器包括第一nn滤波器且所述第二滤波器包括第二nn滤波器，所述第一nn滤波器和所述第二nn滤波器被组合为所述第三滤波器。

31.根据权利要求21所述的方法，其中所述多个滤波器中的滤波器的数目是整数。

32.根据权利要求31所述的方法，其中所述滤波器的数目不小于2，或

33.根据权利要求1所述的方法，其中第四滤波器与多个滤波器分离。

34.根据权利要求33所述的方法，其中所述多个滤波器的输入信息和所述第四滤波器的输入信息不同。

35.根据权利要求33所述的方法，其中由所述多个滤波器和所述第四滤波器生成的经滤波的重建信号的数目根据编码或解码规则而被保持。

36.根据权利要求35所述的方法，其中所述编码或解码规则取决于以下至少一项：

37.根据权利要求36所述的方法，其中所述统计包括以下至少一项：

38.根据权利要求35所述的方法，其中所述经滤波的重建信号的数目是以下之一：0、1、2、3、4，或

39.根据权利要求33所述的方法，其中针对所述视频的部分视频单元所述第四滤波器与所述多个滤波器分离，或

40.根据权利要求1所述的方法，其中第五滤波器与所述多个滤波器组合。

41.根据权利要求1所述的方法，其中所述多个滤波器的输入信息相同。

42.根据权利要求1所述的方法，其中所述多个滤波器被并行地应用。

43.根据权利要求1所述的方法，其中所述多个滤波器包括sao滤波器和bif，所述sao滤波器和所述bif被并行地应用。

44.根据权利要求1所述的方法，其中所述多个滤波器的输出作为一个或多个其它滤波器的输入。

45.根据权利要求44所述的方法，其中由所述多个滤波器生成的经滤波的重建作为所述一个或多个其它滤波器的输入信息。

46.根据权利要求44所述的方法，其中所述一个或多个其他滤波器包括nn滤波器，所述nn滤波器在以下一个或多个之后被应用：

47.根据权利要求44所述的方法，其中所述一个或多个其他滤波器包括nn滤波器，所述nn滤波器在另一nn滤波器之后被应用。

48.根据权利要求1所述的方法，其中所述多个滤波器的输入是一个或多个其他滤波器的输出。

49.根据权利要求48所述的方法，其中由所述一个或多个其他滤波器生成的经滤波的重建是所述多个滤波器的所述输入。

50.根据权利要求48所述的方法，其中所述多个滤波器包括nn滤波器，并且所述一个或多个其他滤波器在所述nn滤波器之前，所述一个或多个其他滤波器包括以下至少一项：

51.根据权利要求48所述的方法，其中所述一个或多个其他滤波器包括nn滤波器且所述多个滤波器包括另一nn滤波器，并且所述nn滤波器在所述另一nn滤波器之前被应用。

52.根据权利要求1所述的方法，其中所述多个滤波器在一个或多个其它滤波器之前被应用。

53.根据权利要求52所述的方法，其中所述一个或多个其它滤波器包括nn滤波器，所述多个滤波器包括以下至少一项：db滤波器、sao滤波器或alf滤波器，并且所述nn滤波器在以下之一之后被应用：

54.根据权利要求52所述的方法，其中所述一个或多个其他滤波器包括nn滤波器且所述多个滤波器包括另一nn滤波器，并且所述nn滤波器在所述另一nn滤波器之后被应用。

55.根据权利要求1所述的方法，其中所述多个滤波器在一个或多个其它滤波器之后被应用。

56.根据权利要求55所述的方法，其中所述多个滤波器包括nn滤波器，所述一个或多个其它滤波器包括以下至少一项：db滤波器、sao滤波器或alf滤波器，并且所述nn滤波器在以下之一之后被应用：

57.根据权利要求55所述的方法，其中所述一个或多个其他滤波器包括nn滤波器且所述多个滤波器包括另一nn滤波器，并且所述nn滤波器在所述另一nn滤波器之前被应用。

58.根据权利要求1所述的方法，其中所述多个滤波器根据顺序被应用。

59.根据权利要求58所述的方法，其中所述顺序是db滤波器、nn滤波器、sao滤波器和alf依次被应用。

60.根据权利要求1所述的方法，其中应用以下至少一项的顺序取决于所述视频单元的编解码模式或所述视频单元的统计中的至少一项：

61.根据权利要求1所述的方法，其中是否利用以下至少一项取决于所述视频单元的编解码模式或所述视频单元的统计中的至少一项：

62.根据权利要求1所述的方法，其中利用以下至少一项的方式取决于所述视频单元的编解码模式或所述视频单元的统计中的至少一项：

63.根据权利要求60-62中任一项所述的方法，其中所述统计包括以下至少一项：

64.根据权利要求1所述的方法，其中针对所述视频的部分视频单元第五滤波器与所述多个滤波器组合，或

65.根据权利要求1所述的方法，其中所述多个滤波器的组合被限幅。

66.根据权利要求65所述的方法，其中所述组合的限幅取决于以下至少一项：

67.根据权利要求66所述的方法，其中所述统计包括以下至少一项：

68.根据权利要求1所述的方法，其中所述多个滤波器包括相同的滤波器。

69.根据权利要求68所述的方法，其中所述相同的滤波器被顺序地连接。

70.根据权利要求68所述的方法，其中所述相同的滤波器的数目是整数。

71.根据权利要求68所述的方法，其中所述相同的滤波器的数目是以下之一：0、1、2、3或4，或

72.根据权利要求68所述的方法，其中所述多个滤波器包括第一滤波器、第二滤波器和第三滤波器，所述第一滤波器分别与所述第二滤波器和所述第三滤波器组合。

73.根据权利要求1所述的方法，其中所述多个滤波器是所述视频单元的滤波过程的内部阶段。

74.根据权利要求73所述的方法，其中经滤波的样本通过所述滤波过程被生成。

75.根据权利要求74所述的方法，其中所述经滤波的样本被置入经解码的图片缓冲中，或

76.根据权利要求73所述的方法，其中所述滤波过程是多个滤波器组的组合或选择。

77.根据权利要求76所述的方法，其中在一个滤波器组中存在一个或多个滤波器。

78.根据权利要求1所述的方法，其中是否利用所述多个滤波器和/或利用所述多个滤波器的方式取决于以下至少一项：

79.根据权利要求78所述的方法，其中所述信号在以下至少一项中：

80.根据权利要求1所述的方法，其中所述多个滤波器中的滤波器的数目是整数。

81.根据权利要求80所述的方法，其中所述滤波器的数目是0、1、2、3、4、5或6，或

82.根据权利要求81所述的方法，其中所述统计包括以下至少一项：

83.根据权利要求81所述的方法，其中所述多个滤波器的使用取决于以下至少一项中的指示符：

84.根据权利要求1所述的方法，其中所述多个滤波器是滤波器组。

85.根据权利要求1所述的方法，其中所述多个滤波器被用于组合过程中。

86.根据权利要求1所述的方法，其中所述多个组合的滤波器被应用于基于nn的编解码方法。

87.根据权利要求86所述的方法，其中所述多个滤波器通过帧内预测方法被替换。

88.根据权利要求87所述的方法，其中所述帧内预测方法是以下至少一项：基于nn的方法或基于非-nn的方法。

89.根据权利要求86所述的方法，其中所述多个滤波器通过帧间预测方法被替换。

90.根据权利要求89所述的方法，其中所述帧间预测方法是以下至少一项：基于nn的方法或基于非-nn的方法。

91.根据权利要求86所述的方法，其中所述多个滤波器被应用于统一的nn滤波方法，或

92.根据权利要求86所述的方法，其中所述多个滤波器被应用于以下至少一项：基于nn的帧内方法或基于nn的帧间方法。

93.根据权利要求86所述的方法，其中所述多个滤波器被应用于以下至少一项：基于非-nn的帧内方法或基于非-nn的帧间方法。

94.根据权利要求86所述的方法，其中所述多个滤波器中的一个滤波器是基于nn的帧内或帧间方法，并且所述多个滤波器中的另一滤波器是基于非-nn的帧内或帧间方法。

95.根据权利要求94所述的方法，其中所述多个滤波器中的所述一个滤波器和所述另一滤波器被组合。

96.根据权利要求1-95中任一项所述的方法，其中所述转换包括将所述视频单元编码到所述码流中。

97.根据权利要求1-95中任一项所述的方法，其中所述转换包括从所述码流解码所述视频单元。

98.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-97中任一项所述的方法。

99.一种非暂态计算机可读存储介质，存储使处理器执行根据权利要求1-97中任一项所述的方法的指令。

100.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法而生成的码流，其中所述方法包括：

101.一种用于存储视频的码流的方法，包括：

技术总结本公开的实施例提供了一种用于视频处理的解决方案。提出了一种用于视频处理的方法。该方法包括：在视频的视频单元与视频单元的码流之间的转换期间，将多个组合的滤波器应用于视频单元；以及基于经滤波的视频单元执行转换。技术研发人员：李俊儒,张凯,张莉,李跃受保护的技术使用者：抖音视界有限公司技术研发日：技术公布日：2024/9/12