用于视频处理的方法、装置和介质与流程

本公开的各实施例总体涉及视频编解码技术，更具体地，涉及运动向量差符号预测和具有运动向量差的扩展合并(mmvd)重新排序。

背景技术：

1、如今，数字视频能力正在应用于人们生活的各个方面。已经提出了用于视频编码/解码的多种视频压缩技术，如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4part 10高级视频编解码(avc)、itu-th.265高效视频编解码(hevc)标准、通用视频编解码(vvc)标准。然而，通常期望进步一提高传统视频编解码技术的编解码效率。

技术实现思路

1、本公开的实施例提供了一种用于视频处理的解决方案。

2、在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的当前视频块与视频的比特流之间的转换期间，重新排序针对当前视频块的运动候选的运动向量差(mvd)的多个候选符号；以及基于经重新排序的多个候选符号来执行转换。

3、根据本公开的第一方面的方法，mvd的候选符号被重新排序。与不使用这种重新排序过程的传统解决方案相比，所提出的方法可以有利地提高编解码效率和编解码质量。

4、在第二方面，提出了另一种用于视频处理的方法。该方法包括：在视频的当前视频块与视频的比特流之间的转换期间，确定针对当前视频块的双向预测的mvd候选的第一列表和mvd候选的第二列表，第一列表独立于第二列表；以及基于第一列表和第二列表执行转换。

5、根据本公开的第二方面的方法，用于双向预测的两个mvd候选列表是彼此独立的。与用于双向预测的两个mvd候选列表相关的传统解决方案相比，所提出的方法可以有利地提高编解码效率和编解码质量。

6、在第三方面，提出了一种用于处理视频数据的装置。该用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器。指令在由处理器执行时使处理器执行根据本公开的第一方面或第二方面的方法。

7、在第四方面，提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储指令，指令使处理器执行根据本公开的第一方面或第二方面的方法。

8、在第五方面，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储通过视频处理装置执行的方法生成的视频的比特流。该方法包括：重新排序针对视频的当前视频块的运动候选的运动向量差(mvd)的多个候选符号；以及基于经重新排序的多个候选符号来生成比特流。

9、在第六方面，提出了一种用于存储视频的比特流的方法。该方法包括：重新排序针对视频的当前视频块的运动候选的运动向量差(mvd)的多个候选符号；基于经重新排序的多个候选符号生成比特流；以及将比特流存储在非暂态计算机可读记录介质中。

10、在第七方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储通过视频处理装置执行的方法生成的视频的比特流。该方法包括：确定针对视频的当前视频块的双向预测的mvd候选的第一列表和mvd候选的第二列表，第一列表独立于第二列表；以及基于第一列表和第二列表来生成比特流。

11、在第八方面，提出了另一种用于存储视频的比特流的方法。该方法包括：确定针对视频的当前视频块的双向预测的mvd候选的第一列表和mvd候选的第二列表，第一列表独立于第二列表；基于第一列表和第二列表来生成比特流；以及将比特流存储在非暂态计算机可读记录介质中。

12、提供本技术实现要素：是为了以简化的形式介绍一些概念，下面以具体实施方式进一步描述这些概念。本发明内容无意于识别所要求保护的主题的关键特征或基本特征，也无意于用于限制所要求保护的主题的范围。

技术特征：

1.一种用于处理视频的方法，包括：

2.根据权利要求1所述的方法，其中所述mvd是基于以下一项确定的：

3.根据权利要求1-2中任一项所述的方法，其中所述多个候选符号包括所述mvd的水平分量的候选符号。

4.根据权利要求1-3中任一项所述的方法，其中所述多个候选符号包括所述mvd的垂直分量的候选符号。

5.根据权利要求3-4中任一项所述的方法，其中指示被编解码，所述指示用于指示是否在所述经重新排序的多个候选符号中的第一个位置处的候选符号将被使用。

6.根据权利要求5所述的方法，其中所述指示是标志。

7.根据权利要求1-2中任一项所述的方法，其中所述多个候选符号包括多个符号组合，所述多个符号组合中的每个符号组合包括所述mvd的水平分量的候选符号和所述mvd的垂直分量的候选符号。

8.根据权利要求7所述的方法，其中所述多个符号组合取决于以下至少一项：

9.根据权利要求7-8中任一项所述的方法，其中指示被编解码，所述指示用于指示是所述经重新排序的多个候选符号中的第一个位置处的符号组合还是第二个位置处的符号组合将被使用。

10.根据权利要求9所述的方法，其中所述指示是标志，并且所述标志被上下文编解码或被旁路编解码。

11.根据权利要求7-8中任一项所述的方法，其中在所述经重新排序的多个候选符号中的前n个位置处的符号组合的集合在所述比特流中用索引的集合来指示，所述索引的集合以非固定长度编解码被编解码，其中n是整数。

12.根据权利要求11所述的方法，其中所述索引的集合被上下文编解码或被旁路编解码。

13.根据权利要求11-12中任一项所述的方法，其中第一符号组合的码长小于或等于第二符号组合的码长，所述第一符号组合在所述经重新排序的多个候选符号中位于所述第二符号组合的前面。

14.根据权利要求3-4中任一项所述的方法，其中以下至少一项是用上下文编解码被编解码的：

15.根据权利要求14所述的方法，其中针对所述上下文编解码的上下文是基于所述mvd的所述水平分量的预测或所述mvd的所述垂直分量的预测中的至少一项来确定的。

16.根据权利要求14所述的方法，其中针对所述上下文编解码的上下文是基于所述mvd的所述水平分量的幅度或所述mvd的所述垂直分量的幅度中的至少一项来来确定的。

17.根据权利要求3-4中任一项所述的方法，其中第一信息是否在所述比特流中被指示取决于条件，所述第一信息指示是否在所述经重新排序的多个候选符号中的第一个位置处的候选符号将要被使用。

18.根据权利要求17所述的方法，其中如果所述mvd的所述水平分量和/或所述mvd的所述垂直分量等于0，则所述第一信息不存在于所述比特流中。

19.根据权利要求3-4中任一项所述的方法，其中所述经重新排序的多个候选符号中的第一个位置处的候选符号被用于执行所述转换。

20.根据权利要求1-19中任一项所述的方法，其中重新排序所述多个候选符号包括：

21.根据权利要求20所述的方法，其中基于模板匹配方法来重新排序所述多个候选符号包括：

22.根据权利要求21所述的方法，其中所述模板匹配成本被确定为所述当前模板与所述参考模板之间的绝对差总和(sad)。

23.根据权利要求21所述的方法，其中所述模板匹配成本被确定为所述当前模板与所述参考模板之间的绝对变换差总和(satd)。

24.根据权利要求21所述的方法，其中所述模板匹配成本被确定为所述当前模板与所述参考模板之间的基于均值移除的绝对差总和(mr-sad)。

25.根据权利要求21所述的方法，其中所述模板匹配成本被确定为以下一项：

26.根据权利要求21所述的方法，其中用于确定所述模板匹配成本的成本函数包括以下一项：

27.根据权利要求1-19中任一项所述的方法，其中重新排序所述多个候选符号包括：

28.根据权利要求27所述的方法，其中执行所述转换包括：

29.根据权利要求27-28中任一项所述的方法，其中被用于执行所述转换的目标符号是在经重新排序的多个候选符号中具有最小预测成本的候选符号。

30.根据权利要求27-28中任一项所述的方法，其中被用于执行所述转换的目标符号选自所述经重新排序的多个候选符号中的前n个位置处的候选符号的集合，其中n是整数。

31.根据权利要求30所述的方法，其中所述目标符号的指示在所述比特流中被指示。

32.根据权利要求31所述的方法，其中所述指示是索引或标志。

33.根据权利要求31-32中任一项所述的方法，其中所述指示被上下文编解码或被旁路编解码。

34.根据权利要求1-33中任一项所述的方法，其中执行所述转换包括：

35.根据权利要求1所述的方法，其中所述mvd是基于amvp被确定的，并且执行所述转换包括：

36.根据权利要求1所述的方法，其中所述mvd是基于仿射amvp被确定的，并且执行所述转换包括：

37.根据权利要求1所述的方法，其中所述mvd是基于amvp和仿射amvp被确定的，并且执行所述转换包括：

38.根据权利要求1所述的方法，其中所述mvd是基于amvp、仿射amvp和仿射mmvd被确定的，并且执行所述转换包括：

39.根据权利要求1所述的方法，其中所述mvd是基于amvp、仿射amvp和mmvd被确定的，并且执行所述转换包括：

40.根据权利要求1所述的方法，其中所述mvd是基于第一编解码工具被确定的，并且所述转换包括：

41.根据权利要求40所述的方法，其中所述第一编解码工具是mmvd。

42.根据权利要求1所述的方法，其中所述mvd是基于除mmvd之外的mvd编解码工具被确定的，并且执行所述转换包括：

43.根据权利要求21所述的方法，其中用于生成所述当前模板的参考样本的第一插值滤波器不同于用于生成针对所述当前视频块的帧间预测的参考样本的第二插值滤波器。

44.根据权利要求43所述的方法，其中所述第一插值滤波器的抽头数目小于所述第二插值滤波器的抽头数目。

45.根据权利要求43-44中任一项所述的方法，其中所述第一插值滤波器是以下之一：

46.根据权利要求21所述的方法，其中用于生成所述当前模板的参考样本的第一插值滤波器不同于用于生成针对另一编解码工具的模板参考样本的第二插值滤波器。

47.根据权利要求1-46中任一项所述的方法，其中所述运动候选的幅度适配于预定分辨率。

48.根据权利要求47所述的方法，其中所述运动候选的所述幅度被舍入到最接近的整数像素。

49.根据权利要求47所述的方法，其中所述运动候选的所述幅度被舍入到最接近的半像素。

50.根据权利要求47所述的方法，其中所述运动候选的所述幅度被舍入到最接近的4像素。

51.一种用于视频处理的方法，包括：

52.根据权利要求51所述的方法，其中所述第一列表或所述第二列表在所述比特流中被指示。

53.根据权利要求52所述的方法，其中关于是所述第一列表还是所述第二列表在所述比特流中被指示的信息在所述比特流中被指示，或者

54.根据权利要求52所述的方法，其中关于是所述第一列表还是所述第二列表在所述比特流中被指示的信息是基于所述当前视频块的基础候选的参考图片信息被确定的。

55.根据权利要求51-54中任一项所述的方法，其中所述第一列表中的mvd候选的数目不同于所述第二列表中的mvd候选的数目。

56.根据权利要求51-55中任一项所述的方法，其中所述第一列表中的mvd候选的数目和所述第二列表中的mvd候选的数目是预定义的，

57.根据权利要求51-56中任一项所述的方法，其中所述第一列表中的mvd候选独立于所述第二列表中的mvd候选。

58.根据权利要求51-56中任一项所述的方法，其中所述第一列表中的mvd候选的数目非零，并且所述第二列表中的mvd候选的数目是零。

59.根据权利要求51-56中任一项所述的方法，其中所述第一列表中的mvd候选的数目是零，并且所述第二列表中的mvd候选的数目非零。

60.根据权利要求51-56中任一项所述的方法，其中所述第一列表与针对所述当前块的第一参考块相关联，所述第二列表与针对所述当前块的第二参考块相关联，在所述第一参考块与所述当前块之间的距离小于在所述第二参考块与所述当前块之间的距离，所述第一列表中的mvd候选的数目非零，并且所述第二列表中的mvd候选的数目是零。

61.根据权利要求51-56中任一项所述的方法，其中所述第一列表与针对所述当前块的第一参考块相关联，所述第二列表与针对所述当前块的第二参考块相关联，在所述第一参考块与所述当前块之间的距离大于在所述第二参考块与所述当前块之间的距离，所述第一列表中的mvd候选的数目非零，并且所述第二列表中的mvd候选的数目是零。

62.根据权利要求51-56中任一项所述的方法，其中所述第一列表与针对所述当前块的第一参考方向相关联，所述第二列表与针对所述当前块的第二参考方向相关联，所述第一方向的第一mv的成本大于所述第二方向的第二mv的成本，所述第一列表中的mvd候选的数目非零，并且所述第二列表中的mvd候选的数目是零。

63.根据权利要求51-56中任一项所述的方法，其中所述第一列表与针对所述当前块的第一参考方向相关联，所述第二列表与针对所述当前块的第二参考方向相关联，所述第一方向的第一mv的成本小于所述第二方向的第二mv的成本，所述第一列表中的mvd候选的数目非零，并且所述第二列表中的mvd候选的数目是零。

64.根据权利要求62-63中任一项所述的方法，其中所述第一mv的所述成本是所述第一mv的模板匹配成本。

65.根据权利要求62-63中任一项所述的方法，其中所述第一mv的所述成本是所述第一mv的双边匹配成本。

66.根据权利要求51-56中任一项所述的方法，其中所述第一列表与针对所述当前块的第一参考块相关联，所述第二列表与针对所述当前块的第二参考块相关联，所述第一参考块在所述当前块的前面，所述第二块在所述当前块的后面，所述第一列表中的mvd候选的数目非零，并且所述第二列表中的mvd候选的数目是零。

67.根据权利要求51-56中任一项所述的方法，其中所述第一列表与针对所述当前块的第一参考块相关联，所述第二列表与针对所述当前块的第二参考块相关联，所述第一参考块在所述当前块的后面，所述第二块在所述当前块的前面，所述第一列表中的mvd候选的数目非零，并且所述第二列表中的mvd候选的数目是零。

68.根据权利要求51-56中任一项所述的方法，其中所述第一列表与针对所述当前块的第一参考块相关联，所述第二列表与针对所述当前块的第二参考块相关联，是所述第一列表还是所述第二列表为空取决于所述第一参考块的mv的大小或角度以及所述第二参考块的mv的大小或角度。

69.根据权利要求51-56中任一项所述的方法，其中所述第一列表或所述第二列表中的至少一项被转换为针对所述当前视频块的单向预测的mvd候选。

70.根据权利要求51-56中任一项所述的方法，其中关于是所述第一列表还是所述第二列表为空的信息是基于率失真(rd)被确定的，并且所述信息在所述比特流中被指示。

71.根据权利要求51-70中任一项所述的方法，其中用于执行所述转换的目标mvd对包括来自所述第一列表的第一mvd候选和来自所述第二列表的第二mvd候选，所述第一mvd候选在所述第一列表中的位置不同于所述第二mvd候选在所述第二列表中的位置。

72.根据权利要求51-70中任一项所述的方法，其中执行所述转换包括：

73.根据权利要求72所述的方法，其中模板成本是针对所述多个mvd对的一部分被确定的。

74.根据权利要求51-70中任一项所述的方法，用于执行所述转换的目标mvd对中的每个mvd被单独确定。

75.根据权利要求74所述的方法，其中模板成本是针对所述第一列表和所述第二列表中的每个mvd候选被确定的。

76.根据权利要求75所述的方法，其中在所述第一列表中具有最小模板成本的第一mvd候选和在所述第二列表中具有最小模板成本的第二mvd候选被用于执行所述转换。

77.根据权利要求51-76中任一项所述的方法，其中零mvd被添加到针对mmvd的所述第一列表或所述第二列表中。

78.根据权利要求1-77中任一项所述的方法，其中所述转换包括将所述当前视频块编码到所述比特流中。

79.根据权利要求1-77中任一项所述的方法，其中所述转换包括从所述比特流解码所述当前视频块。

80.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-79中任一项所述的方法。

81.一种存储指令的非暂态计算机可读存储介质，所述指令使处理器执行根据权利要求1-79中任一项所述的方法。

82.一种非暂态计算机可读记录介质，存储通过视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：

83.一种用于存储视频的比特流的方法，包括：

84.一种非暂态计算机可读记录介质，存储通过视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：

85.一种用于存储视频的比特流的方法，包括：

技术总结本公开的各实施例提供了一种用于视频处理的解决方案。一种用于视频处理的方法包括：在视频的当前视频块与该视频的比特流之间的转换期间，重新排序针对当前视频块的运动候选的运动向量差(MVD)的多个候选符号；以及基于经重新排序的多个候选符号来执行转换。与传统方案相比，所提出的方法能够有利地提高编解码效率和编解码质量。技术研发人员：M·萨勒海法尔,贺玉文,张凯,张娜,张莉受保护的技术使用者：抖音视界有限公司技术研发日：技术公布日：2024/7/29