用于视频处理的方法、装置和介质与流程

本公开的实施例总体涉及视频编解码技术，并且更具体地，涉及帧内块复制(ibc)扩展。

背景技术：

1、如今，数字视频能力正被应用于人们生活的各个方面。多种视频压缩技术，如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4part 10高级视频编解码(avc)、itu-th.265高效视频编解码(hevc)标准、通用视频编解码(vvc)标准已被提出用于视频编码/解码。然而，传统视频编解码技术的编解码效率通常很低，这是不理想的。

技术实现思路

1、本公开的实施例提供了一种视频处理的解决方案。

2、在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的目标视频块和视频的比特流之间的转换期间，确定将被应用于所标视频块的基于帧内块复制(ibc)的模式，基于ibc的模式基于以下至少一项：基于仿射运动补偿预测的ibc模式，利用块向量差异的仿射ibc合并模式(mbvd)，针对ibc模式的帧内模板匹配(tm_ibc)，其中通过tm_ibc的被导出的块向量(bv)被用作针对mbvd的基本候选，针对ibc模式的帧内模板匹配(tm_ibc)，其中通过tm_ibc的被导出的块向量(bv)被用作针对ibc非合并模式的bv预测候选，基于多假设的ibc预测模式，基于重叠的块运动补偿(obmc)的ibc模式，利用mbvd的基于几何分区的ibc模式，或利用模板匹配(tm)的基于几何分区的ibc模式；以及基于该基于ibc的模式来执行转换。根据本公开的第一方面的方法提供了对ibc的改进。可以支持更多基于ibc的模式，以提高基于ibc模式的编解码效率。

3、在第二方面，提出了一种用于处理视频数据的装置。用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器，其中指令在由处理器执行时使得处理器执行根据第一方面的方法。

4、在第三方面，提出了一种用于处理视频数据的装置。非暂态计算机可读存储介质存储使处理器执行根据第一方面的方法的指令。

5、在第四方面，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储由视频处理装置执行的方法生成的视频的比特流，其中该方法包括：在视频的目标视频块和视频的比特流之间的转换期间，确定将被应用于目标视频块的基于ibc的模式，基于ibc的模式基于以下至少一项：基于仿射运动补偿预测的ibc模式，仿射ibc mbvd，tm_ibc，其中通过tm_ibc的被导出的bv被用作针对mbvd的基本候选，tm_ibc，其中通过tm_ibc的被导出的bv被用作针对ibc非合并模式的bv预测候选，基于多假设的ibc预测模式，基于obmc的ibc模式，利用mbvd的基于几何分区的ibc模式，或利用tm的基于几何分区的ibc模式；以及基于该基于ibc的模式来生成比特流。

6、在第五方面，提出了另一种用于视频处理的方法。一种用于存储视频的比特流的方法，包括：确定将被应用于目标视频块的基于ibc的模式，基于ibc的模式基于以下至少一项：基于仿射运动补偿预测的ibc模式，仿射ibc mbvd，tm_ibc，其中通过tm_ibc的被导出的bv被用作针对mbvd的基本候选，tm_ibc，其中通过tm_ibc的被导出的bv被用作针对ibc非合并模式的bv预测候选，基于多假设的ibc预测模式，基于obmc的ibc模式，利用mbvd的基于几何分区的ibc模式，或利用tm的基于几何分区的ibc模式；以及基于该基于ibc的模式来生成比特流；将比特流存储在非暂态计算机可读记录介质中。

7、提供本技术实现要素：是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。

技术特征：

1.一种用于视频处理的方法，包括：

2.根据权利要求1所述的方法，其中仿射运动模型被利用以从同一图片内的重建样本或像素预测所述目标视频块。

3.根据权利要求1或权利要求2所述的方法，其中所述仿射_ibc模式将被应用，并且其中所述目标视频块的仿射运动场由两个控制点或三个控制点的运动信息来描述。

4.根据权利要求3所述的方法，其中所述目标视频块的所述仿射运动场由4参数仿射模型或6参数仿射模型来描述。

5.根据权利要求书1-4中任一项所述的方法，其中c包括仿射ibc合并模式和仿射ibc高级运动向量预测(amvp)模式。

6.根据权利要求5所述的方法，其中所述仿射ibc合并模式被与仿射合并模式类似地执行。

7.根据权利要求6所述的方法，其中所述仿射ibc amvp模式被与仿射amvp模式类似地执行。

8.根据权利要求1所述的方法，其中针对所述目标视频块的像素的、或针对从仿射模型导出的所述目标视频块的子块的bv被舍入或裁剪为整数精度。

9.根据权利要求1所述的方法，其中从所述目标视频块的邻近视频块继承的、或从仿射模型导出的控制点的bv预测被舍入或裁剪为整数精度。

10.根据权利要求1所述的方法，其中利用光流的预测细化基于仿射运动补偿预测被用于所述ibc模式。

11.根据权利要求10所述的方法，其中基于仿射运动补偿预测的、针对所述ibc模式的利用光流的所述预测细化被与针对仿射模式的利用光流的预测细化类似地执行。

12.根据权利要求1所述的方法，其中所述仿射_ibc模式是合并模式，其中没有bv差异(bvd)是经编解码的。

13.根据权利要求1所述的方法，其中所述仿射_ibc模式是帧间模式，其中bv差异(bvd)的指示是经编解码的。

14.根据权利要求1所述的方法，其中所述仿射_ibc模式是合并模式，其中仿射bvd候选列表内的bv差异(bvd)的指示是经编解码或被导出的。

15.根据权利要求14所述的方法，其中bvd的索引是经编解码的。

16.根据权利要求1所述的方法，其中所述仿射_ibc模式中使用的控制点的块向量可以根据从仿射bv候选列表导出的一个或多个bv以及从给定仿射bvd候选列表中选择的一个或多个bv差异(bvd)来被导出。

17.根据权利要求16所述的方法，其中所述仿射ibc mbvd模式将被应用，并且其中仿射ibc合并候选被选择，并且控制点的bv通过bvd信息的指示被进一步细化。

18.根据权利要求17所述的方法，其中针对所有控制点的所述bv的所述bvd信息是相同的。

19.根据权利要求17所述的方法，其中至少两个控制点的所述bv的所述bvd信息是不同的。

20.根据权利要求17所述的方法，其中针对所述目标视频块的像素、或针对从仿射模型导出的所述目标视频块的子块的bv被舍入或裁剪为整数精度。

21.根据权利要求17所述的方法，其中从所述目标视频块的邻近块继承的、或从仿射模型导出的控制点的bv预测被舍入或裁剪为整数精度。

22.根据权利要求17所述的方法，其中在所述仿射_ibc_mbvd模式中的针对控制点的所述bv的所述bvd信息不同于针对平移mbvd方法被利用的bvd信息。

23.根据权利要求17所述的方法，其中所述仿射bvd候选列表仅包括整数bvd候选。

24.根据权利要求1所述的方法，其中如果通过所述tm_ibc的所述被导出的bv被用作针对所述mbvd的所述基本候选，所述bv通过被指示的块向量差异(bvd)信息被进一步细化。

25.根据权利要求24所述的方法，其中bvd以与mbvd相同的方式被指示。

26.根据权利要求24所述的方法，其中所述bvd以与所述ibc非合并模式相同的方式被通过信号传输。

27.根据权利要求24所述的方法，其中语法元素指示通过所述tm_ibc的所述被导出的bv是否通过所述mbvd被进一步细化。

28.根据权利要求27所述的方法，其中所述语法元素仅在所述tm_ibc模式被应用时才被指示。

29.根据权利要求1所述的方法，其中通过所述tm_ibc的所述被导出的bv在所述被导出的bv可用的情况下，是针对所述ibc非合并模式的唯一候选。

30.根据权利要求1所述的方法，其中通过所述tm_ibc的所述被导出的bv在所述被导出的bv可用的情况下，是针对所述ibc非合并模式的第k候选。

31.根据权利要求30所述的方法，其中所述第k候选是第一候选。

32.根据权利要求1所述的方法，其中语法元素指示通过所述tm_ibc的所述被导出的bv是否被用作针对所述ibc非合并模式的bv预测候选。

33.根据权利要求32所述的方法，其中所述语法元素仅在所述tm_ibc模式被应用时才被指示。

34.根据权利要求1所述的方法，其中基于多假设的所述ibc预测模式将被应用，并且其中除了传统的单向预测信号之外，针对运动补偿的一个或多个附加预测信号进一步被指示或被导出。

35.根据权利要求1所述的方法，其中用于运动补偿的所述一个或多个附加预测信号被指示或被导出，并且与仅单向预测信号被使用的情况不同。

36.根据权利要求34所述的方法，其中得到的整体预测信号通过逐样本加权叠加被导出。

37.根据权利要求36所述的方法，其中所述得到的整体预测信号被与每个附加预测信号迭代累加为：

38.根据权利要求36所述的方法，其中得到的整体预测信号被导出为具有最大索引(n+1)的最后一个加权预测信号。

39.根据权利要求38所述的方法，其中一个或两个附加预测信号被使用。

40.根据权利要求36所述的方法，其中逐样本加权叠加的加权因子被预定义。

41.根据权利要求40所述的方法，其中所述加权因子被设置为1/2。

42.根据权利要求36所述的方法，其中所述逐样本加权叠加的加权因子从预定义集合中被选择。

43.根据权利要求42所述的方法，其中所述预定义集合包括以下中的一项：

44.根据权利要求42所述的方法，其中所述加权因子被索引指定。

45.根据权利要求42所述的方法，其中使用hadamard失真测量和近似比特率的简化率失真(rd)成本被用于确定最佳加权因子。

46.根据权利要求36所述的方法，其中逐样本加权叠加的加权因子对于每个样本来说是位置相关的。

47.根据权利要求46所述的方法，其中所述加权因子被设置为1、0或1/2。

48.根据权利要求36所述的方法，其中针对所述逐样本加权叠加的加权因子被从编码器指示到解码器。

49.根据权利要求34所述的方法，其中每个附加预测假设的运动参数由以下指示：

50.根据权利要求49所述的方法，其中所述第一指示模式和所述第二指示模式通过单独的多假设ibc合并标志被彼此区分。

51.根据权利要求49所述的方法，其中多假设运动估计在所述第一指示模式下被执行。

52.根据权利要求51所述的方法，其中针对具有前n个最低hadamard率失真(rd)成本的预定义数目(n)的ibc模式，附加ibc预测假设被搜索。

53.根据权利要求51所述的方法，其中针对具有前两个最低hadamard rd成本的ibc模式中的两个ibc模式，所述附加ibc预测假设被搜索。

54.根据权利要求51所述的方法，其中具有受限搜索范围的运动估计被执行以用于所述搜索。

55.根据权利要求54所述的方法，其中受限搜索范围被设置为16。

56.根据权利要求51所述的方法，其中使用hadamard失真测量和近似比特率的简化率失真(rd)成本被用于确定最佳加权因子。

57.根据权利要求34所述的方法，其中所述附加预测信号针对正常ibc合并模式被显式指示或隐式继承。

58.根据权利要求57所述的方法，其中被显式指示的所述附加预测信号使用相同的ibc高级运动向量预测(amvp)候选列表，所述ibc高级运动向量预测(amvp)候选列表针对第一显式指示的附加预测信号被生成。

59.根据权利要求57所述的方法，其中除了ibc skip模式之外，附加预测信号被显式指示或隐式继承。

60.根据权利要求34所述的方法，其中所述附加预测信号针对所述mbvd模式被显式指示或隐式继承。

61.根据权利要求60所述的方法，其中除了mbvd skip模式之外，所述附加预测信号被显式指示或隐式继承。

62.根据权利要求61所述的方法，其中不存在来自合并候选的所述附加预测信号的继承或合并。

63.根据权利要求60所述的方法，其中所有显式指示的附加预测信号使用相同的高级运动向量预测(amvp)候选列表，所述高级运动向量预测(amvp)候选列表针对第一显式通过信号传输的附加预测信号被生成。

64.根据权利要求34所述的方法，其中对于子块ibc合并模式，所述附加预测信号被显式指示或隐式继承。

65.根据权利要求64所述的方法，其中除了子块ibc skip模式之外，所述附加预测信号被显式指示或隐式继承。

66.根据权利要求65所述的方法，其中不存在来自合并候选的所述附加预测信号的继承或合并。

67.根据权利要求64所述的方法，其中所有显式指示的附加预测信号使用相同的高级运动向量预测(amvp)候选列表，所述高级运动向量预测(amvp)候选列表针对第一显式通过信号传输的附加预测信号被生成。

68.根据权利要求34所述的方法，其中对于非仿射ibc amvp模式，所述附加预测信号被显式指示或隐式继承。

69.根据权利要求68所述的方法，其中仅一个ibc amvp候选列表将被构建。

70.根据权利要求69所述的方法，其中针对非附加预测信号，所述仅一个ibc amvp候选列表将被构建。

71.根据权利要求69所述的方法，其中所述ibc amvp候选列表被重新用于所述附加预测信号。

72.根据权利要求34所述的方法，其中针对仿射ibc amvp模式，所述附加预测信号被显式指示或隐式继承。

73.根据权利要求72所述的方法，其中所述附加预测信号仅支持平移预测信号。

74.根据权利要求72所述的方法，其中ibc amvp候选列表将被构建。

75.根据权利要求74所述的方法，其中针对非附加预测信号，所述ibc amvp候选列表将被构建。

76.根据权利要求74所述的方法，其中所述ibc amvp候选列表被重新用于所述附加预测信号。

77.根据权利要求书74-76中任一项所述的方法，其中仿射ibc左上控制点运动向量(mv)预测器被用作针对所述附加平移预测信号的mv预测器。

78.根据权利要求书74-76中任一项所述的方法，其中仿射ibc右上或左下控制点运动向量(mv)预测器被用作针对所述附加平移预测信号的mv预测器。

79.根据权利要求34所述的方法，其中具有所述多重假设的所述ibc预测模式不在预测单元(pu)内与以下至少一项一起使用：

80.根据权利要求79所述的方法，其中如果所述组合的ibc和帧间模式利用具有所述附加预测信号的ibc合并候选被选择，所述附加预测信号不被继承或合并。

81.根据权利要求79所述的方法，其中如果所述组合的帧内和ibc模式利用具有所述附加预测信号的ibc合并候选被选择，所述附加预测信号不被继承或合并。

82.根据权利要求79或权利要求80所述的方法，其中所述附加预测信号不在所述组合的ibc和帧间模式中被显式指示。

83.根据权利要求79或权利要求81所述的方法，其中所述附加预测信号在所述组合的帧内和ibc模式中被显式指示。

84.根据权利要求34所述的方法，其中具有所述多重假设的所述ibc预测模式在预测单元(pu)内与以下中的至少一项一起被使用：

85.根据权利要求84所述的方法，其中如果所述tpm_ibc模式利用具有所述附加预测信号的ibc合并候选被选择，所述附加预测信号不被继承或合并。

86.根据权利要求84所述的方法，其中如果所述gpm_ibc模式利用具有所述附加预测信号的ibc合并候选被选择，所述附加预测信号不被继承或合并。

87.根据权利要求84或权利要求85所述的方法，其中所述附加预测信号不在所述tpm_ibc模式中被显式指示。

88.根据权利要求84或权利要求86所述的方法，其中所述附加预测信号不在所述gpm_ibc模式中被显式指示。

89.根据权利要求1所述的方法，其中基于所述obmc的所述ibc模式将被应用，并且其中所述目标视频块和用于所述obmc的邻近视频块的运动类型对于以下至少一项是相同的：

90.根据权利要求89所述的方法，其中所述运动类型是ibc或常规帧间。

91.根据权利要求1所述的方法，其中基于所述obmc的所述ibc模式将被应用，并且其中所述目标视频块和用于所述obmc的邻近视频块的运动类型针对以下至少一项是不同的：

92.根据权利要求91所述的方法，其中一种运动类型是ibc，并且另一种运动类型是常规帧间。

93.根据权利要求1所述的方法，其中何时和/或如何针对经ibc编解码的块应用所述obmc与针对非经ibc编解码的块不同。

94.根据权利要求93所述的方法，其中针对所述经ibc编解码的块的所述obmc的权重设置与针对所述非经ibc编解码的块的obmc的权重设置不同。

95.根据权利要求1所述的方法，其中利用几何或三角形分区从针对经ibc编解码块的候选列表导出的所述bv在被用于导出所述预测信号之前被进一步细化。

96.根据权利要求1所述的方法，其中所述基于利用mbvd的几何分区的ibc模式(gpm_ibc)将被应用，并且其中附加块向量差异(bvd)在现有gpm_ibc合并候选之上被进一步应用。

97.根据权利要求94所述的方法，其中所述附加bvd以与所述mbvd相同的方式被指示。

98.根据权利要求96或97所述的方法，其中两个标志单独指示附加bvd是否被应用到每个gpm_ibc分区。

99.根据权利要求98所述的方法，其中一个单个标志被指示以共同控制所述附加bvd是否被应用到每个gpm_ibc分区。

100.根据权利要求98所述的方法，其中如果一个gpm_ibc分区的标志为真，与所述gpm_ibc分区相对应的bvd以与所述mbvd相同的方式被指示。

101.根据权利要求100所述的方法，其中所述bvd通过一距离索引加上一方向索引被指示。

102.根据权利要求1所述的方法，其中基于利用mbvd的几何分区的ibc模式(gpm_ibc)，并且其中两个gpm_ibc分区的合并索引在将被应用于所述两个分区的块向量差异(bvd)不相同的情况下，被允许是相同的。

103.根据权利要求1所述的方法，其中所述基于利用mbvd的几何分区(gpm_ibc)的ibc模式将被应用，并且其中如果利用mbvd的所述gpm_ibc被应用，则bv修剪过程被引入以构造gpm_ibc合并候选列表。

104.根据权利要求103所述的方法，其中所述bv修剪过程可以是基于阈值的。

105.根据权利要求104所述的方法，其中如果针对两个bv的水平分量和垂直分量的差异均小于阈值，所述两个bv中的一个被从所述gpm_ibc合并候选列表中移除。

106.根据权利要求104所述的方法，其中如果针对两个bv的水平分量和垂直分量两者是相同的，所述两个bv中的一个被从所述gpm_ibc合并候选列表中移除。

107.根据权利要求104-106中任一项所述的方法，其中所述阈值由所述目标视频块的尺寸决定。

108.根据权利要求104-106中任一项所述的方法，其中所述阈值被预定义。

109.根据权利要求1所述的方法，其中所述基于利用mbvd的几何分区(gpm_ibc)的ibc模式将被应用，并且其中距离索引指定运动幅度信息并指示距起始点的预定义偏移。

110.根据权利要求109所述的方法，其中所述预定义偏移包括添加到以下至少一项的偏移：

111.根据权利要求109或权利要求110所述的方法，其中所述预定义偏移是以下中的一项：1个像素、2个像素、4个像素、8个像素、16个像素或32个像素。

112.根据权利要求109或权利要求110所述的方法，其中所述预定义偏移是以下中的一项：1个像素、2个像素、4个像素、8个像素、16个像素、32个像素、64个像素或128个像素。

113.根据权利要求109或权利要求110所述的方法，其中所述预定义偏移是以下中的一项：1个像素、2个像素、3个像素、4个像素、6个像素、8个像素或16个像素。

114.根据权利要求109或权利要求110所述的方法，其中所述预定义偏移是以下中的一项：1个像素、2个像素、3个像素、4个像素、6个像素、8个像素、16个像素、32个像素或64个像素。

115.根据权利要求1所述的方法，其中所述基于利用mbvd的几何分区(gpm_ibc)的ibc模式将被应用，并且其中方向索引表示所述块向量差异(bvd)相对于起始点的方向。

116.根据权利要求115所述的方法，其中所述方向索引表示预定义数目的bvd方向。

117.根据权利要求116所述的方法，其中所述预定义数目被设置为4。

118.根据权利要求116所述的方法，其中2个水平方向和2个垂直方向被用于所述bvd方向。

119.根据权利要求116所述的方法，其中4个对角线方向被用于所述bvd方向。

120.根据权利要求116所述的方法，其中所述预定义数目被设置为8。

121.根据权利要求116所述的方法，其中4个对角线方向加上2个水平方向和2个垂直方向被用于所述bvd方向。

122.根据权利要求1所述的方法，其中所述利用tm的基于几何分区的ibc模式(gpm_ibc)将被应用，并且其中如果所述gpm_ibc模式针对编解码单元(cu)被启用，cu级别标志指示tm是否被应用于两个几何分区。

123.根据权利要求1所述的方法，其中所述利用tm的基于几何分区的所述ibc模式(gpm_ibc)将被应用，并且其中如果所述gpm_ibc模式针对编解码单元(cu)被启用，两个cu级别标志指示tm是否被应用于每个几何分区。

124.根据权利要求1所述的方法，其中所述利用tm的基于几何分区的所述ibc模式(gpm_ibc)将被应用，并且其中针对至少一个几何分区的运动信息使用所述tm被细化。

125.根据权利要求124所述的方法，其中如果仅上方模板针对所述目标视频块可用，所述gpm_ibc_tm模式使用所述上方模板。

126.根据权利要求124所述的方法，其中如果仅左侧模板针对所述目标视频块可用，所述gpm_ibc_tm模式使用所述左侧模板。

127.根据权利要求124所述的方法，其中如果所述上方模板和所述左侧模板两者可用于所述目标视频块，所述gpm_ibc_tm模式使用以下至少一项：

128.根据权利要求124所述的方法，其中如果所述tm被选取，模板使用以下至少一项被构建：

129.根据权利要求124所述的方法，其中通过使用tm合并模式的相同搜索模式来最小化与所述目标视频块相关联的目标图片中的当前模板和参考模板之间的差异，运动被细化。

130.根据权利要求1所述的方法，其中所述基于利用所述mbvd的几何分区的ibc模式和所述利用所述tm的基于几何分区的ibc模式被独占启用给一个gpm_ibc块。

131.根据权利要求1-130中任一项所述的方法，其中在基于ibc的预测模式中，预测样本从由所述bv确定的相同视频区域的样本值的块被导出。

132.根据权利要求1-131中任一项所述的方法，其中所述转换包括将所述目标视频块编码为所述比特流。

133.根据权利要求1-131中任一项所述的方法，其中所述转换包括从所述比特流解码所述目标视频块。

134.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时，使得所述处理器执行根据权利要求1-133中任一项所述的方法。

135.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储指令，所述指令使得处理器执行根据权利要求1-133中任一项所述的方法。

136.一种非暂态计算机可读记录介质，存储由视频处理装置执行的方法生成的视频的比特流，其中所述方法包括：

137.一种用于存储视频的比特流的方法，包括：

技术总结本公开的实施例提供了一种视频处理的解决方案。提出一种用于视频处理的方法。该方法包括：在视频的目标视频块和视频的比特流之间的转换期间，确定将被应用于目标视频块的基于帧内块复制(IBC)的模式，基于IBC的模式基于以下至少一项：基于仿射运动补偿预测的IBC模式，仿射IBC利用块向量差异的合并模式(MBVD)，针对IBC模式的帧内模板匹配(TM_IBC)，其中通过TM_IBC的被导出的块向量(BV)被用作针对MBVD的基本候选，针对IBC模式的帧内模板匹配(TM_IBC)，其中通过TM_IBC的被导出的块向量(BV)被用作针对IBC非合并模式的BV预测候选，基于多假设的IBC预测模式，基于重叠的块运动补偿(OBMC)的IBC模式，利用MBVD的基于几何分区的IBC模式，或利用模板匹配(TM)基于的几何分区的IBC模式；以及基于该基于IBC的模式来执行转换。根据本公开的第一方面的方法提供了对IBC的改进。可以支持更多基于IBC的模式，以提高基于IBC模式的编解码效率。技术研发人员：张娜,张凯,张莉受保护的技术使用者：抖音视界有限公司技术研发日：技术公布日：2024/7/18