仿射运动的模板匹配细化的制作方法

本公开内容总体上描述了与视频编解码有关的实施方式。

背景技术：

1、本文中提供的背景技术描述是出于总体上呈现本公开内容的上下文的目的。就在该背景技术部分中描述的工作的程度而言，目前署名的发明人的工作以及在提交时可能未被另外限定作为现有技术的描述的各方面既没有明确地也没有隐含地被承认为是针对本公开内容的现有技术。

2、图像/视频压缩可以有助于以最小质量劣化来跨不同的设备、存储器和网络传输图像/视频数据。在一些示例中，视频编解码器技术可以基于空间冗余和时间冗余来压缩视频。在示例中，视频编解码器可以使用被称为帧内预测的技术，其可以基于空间冗余来压缩图像。例如，帧内预测可以使用来自重构中的当前图片的参考数据以用于样本预测。在另一示例中，视频编解码器可以使用被称为帧间预测的技术，其可以基于时间冗余来压缩图像。例如，帧间预测可以利用运动补偿来根据先前重构的图片来预测当前图片中的样本。运动补偿可以由运动矢量(mv)指示。

技术实现思路

1、本公开内容的各方面包括用于视频编码/解码的方法和装置。在一些示例中，用于视频解码的装置包括处理电路系统。

2、根据本公开内容的一方面，提供了一种用于视频解码的方法。在该方法中，接收包括当前图片中的当前块的视频比特流。当前块在仿射模式下编码，其中与仿射模式相关联的第一控制点位于当前块的第一角。确定与第一控制点相关联的当前模板，其中当前模板与第一控制点相邻。在参考图片中为与第一控制点相关联的当前模板确定多个候选参考模板。基于模板匹配(tm)成本从与第一控制点相关联的当前模板的多个候选参考模板中选择参考模板。tm成本指示每个候选参考模板与第一控制点的当前模板之间的相应差。基于所选择的参考模板确定第一控制点运动矢量(cpmv)，其中第一cpmv指示参考图片中所选择的参考模板和与第一控制点相关联的当前模板之间的偏移。至少基于第一cpmv重构当前块。

3、在示例中，确定第一块，使得第一控制点位于第一块的中心。与第一控制点相关联的当前模板被确定为重构区域，重构区域位于(i)第一块的顶侧和(ii)第一块的左侧之一或组合处。

4、在示例中，与第一控制点相关联的当前模板被确定为重构区域，重构区域与第一控制点相邻并且包括以下中的至少一个：(i)在当前块的顶侧的第一区域或(ii)在当前块的左侧的第二区域。

5、在示例中，与第一控制点相关联的当前模板被确定为重构区域，其中第一控制点是重构区域的中心。重构区域包括以下中的至少一个：(i)位于当前块的顶侧并进一步延伸超出当前块的垂直侧的第一区域，以及(ii)位于当前块的左侧并进一步延伸超出当前块的水平侧的第二区域。

6、在示例中，第一区域包括等于n个样本的高度和等于当前块的仿射子块的宽度的宽度，并且第二区域包括等于n个样本的宽度和等于当前块的仿射子块的高度的高度，其中n是正整数。

7、在示例中，为第一控制点确定初始第一cpmv，其中初始第一cpmv指示参考图片中的初始参考模板。在初始参考模板的搜索范围内确定多个候选参考模板。搜索范围包括m×m个像素，其中m小于8。

8、在示例中，基于多个搜索步骤在初始参考模板的搜索范围内确定多个候选参考模板。多个搜索步骤的数量基于预定义分辨率和预定义数量之一来确定。

9、在示例中，确定与第一控制点相关联的当前模板与多个候选参考模板中的每个之间的tm成本。从多个候选参考模板中选择参考模板，该参考模板对应于与第一控制点相关联的当前模板与多个候选参考模板中的每个之间所确定的tm成本中的最小tm成本。

10、在示例中，确定当前块的模板，所述当前块的模板包括在当前块的顶侧的第一区域和在当前块的左侧的第二区域。基于多个候选参考模板中的第一候选参考模板为第一控制点确定第一候选cpmv。基于多个候选参考模板中的第二候选参考模板为第一控制点确定第二候选cpmv。至少基于第一候选cpmv为当前块的与当前块的模板相邻的子块确定第一组子块仿射mv。至少基于第二候选cpmv为当前块的与当前块的模板相邻的子块确定第二组子块仿射mv。为当前块的并置块的对应于第一组子块仿射mv的子块确定第一组参考子块仿射mv。为当前块的并置块的对应于第二组子块仿射mv的子块确定第二组参考子块仿射mv。基于第一组参考子块仿射mv确定第一参考模板，并且基于第二组参考子块仿射mv确定第二参考模板。确定当前块的模板与第一参考模板之间的第一tm成本。确定当前块的模板与第二参考模板之间的第二tm成本。选择第一候选参考模板和第二候选参考模板中的一个作为参考模板。第一候选参考模板和第二候选参考模板中的这一个对应于第一tm成本和第二tm成本中的较小一个。

11、在示例中，基于第一组参考子块仿射mv中的相应一个为并置块的子块中的每个确定参考子块。为并置块的子块的参考子块中的每个确定子块模板。第一参考模板被确定为子块模板的组合。

12、在示例中，仿射模式包括仿射单向预测模式和仿射双向预测模式之一。

13、在示例中，当前块包括在当前块的第二角的第二控制点。为第二控制点确定初始第二cpmv。通过将平移mv偏移加到初始第二cpmv来为第二控制点确定第二cpmv，其中平移mv偏移是基于解码器侧运动矢量细化(dmvr)导出的。

14、根据本公开内容的另一方面，提供了一种装置。该装置包括处理电路系统。处理电路系统可以被配置成执行所描述的视频解码/编码方法中的任一个。在示例中，处理电路系统被配置成接收包括当前图片中的当前块的视频比特流，其中当前块在仿射模式下编码，其中与仿射模式相关联的第一控制点位于当前块的第一角。处理电路系统被配置成确定与第一控制点相关联的当前模板，其中当前模板与第一控制点相邻。处理电路系统被配置成在参考图片中为与第一控制点相关联的当前模板确定多个候选参考模板。处理电路系统被配置成基于模板匹配(tm)成本从与第一控制点相关联的当前模板的多个候选参考模板中选择参考模板。tm成本指示每个候选参考模板与第一控制点的当前模板之间的相应差。处理电路系统被配置成基于所选择的参考模板来确定第一控制点运动矢量(cpmv)，第一cpmv指示参考图片中所选择的参考模板和与第一控制点相关联的当前模板之间的偏移。处理电路系统被配置成至少基于第一cpmv来重构当前块。

15、本公开内容的各方面还提供了一种存储指令的非暂态计算机可读介质，所述指令当由计算机执行时使计算机执行所描述的视频解码/编码方法中的任一个。

技术特征：

1.一种用于视频解码的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，确定与所述第一控制点相关联的所述当前模板还包括：

3.根据权利要求1所述的方法，其中，确定与所述第一控制点相关联的所述当前模板还包括：

4.根据权利要求1所述的方法，其中，确定与所述第一控制点相关联的所述当前模板还包括：

5.根据权利要求3所述的方法，其中：

6.根据权利要求1所述的方法，其中，在所述参考图片中确定所述多个候选参考模板还包括：

7.根据权利要求6所述的方法，其中，在所述初始参考模板的搜索范围内确定所述多个候选参考模板还包括：

8.根据权利要求1所述的方法，其中，从所述多个候选参考模板中选择所述参考模板还包括：

9.根据权利要求1所述的方法，其中，从所述多个候选参考模板中选择所述参考模板还包括：

10.根据权利要求9所述的方法，其中，基于所述第一组参考子块仿射mv确定所述第一参考模板还包括：

11.根据权利要求1所述的方法，其中，所述仿射模式包括仿射单向预测模式和仿射双向预测模式之一。

12.根据权利要求1所述的方法，其中：

13.一种装置，包括：

14.根据权利要求13所述的装置，其中，所述处理电路系统被配置成：

15.根据权利要求13所述的装置，其中，所述处理电路系统被配置成：

16.根据权利要求13所述的装置，其中，所述处理电路系统被配置成：

17.根据权利要求15所述的装置，其中：

18.根据权利要求13所述的装置，其中，所述处理电路系统被配置成：

19.根据权利要求18所述的装置，其中，所述处理电路系统被配置成：

20.根据权利要求13所述的装置，其中，所述处理电路系统被配置成：

技术总结当前块通过仿射模式编码，并且包括在当前块的第一角的第一控制点。确定与第一控制点相关联的当前模板。在参考图片中为当前模板确定多个候选参考模板。基于模板匹配(TM)成本从当前模板的多个候选参考模板中选择参考模板。TM成本指示每个候选参考模板与第一控制点的当前模板之间的相应差。基于所选择的参考模板确定第一控制点运动矢量(CPMV)，其中第一CPMV指示参考图片中所选择的参考模板和与第一控制点相关联的当前模板之间的偏移。至少基于第一CPMV重构当前块。技术研发人员：李贵春,赵欣,陈联霏,刘杉受保护的技术使用者：腾讯美国有限责任公司技术研发日：技术公布日：2024/7/18