使用空间相关性的解码器侧运动推导的制作方法

本公开涉及视频编码和视频解码。

背景技术：

1、数字视频能力可以被合并到各种各样的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码技术，诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4(第10部分，高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)、itu-t h.266/多功能视频译码(vvc)定义的标准及此类标准的扩展以及诸如由开放媒体联盟开发的aomediavideo 1(av1)等专有视频编解码器/格式中描述的视频译码技术。通过实现此类视频译码技术，视频设备可以更加高效地传输、接收、编码、解码和/或存储数字视频信息。

2、视频译码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或去除在视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被划分为视频块，视频块还可以被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的经帧内译码(i)的切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码的。图片的经帧间译码(p或b)的切片中的视频块可以使用相对于同一图片中的相邻块中的参考样本的空间预测或者相对于其他参考图片中的参考样本的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。

技术实现思路

1、通常，本公开描述用于视频编解码器中的帧间预测(诸如解码器侧运动向量推导)的技术。在一个或多个示例中，解码器侧运动向量推导技术包括使用样本的空间相关性。尽管将示例技术描述为与解码器侧运动向量推导有关，但视频编码器和/或视频解码器可执行示例技术。例如，视频编码器可以包括解码循环，并且视频编码器可执行本公开中所描述的示例技术作为解码循环的一部分。

2、空间相关性可指代指示当前块的一个或多个相邻样本与当前块的假设之间的相关性的相关性值，其中当前块的假设基于运动向量。视频解码器可以确定当前块的多个假设，每个假设与相应运动向量相关联，并且确定当前块的一个或多个相邻样本与当前块的相应假设之间的相应相关性值。基于相应相关性值，视频解码器可以确定针对当前块的运动向量，并且使用所确定的运动向量来重构当前块。

3、通过利用当前块的相邻样本与当前块的相应假设之间的空间相关性来确定运动向量，示例技术可引起对倾向于成为当前块的更好预测器的预测块的选择。例如，利用本公开中所描述的示例技术，预测块与当前块之间的残差可相对较低。因此，发信号通知残差所需的信息量可相对较低，从而使得带宽使用率降低。

4、在一个示例中，本公开描述一种用于对视频数据进行解码的设备，该设备包括：存储器，该存储器被配置为存储该视频数据；和处理电路，该处理电路耦合到该存储器并且被配置为：基于多个运动向量来确定该视频数据的当前块的多个假设，其中该多个运动向量中的每个运动向量与该当前块的该多个假设中的一个假设相关联，其中该当前块的该多个假设中的每个假设基于参考图片中的用于确定针对该当前块的运动向量的样本集合，并且与该当前块的相应假设相关联的相应运动向量标识该样本集合中的左上方样本；确定与该当前块的样本邻近并且与该当前块在同一图片中的一个或多个相邻样本；对于该当前块的该多个假设中的每个假设，确定该当前块的相应假设的至少一个样本与该一个或多个相邻样本中的至少一个样本之间的相应相关性值；基于所确定的相应相关性值来确定针对该当前块的该运动向量；并且基于所确定的运动向量来重构该当前块。

5、在一个示例中，本公开描述一种对视频数据进行解码的方法，该方法包括：基于多个运动向量来确定该视频数据的当前块的多个假设，其中该多个运动向量中的每个运动向量与该当前块的该多个假设中的一个假设相关联，其中该当前块的该多个假设中的每个假设基于参考图片中的用于确定针对该当前块的运动向量的样本集合，并且与该当前块的相应假设相关联的相应运动向量标识该样本集合中的左上方样本；确定与该当前块的样本邻近并且与该当前块在同一图片中的一个或多个相邻样本；对于该当前块的该多个假设中的每个假设，确定该当前块的相应假设的至少一个样本与该一个或多个相邻样本中的至少一个样本之间的相应相关性值；基于所确定的相应相关性值来确定针对该当前块的该运动向量；以及基于所确定的运动向量来重构该当前块。

6、在一个示例中，本公开描述一种在其上存储指令的计算机可读存储介质，该指令在被执行时使得一个或多个处理器：基于多个运动向量来确定视频数据的当前块的多个假设，其中该多个运动向量中的每个运动向量与该当前块的该多个假设中的一个假设相关联，其中该当前块的该多个假设中的每个假设基于参考图片中的用于确定针对该当前块的运动向量的样本集合，并且与该当前块的相应假设相关联的相应运动向量标识该样本集合中的左上方样本；确定与该当前块的样本邻近并且与该当前块在同一图片中的一个或多个相邻样本；对于该当前块的该多个假设中的每个假设，确定该当前块的相应假设的至少一个样本与该一个或多个相邻样本中的至少一个样本之间的相应相关性值；基于所确定的相应相关性值来确定针对该当前块的该运动向量；并且基于所确定的运动向量来重构该当前块。

7、在一个示例中，本公开描述一种用于对视频数据进行解码的设备，该设备包括：用于基于多个运动向量来确定该视频数据的当前块的多个假设的构件，其中该多个运动向量中的每个运动向量与该当前块的该多个假设中的一个假设相关联，其中该当前块的该多个假设中的每个假设基于参考图片中的用于确定针对该当前块的运动向量的样本集合，并且与该当前块的相应假设相关联的相应运动向量标识该样本集合中的左上方样本；用于确定与该当前块的样本邻近并且与该当前块在同一图片中的一个或多个相邻样本的构件；对于该当前块的该多个假设中的每个假设，用于确定该当前块的相应假设的至少一个样本与该一个或多个相邻样本中的至少一个样本之间的相应相关性值的构件；用于基于所确定的相应相关性值来确定针对该当前块的该运动向量的构件；以及用于基于所确定的运动向量来重构该当前块的构件。

8、在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书，其他特征、目的和优点将是显而易见的。

技术特征：

1.一种对视频数据进行解码的方法，所述方法包括：

2.根据权利要求1所述的方法，其中确定所述运动向量包括：

3.根据权利要求1所述的方法，其中确定所述运动向量包括：

4.根据权利要求1所述的方法，其中确定所述当前块的所述多个假设包括确定预测块的所述多个假设，其中确定所述预测块的所述多个假设包括基于由与所述预测块的所述多个假设中的每个假设相关联的所述运动向量中的每个运动向量标识的样本来确定所述预测块的所述多个假设中的每个假设。

5.根据权利要求1所述的方法，其中确定所述当前块的所述多个假设包括确定所重构的当前块的所述多个假设，其中确定所重构的当前块的所述多个假设包括：

6.根据权利要求1所述的方法，其中确定所述相应相关性值包括确定所述当前块的所述相应假设的所述至少一个样本与所述一个或多个相邻样本中的所述至少一个样本之间的n阶导数。

7.根据权利要求6所述的方法，其中所述n阶导数是二阶导数。

8.根据权利要求1所述的方法，其中所述一个或多个相邻样本包括至少左方相邻样本和上方相邻样本，其中所述左方相邻样本是所述当前块左方的列中的样本，并且所述上方相邻样本是所述当前块上方的行中的样本。

9.根据权利要求1所述的方法，其中基于所确定的运动向量来重构所述当前块包括：

10.一种用于对视频数据进行解码的设备，所述设备包括：

11.根据权利要求10所述的设备，其中为了确定所述运动向量，所述处理电路被配置为包括：

12.根据权利要求10所述的设备，其中为了确定所述运动向量，所述处理电路被配置为：

13.根据权利要求10所述的设备，其中为了确定所述当前块的所述多个假设，所述处理电路被配置为确定预测块的所述多个假设，其中为了确定所述预测块的所述多个假设，所述处理电路被配置为基于由与所述预测块的所述多个假设中的每个假设相关联的所述运动向量中的每个运动向量标识的样本来确定所述预测块的所述多个假设中的每个假设。

14.根据权利要求10所述的设备，其中为了确定所述当前块的所述多个假设，所述处理电路被配置为确定所重构的当前块的所述多个假设，并且其中为了确定所重构的当前块的所述多个假设，所述处理电路被配置为：

15.根据权利要求10所述的设备，其中为了确定所述相应相关性值包括确定所述当前块的所述相应假设的所述至少一个样本与所述一个或多个相邻样本中的所述至少一个样本之间的n阶导数。

16.根据权利要求15所述的设备，其中所述n阶导数是二阶导数。

17.根据权利要求10所述的设备，其中所述一个或多个相邻样本包括至少左方相邻样本和上方相邻样本，其中所述左方相邻样本是所述当前块左方的列中的样本，并且所述上方相邻样本是所述当前块上方的行中的样本。

18.根据权利要求10所述的设备，其中为了基于所确定的运动向量来重构所述当前块，所述处理电路被配置为：

19.根据权利要求10所述的设备，还包括显示器，所述显示器被配置为显示所重构的当前块。

20.根据权利要求10所述的设备，其中所述设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一者或多者。

21.一种在其上存储指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器：

技术总结一种对视频数据进行解码的方法包括基于多个运动向量来确定当前块的多个假设。该多个运动向量中的每个运动向量与该多个假设中的一个假设相关联，并且该多个假设中的每个假设基于参考图片中的具有运动向量的样本集合，该运动向量标识该样本集合中的左上方样本。该方法包括：确定与该当前块在同一图片中的一个或多个相邻样本；对于该多个假设中的每个假设，确定相应假设的至少一个样本与该一个或多个相邻样本中的至少一个样本之间的相应相关性值；基于所确定的相应相关性值来确定针对该当前块的该运动向量；以及基于所确定的运动向量来重构该当前块。技术研发人员：黄晗,V·塞雷金,C-C·陈,M·卡尔切维茨受保护的技术使用者：高通股份有限公司技术研发日：技术公布日：2024/7/23