利用图片边界外运动向量的双向预测边界像素填充的制作方法

本公开涉及视频译码，包括视频编码和视频解码。

背景技术：

1、数字视频能力可被并入到各种各样的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话(所谓的“智能电话”)、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码技术，诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4(第10部分，高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)、itu-t h.266/多功能视频译码(vvc)定义的标准及此类标准的扩展以及诸如由开放媒体联盟开发的aomedia video1(av1)等专有视频编解码器/格式中描述的视频译码技术。通过实现此类视频译码技术，视频设备可以更加高效地发送、接收、编码、解码和/或存储数字视频信息。

2、视频译码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或移除在视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可被划分为视频块，该视频块还可被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的帧内译码(i)后的切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码的。图片的帧间译码(p或b)后的切片中的视频块可以使用相对于同一图片中的相邻块中的参考样本的空间预测或者相对于其他参考图片中的参考样本的时间预测。图片可称为帧，并且参考图片可称为参考帧。

技术实现思路

1、一般来讲，本公开描述了用于使用图片的双向帧间预测边界块的运动信息来对图片的填充像素进行双向预测的技术。具体地，边界块是邻近(例如，接触)图片边界(边缘)的块。用于边界块的运动信息可包括指向两个不同的参考块的两个运动向量。可使用在与接触边界块的边缘相反的方向上邻近参考块的块来计算填充像素。填充像素可随后被用作帧间预测块的运动向量所指向的参考块的参考像素。以此方式，填充像素可更准确，使得可减少表示从填充像素形成的预测块与针对使用预测块预测的块的实际值之间的差的残差数据。这种残差数据的减少可减少包括视频数据的总比特流的比特率。

2、在一个示例中，一种对视频数据进行解码的方法包括：确定使用第一运动向量和第二运动向量对视频数据的图片的边界块进行双向帧间预测，该边界块具有接触该图片的边缘的边缘；对该图片进行解码，包括对该边界块进行解码；使用第一运动向量来形成第一中间填充块；使用第二运动向量来形成第二中间填充块；使用第一中间填充块和第二中间填充块来形成填充块；以及将该填充块的填充值指派给该图片的在该图片的该边缘的相对侧上与该边界块相邻的填充区域。

3、在另一示例中，一种用于对视频数据进行解码的设备包括：存储器，该存储器被配置为存储视频数据；和一个或多个处理器，该一个或多个处理器在电路中实现并且被配置为：确定使用第一运动向量和第二运动向量对该视频数据的图片的边界块进行双向帧间预测，该边界块具有接触该图片的边缘的边缘；对该图片进行解码，包括对该边界块进行解码；使用第一运动向量来形成第一中间填充块；使用第二运动向量来形成第二中间填充块；使用第一中间填充块和第二中间填充块来形成填充块；以及将该填充块的填充值指派给该图片的在该图片的该边缘的相对侧上与该边界块相邻的填充区域。

4、在另一示例中，一种计算机可读存储介质在其上存储有指令，该指令在被执行时使得处理器：确定使用第一运动向量和第二运动向量对视频数据的图片的边界块进行双向帧间预测，该边界块具有接触该图片的边缘的边缘；对该图片进行解码，包括对该边界块进行解码；使用第一运动向量来形成第一中间填充块；使用第二运动向量来形成第二中间填充块；使用第一中间填充块和第二中间填充块来形成填充块；以及将该填充块的填充值指派给该图片的在该图片的该边缘的相对侧上与该边界块相邻的填充区域。

5、在另一示例中，一种用于对视频数据进行解码的设备包括：用于确定使用第一运动向量和第二运动向量对视频数据的图片的边界块进行双向帧间预测的构件，该边界块具有接触该图片的边缘的边缘；用于对该图片进行解码，包括对该边界块进行解码的构件；用于使用第一运动向量来形成第一中间填充块的构件；用于使用第二运动向量来形成第二中间填充块的构件；用于使用第一中间填充块和第二中间填充块来形成填充块的构件；和用于将该填充块的填充值指派给该图片的在该图片的该边缘的相对侧上与该边界块相邻的填充区域的构件。

6、在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书，其他特征、目的和优点将是显而易见的。

技术特征：

1.一种对视频数据进行解码的方法，所述方法包括：

2.根据权利要求1所述的方法，其中所述第一中间填充块和所述第二中间填充块具有共同的大小。

3.根据权利要求1所述的方法，其中所述第一中间填充块具有第一大小，所述第二中间填充块具有小于所述第一大小的第二大小，并且所述填充块具有所述第一大小，并且其中形成所述填充块包括：

4.根据权利要求1所述的方法，其中所述图片的所述边缘包括所述图片的顶部边缘、所述图片的左边缘、所述图片的右边缘或所述图片的底部边缘中的一者。

5.根据权利要求4所述的方法，其中：

6.根据权利要求4所述的方法，其中所述图片的所述边缘包括所述图片的第一边缘，并且其中所述边界块具有接触所述图片的第二边缘的第二边缘，使得所述边界块处于所述图片的拐角处，其中：

7.根据权利要求1所述的方法，还包括：

8.根据权利要求1所述的方法，其中指派所述填充值包括：

9.根据权利要求8所述的方法，其中所述第一权重值包括0.5并且所述第二权重值包括0.5。

10.根据权利要求8所述的方法，其中确定所述第一权重值包括根据具有cu级权重的双向预测(bcw)来确定所述第一权重值。

11.根据权利要求8所述的方法，还包括在应用所述第一权重值以及应用所述第二权重值之前将偏移值添加到所述第一填充值和所述第二填充值。

12.根据权利要求11所述的方法，还包括将所述偏移值中的每个偏移值计算为所述边界块的平均值与由所述第一运动向量或所述第二运动向量标识的参考块的平均值之间的差。

13.根据权利要求8所述的方法，还包括在计算所述最终填充值之前将偏移值添加到所述第一加权填充值和所述第二加权填充值。

14.根据权利要求8所述的方法，还包括将偏移值应用于所述最终填充值。

15.根据权利要求1所述的方法，还包括当针对所述图片启用解码器侧运动向量细化(dmvr)时，将dmvr应用于所述第一运动向量或所述第二运动向量中的至少一者。

16.根据权利要求1所述的方法，还包括当针对所述图片启用解码器侧运动向量细化(dmvr)时，跳过用于所述第一运动向量和所述第二运动向量两者的dmvr。

17.根据权利要求1所述的方法，还包括当针对所述图片启用双向光流(bdof)时，将bdof应用于所述第一运动向量或所述第二运动向量中的至少一者。

18.根据权利要求1所述的方法，还包括当针对所述图片启用双向光流(bdof)时，跳过用于所述第一运动向量和所述第二运动向量的bdof。

19.根据权利要求1所述的方法，其中当由所述第一运动向量或所述第二运动向量中的一者标识的参考块延伸超出第一参考图片或第二参考图片的边缘时，形成所述填充块包括：

20.根据权利要求1所述的方法，其中所述图片包括参考图片，所述方法还包括：

21.根据权利要求20所述的方法，其中所述参考块包括第一参考块，所述参考图片包括第一参考图片，并且所述运动向量数据包括用于标识所述第一参考块的第一当前运动向量和标识用于所述当前块的第二参考图片中的第二参考块的第二当前运动向量的数据，所述方法还包括：

22.根据权利要求1所述的方法，其中所述第一运动向量或所述第二运动向量中的至少一者包括块向量，所述块向量标识包括所述边界块的所述图片中的参考块。

23.根据权利要求1所述的方法，还包括在对所述边界块进行解码之前对所述边界块进行编码。

24.一种用于对视频数据进行解码的设备，所述设备包括：

25.根据权利要求24所述的设备，其中所述第一中间填充块具有第一大小，所述第二中间填充块具有小于所述第一大小的第二大小，并且所述填充块具有所述第一大小，并且其中为了形成所述填充块，所述一个或多个处理器被配置为：

26.根据权利要求24所述的设备，其中为了指派所述填充值，所述一个或多个处理器被配置为：

27.根据权利要求24所述的设备，还包括显示器，所述显示器被配置为显示解码视频数据。

28.根据权利要求24所述的设备，其中所述设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一者或多者。

29.一种在其上存储有指令的计算机可读存储介质，所述指令在被执行时使得处理器：

30.一种用于对视频数据进行解码的设备，所述设备包括：

技术总结一种用于对视频数据进行解码的设备包括：存储器，该存储器被配置为存储视频数据；和一个或多个处理器，该一个或多个处理器在电路中实现并且被配置为：确定使用第一运动向量和第二运动向量对该视频数据的图片的边界块进行双向帧间预测，该边界块具有接触该图片的边缘的边缘；对该图片进行解码，包括对该边界块进行解码；使用第一运动向量来形成第一中间填充块；使用第二运动向量来形成第二中间填充块；使用第一中间填充块和第二中间填充块来形成填充块；以及将该填充块的填充值指派给该图片的在该图片的该边缘的相对侧上与该边界块相邻的填充区域。技术研发人员：张智,黄晗,Y-J·张,C-C·陈,张焱,V·谢廖金,M·卡切夫维茨受保护的技术使用者：高通股份有限公司技术研发日：技术公布日：2024/11/18