使用边界外运动向量对视频数据进行译码的制作方法

本公开涉及视频译码，包括视频编码和视频解码。

背景技术：

1、数字视频能力可被合并到各种各样的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话(所谓的“智能电话”)、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码技术，诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4(第10部分，高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)、itu-t h.266/多功能视频译码(vvc)定义的标准及此类标准的扩展以及诸如由开放媒体联盟开发的aomedia video1(av1)等专有视频编解码器/格式中描述的视频译码技术。通过实现此类视频译码技术，视频设备可更加高效地发送、接收、编码、解码和/或存储数字视频信息。

2、视频译码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或去除在视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可被划分为视频块，视频块还可被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的帧内译码(i)的切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码的。图片的帧间译码(p或b)的切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或者相对于其它参考图片中的参考样本的时间预测。图片可称为帧，并且参考图片可称为参考帧。

技术实现思路

1、通常，本公开描述了用于使用边界外运动向量对视频数据进行译码的技术。通常，视频译码涉及对图片序列进行译码。每张图片可被分割成块，然后可对这些块进行预测和译码。块的预测可以是帧内预测(该同一图片内的空间预测)或帧间预测(根据先前所译码图片的时间预测)。当执行帧间预测时，可使用运动向量来标识当前块的参考块。在一些情况下，该运动向量可指代参考图片的部分或全部在该参考图片的边界之外的区域。本公开描述了用于解决此类情况的技术。具体地，本公开描述了使用双边匹配技术的解码器侧运动向量细化。虽然此类技术可称为“解码器侧”，但视频编码器也可在该视频编码器内的解码循环期间执行此类技术。

2、例如，可使用双向光流(bdof)来细化运动信息。通常，可在每个子块或每个样本的基础上执行bdof。可使用两个运动向量对视频数据块进行双向帧间预测。该运动向量指代相应参考块，这些运动向量能够被用于形成预测块，然后组合这些预测块以形成最终预测块。当形成这些预测块时，可细化样本或子块的运动信息，这通常包括比较两个参考块的相邻样本以确定要应用于该运动信息的偏移。在一些情况下，该相邻样本可在这些运动向量中的一个运动向量指代的参考图片的图片边界之外。根据本公开的技术，当样本的两个预测因子中的一个预测因子在该图片边界之外时，边界外(oob)预测因子可继承非oob预测因子的值用于bdof。这样，即使当一个或多个预测因子在该参考图片边界之外时也可执行bdof，这可改进该最终预测块，从而减少残余值和对该残余值进行译码所需的比特率。

3、在一个示例中，一种对视频数据进行解码的方法包括：确定要使用双向光流(bdof)来预测视频数据块；形成该块的运动信息，该运动信息包括第一运动向量，该第一运动向量指代第一参考图片列表的第一图片；和第二运动向量，该第二运动向量指代第二参考图片列表的第二参考图片；使用该第一运动向量形成第一预测块并且使用该第二运动向量形成第二预测块；根据bdof将该第一预测块与该第二预测块组合以形成最终预测块，其中对于该最终预测块的至少一个样本位置，该方法包括：确定该至少一个样本位置的第一预测因子在该第一参考图片的边界之外；确定该至少一个样本位置的第二预测因子在该第二参考图片的边界内；将该第一预测因子设置为等于该第二预测因子；以及使用该第一预测因子和该第二预测因子确定该至少一个样本位置处的样本的最终bdof值。

4、在另一示例中，一种用于对视频数据进行解码的设备包括：存储器，该存储器被配置为存储视频数据；和一个或多个处理器，所述处理器在电路中实现并被配置为：确定要使用双向光流(bdof)来预测所述视频数据的块；形成该块的运动信息，该运动信息包括第一运动向量，该第一运动向量指代第一参考图片列表的第一图片；和第二运动向量，该第二运动向量指代第二参考图片列表的第二参考图片；使用该第一运动向量形成第一预测块并使用该第二运动向量形成第二预测块；根据bdof将该第一预测块与该第二预测块组合以形成最终预测块，其中针对该最终预测块的至少一个样本位置，该一个或多个处理器被配置为：确定该至少一个样本位置的第一预测因子在该第一参考图片的边界之外；确定该至少一个样本位置的第二预测因子在该第二参考图片的边界内；将该第一预测因子设置为等于该第二预测因子；以及使用该第一预测因子和该第二预测因子确定该至少一个样本位置处的样本的最终bdof值。

5、在另一示例中，一种用于对视频数据进行解码的设备包括：用于确定要使用双向光流(bdof)来预测视频数据块的构件；用于形成该块的运动信息的构件，该运动信息包括第一运动向量，该第一运动向量指代第一参考图片列表的第一图片；和第二运动向量，该第二运动向量指代第二参考图片列表的第二参考图片；用于使用该第一运动向量形成第一预测块并使用该第二运动向量形成第二预测块的构件；用于根据bdof将该第一预测块与该第二预测块组合以形成最终预测块的构件；用于确定该最终预测块的至少一个样本位置的第一预测因子在该第一参考图片的边界之外的构件；用于确定该至少一个样本位置的第二预测因子在该第二参考图片的边界内的构件；用于将该第一预测因子设置为等于该第二预测因子的构件；和用于使用该第一预测因子和该第二预测因子确定该至少一个样本位置处的样本的最终bdof值的构件。

6、在另一示例中，一种在其上存储有指令的计算机可读存储介质，该指令在被执行时使得处理器：确定要使用双向光流(bdof)来预测视频数据块；形成该块的运动信息，该运动信息包括第一运动向量，该第一运动向量指代第一参考图片列表的第一图片；和第二运动向量，该第二运动向量指代第二参考图片列表的第二参考图片；使用该第一运动向量形成第一预测块并使用该第二运动向量形成第二预测块；根据bdof将该第一预测块与该第二预测块组合以形成最终预测块，其中针对该最终预测块的至少一个样本位置，该一个或多个处理器被配置为：确定该至少一个样本位置的第一预测因子在该第一参考图片的边界之外；确定该至少一个样本位置的第二预测因子在该第二参考图片的边界内；将该第一预测因子设置为等于该第二预测因子；以及使用该第一预测因子和该第二预测因子确定该至少一个样本位置处的样本的最终bdof值。

7、在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书，其他特征、目的和优点将是显而易见的。