神经视频编解码的制作方法

背景技术：

1、视频编解码的主要原理是，对于要编码的当前帧，编解码器会从先前重建的帧中寻找相关上下文信息(例如，将各种预测作为上下文信息)，以降低时域和空间冗余。上下文信息越相关，就能节约更多的比特率。传统视频编解码(例如，从h.261到h.266)是通过人为定义各种编码模式来提取和利用上下文信息。当前，还提出了神经视频编解码(neuralvideo codec，nvc)，通过自动学习的方式来提取和利用上下文信息，这会带来更多的灵活度，提升编码效率。

技术实现思路

1、根据本公开的实现，提出了一种神经视频编解码方案。在该方案中，获取视频中的目标帧的预估运动信息以及针对目标帧的参考帧的参考特征信息和参考重建帧；利用上下文提取模型，基于预估运动信息、参考重建帧和参考特征信息来确定针对目标帧的上下文信息；以及在目标帧与视频的比特流之间的转换中，利用帧编解码模型，至少基于上下文信息来生成目标帧的目标重建帧。以此方式，可以提取更丰富的上下文信息进行编码，提升编码效率。

2、提供该部分是为了简化的形式来介绍对对象的选择，其在下文的具体实施方式中将被进一步描述。该部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

技术特征：

1.一种计算机实现的方法，包括：

2.根据权利要求1所述的方法，其中所述参考特征信息包括多个参考特征图，并且其中确定所述上下文信息包括：

3.根据权利要求2所述的方法，其中基于针对所述第一数目的特征图组确定的对齐特征图组确定所述上下文信息包括：

4.根据权利要求3所述的方法，其中将所述多个参考特征图划分为所述第一数目的特征图组包括：

5.根据权利要求1所述的方法，其中生成所述目标重建帧包括：

6.根据权利要求5所述的方法，其中执行所述多个熵编码操作包括：对于所述多个熵编码操作中的给定熵编码操作，

7.根据权利要求1所述的方法，其中所述上下文提取模型和所述帧编解码模型利用基于样本视频中的多个样本帧而被训练，所述多个样本帧被分配多个权重，所述多个权重中的至少一个权重高于其他权重，并且

8.根据权利要求7所述的方法，其中所述多个权重的取值具有层级结构。

9.根据权利要求1所述的方法，其中所述转换包括：

10.根据权利要求1所述的方法，还包括：

11.一种电子设备，包括：

12.根据权利要求11所述的设备，其中所述参考特征信息包括多个参考特征图，并且其中确定所述上下文信息包括：

13.根据权利要求12所述的设备，其中基于针对所述第一数目的特征图组确定的对齐特征图组确定所述上下文信息包括：

14.根据权利要求13所述的设备，其中将所述多个参考特征图划分为所述第一数目的特征图组包括：

15.根据权利要求11所述的设备，其中生成所述目标重建帧包括：

16.根据权利要求15所述的设备，其中执行所述多个熵编码操作包括：对于所述多个熵编码操作中的给定熵编码操作，

17.根据权利要求11所述的设备，其中所述上下文提取模型和所述帧编解码模型利用基于样本视频中的多个样本帧而被训练，所述多个样本帧被分配多个权重，所述多个权重中的至少一个权重高于其他权重，并且

18.根据权利要求17所述的设备，其中所述多个权重的取值具有层级结构。

19.根据权利要求11所述的设备，其中所述转换包括：

20.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机存储介质中并且包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行以下动作，所述动作包括：

技术总结根据本公开的实现，提供了神经视频编解码方案。根据该方案，获取视频中的目标帧的预估运动信息以及针对目标帧的参考帧的参考特征信息和参考重建帧；利用上下文提取模型，基于预估运动信息、参考重建帧和参考特征信息来确定针对目标帧的上下文信息；以及在目标帧与视频的比特流之间的转换中，利用帧编解码模型，至少基于上下文信息来生成目标帧的重建目标帧。以此方式，可以提取更丰富的上下文信息进行编码，提升编码效率。技术研发人员：李嘉豪,李斌,吕岩受保护的技术使用者：微软技术许可有限责任公司技术研发日：技术公布日：2024/7/25