使用神经网络进行视频处理的装置和方法与流程

以下描述涉及使用神经网络进行视频处理的装置和方法。

背景技术：

1、标准编解码器可以被划分为编码器和解码器。可以通过将帧划分为块来处理编码和解码，并且处理方法可以取决于标准编解码器的类型而变化。高效视频编码(hevc)可以以编码树单元(ctu)为单位来划分预定大小的编码单元，并且ctu可以被划分为编码单元(cu)，cu是以四叉树形式划分的编码的基本单元。在hevc中，可以存在帧内预测和帧间预测之一，并且取决于预测的类型，可以确定预测单元(pu)分割的形状、pu的预测方向以及运动矢量。hevc可以以变换单元(tu)为单位进行变换，并且可以通过执行量化来终止编码。量化数据可以被发送给解码器，或者可以用于在对量化数据进行解码之后对另一cu进行编码。在这种情况下，cu、pu和tu的大小可以通过使用蛮力搜索执行率失真优化(rdo)来确定，并且可以受到量化参数(qp)的影响。

技术实现思路

1、提供本技术实现要素：以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。

2、在一个或多个总体方面，一种具有视频处理功能的装置包括：一个或多个处理器，被配置为：通过将量化参数、预解码参考图像和视频中包括的多个帧输入到神经网络并压缩该多个帧来生成能够由目标标准编解码器处理的语法元素，并通过对语法元素执行熵编码来生成比特流。

3、语法元素可以包括编码单元(cu)分割、压缩模式、预测单元(pu)分割、pu预测模式和变换单元(tu)分割。

4、预解码参考图像可以是在对输入帧进行编码的时间点之前的时间点被解码的。

5、为了生成预解码参考图像，一个或多个处理器可以被配置为：通过对比特流进行熵解码来生成解码语法元素，并且通过对解码语法元素进行解压缩来生成预解码参考图像。

6、解码语法元素可以由目标解码器解码，该目标解码器包括标准编解码器的解码器。

7、神经网络可以包括第一神经网络和第二神经网络。

8、为了生成比特流，一个或多个处理器可以被配置为：从第一神经网络的输出和第二神经网络的输出中选择一个输出，并且对所选择的输出执行熵编码。

9、为了生成语法元素，一个或多个处理器可以被配置为执行以下之一或两者：通过第一神经网络执行帧内预测；以及通过第二神经网络执行帧间预测。

10、为了生成语法元素，一个或多个处理器可以被配置为：通过第一神经网络将多个帧分割为多个块，并且通过将多个块输入到第二神经网络来执行运动估计和补偿。

11、为了生成语法元素，一个或多个处理器可以被配置为：基于构成神经网络的层的自适应实例归一化的形状以及任意级别的特征的乘积或总和来调整量化参数。

12、为了生成语法元素，一个或多个处理器可以被配置为：接收关于多个解码器之中用于执行解码的解码器的解码器信息，并且通过考虑解码器信息来生成语法元素。

13、在一个或多个总体方面，一种具有视频处理功能的处理器实现的方法包括：通过将量化参数、预解码参考图像和视频中包括的多个帧输入到神经网络并压缩多个帧来生成能够由目标标准编解码器处理的语法元素，以及通过对语法元素执行熵编码来生成比特流。

14、语法元素可以包括编码单元(cu)分割、压缩模式、预测单元(pu)分割、pu预测模式和变换单元(tu)分割。

15、预解码参考图像可以是在对输入帧进行编码的时间点之前的时间点被解码的。

16、生成预解码参考图像可以包括：通过对比特流执行熵解码来生成解码语法元素；以及通过对解码语法元素进行解压缩来生成预解码参考图像。

17、解码语法元素可以由目标解码器解码，该目标解码器包括标准编解码器的解码器。

18、神经网络可以包括第一神经网络和第二神经网络。

19、生成比特流可以包括：从第一神经网络的输出和第二神经网络的输出中选择一个输出；以及对所选择的输出执行熵编码。

20、生成语法元素可以包括以下之一或两者：通过第一神经网络执行帧内预测；以及通过第二神经网络执行帧间预测。

21、生成语法元素可以包括：通过第一神经网络将多个帧分割为多个块；以及通过将多个块输入到第二神经网络来执行运动估计和补偿。

22、生成语法元素可以包括：基于构成神经网络的层的自适应实例归一化的形状以及任意级别的特征的乘积或总和来调整量化参数。

23、生成语法元素可以包括：接收关于多个解码器之中用于执行解码的解码器的解码器信息；以及通过考虑解码器信息来生成语法元素。

24、其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。

技术特征：

1.一种具有视频处理功能的装置，所述装置包括：

2.根据权利要求1所述的装置，其中，所述语法元素包括编码单元cu分割、压缩模式、预测单元pu分割、pu预测模式和变换单元tu分割。

3.根据权利要求1所述的装置，其中，所述预解码参考图像是在对输入帧进行编码的时间点之前的时间点被解码的。

4.根据权利要求1所述的装置，其中，为了生成所述预解码参考图像，所述一个或多个处理器进一步被配置为：

5.根据权利要求4所述的装置，其中，所述解码语法元素能够由目标解码器解码，所述目标解码器包括标准编解码器的解码器。

6.根据权利要求1所述的装置，其中，所述神经网络包括第一神经网络和第二神经网络。

7.根据权利要求6所述的装置，其中，为了生成所述比特流，所述一个或多个处理器进一步被配置为：

8.根据权利要求6所述的装置，其中，为了生成所述语法元素，所述一个或多个处理器进一步被配置为执行以下之一或两者：

9.根据权利要求7所述的装置，其中，为了生成所述语法元素，所述一个或多个处理器进一步被配置为：

10.根据权利要求1所述的装置，其中，为了生成所述语法元素，所述一个或多个处理器进一步被配置为：基于构成所述神经网络的层的自适应实例归一化的形状以及任意级别的特征的乘积或总和来调整所述量化参数。

11.根据权利要求1所述的装置，其中，为了生成所述语法元素，所述一个或多个处理器还被配置为：

12.一种具有视频处理功能的处理器实现的方法，所述方法包括：

13.根据权利要求12所述的方法，其中，所述语法元素包括编码单元cu分割、压缩模式、预测单元pu分割、pu预测模式和变换单元tu分割。

14.根据权利要求12所述的方法，其中，所述预解码参考图像是在对输入帧进行编码的时间点之前的时间点被解码的。

15.根据权利要求12所述的方法，其中，生成所述预解码参考图像包括：

16.根据权利要求15所述的方法，其中，所述解码语法元素能够由目标解码器解码，所述目标解码器包括标准编解码器的解码器。

17.根据权利要求12所述的方法，其中，所述神经网络包括第一神经网络和第二神经网络。

18.根据权利要求17所述的方法，其中，生成所述比特流包括：

19.根据权利要求17所述的方法，其中，生成所述语法元素包括以下之一或两者：

20.根据权利要求18所述的方法，其中，生成所述语法元素包括：

21.根据权利要求12所述的方法，其中，生成所述语法元素包括：基于构成所述神经网络的层的自适应实例归一化的形状以及任意级别的特征的乘积或总和来调整所述量化参数。

22.根据权利要求12所述的方法，其中，生成所述语法元素包括：

技术总结一种具有视频处理功能的装置，包括：一个或多个处理器，被配置为：通过将量化参数、预解码参考图像和视频中包括的多个帧输入到神经网络并压缩该多个帧来生成能够由目标标准编解码器处理的语法元素，并通过对语法元素执行熵编码来生成比特流。技术研发人员：金胜彦,李元熙,郑景夫,崔佑硕,成映勋,吴度官受保护的技术使用者：三星电子株式会社技术研发日：技术公布日：2024/7/23