用于视频编解码的基于卷积神经网络的滤波器的制作方法

本专利文件涉及数字媒体编解码和解码。

背景技术：

1、数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。

技术实现思路

1、本文件公开了可由图像、音频或视频编码器和解码器使用以确保编码操作、解码操作和编码的数字媒体片段的完整性的技术。

2、在一个示例方面，公开了一种处理视觉媒体数据的方法。该方法包括执行视觉媒体数据与视觉媒体数据的比特流之间的转换，其中转换的执行包括基于规则在转换期间选择性地应用卷积神经网络滤波器；其中该规则指定是否和/或如何应用卷积神经网络滤波器。

3、在另一个示例方面，公开了一种视频处理装置。该视频处理装置包括被配置为实现上述方法的处理器。

4、在又一个示例方面，公开了一种处理视觉媒体数据的方法，包括：执行视觉媒体数据与所述视觉媒体数据的比特流之间的转换，其中，所述转换的执行包括基于规则在所述转换期间选择性地应用卷积神经网络滤波器；其中，所述规则指定是否和/或如何应用所述卷积神经网络滤波器。

5、在又一个示例方面，公开了一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：执行视觉媒体数据与所述视觉媒体数据的比特流之间的转换，其中，所述转换的执行包括基于规则在所述转换期间选择性地应用卷积神经网络滤波器；其中，所述规则指定是否和/或如何应用所述卷积神经网络滤波器。

6、在又一个示例方面，公开了一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：执行视觉媒体数据与所述视觉媒体数据的比特流之间的转换，其中，所述转换的执行包括基于规则在所述转换期间选择性地应用卷积神经网络滤波器；其中，所述规则指定是否和/或如何应用所述卷积神经网络滤波器。

7、在又一个示例方面，公开了一种存储视频的比特流的方法，包括：生成所述视频的比特流；将所述比特流存储在非暂时性计算机可读记录介质中，其中，生成所述比特流包括基于规则在生成所述比特流期间选择性地应用卷积神经网络滤波器；其中，所述规则指定是否和/或如何应用所述卷积神经网络滤波器。

8、在又一个示例方面，公开了一种将视觉媒体数据存储到包括一个或多个比特流的文件的方法。该方法对应于上述方法并且还包括将一个或多个比特流存储到非暂时性计算机可读记录介质。

9、在又一个示例方面，公开了一种存储比特流的计算机可读介质。该比特流是根据上述方法生成的。

10、在又一个示例方面，公开了一种用于存储比特流的视频处理装置，其中该视频处理装置被配置为实现上述方法。

11、在又一个示例方面，公开了一种计算机可读介质，其上的比特流符合根据上述方法生成的文件格式。

12、贯穿本文件描述了这些和其他特征。

技术特征：

1.一种处理视觉媒体数据的方法，包括：

2.根据权利要求1所述的方法，其中，所述卷积神经网络滤波器是使用卷积神经网络实现的，并且被应用于所述视觉媒体数据的视频单元的至少一些样点。

3.根据权利要求1所述的方法，其中，所述规则指定以互斥的方式使用所述卷积神经网络滤波器和每种类型的非深度学习滤波(ndlf)滤波器。

4.根据权利要求1所述的方法，其中，所述规则指定以互斥的方式使用所述卷积神经网络滤波器和某些类型的非深度学习滤波(ndlf)滤波器。

5.根据权利要求1所述的方法，其中，所述规则指定将所述卷积神经网络滤波器与非深度学习滤波(ndlf)滤波器一起应用。

6.根据权利要求1所述的方法，其中，所述规则指定在应用非深度学习滤波(ndlf)滤波器之前或之后应用所述卷积神经网络滤波器。

7.根据权利要求1所述的方法，其中，所述规则指定将所述卷积神经网络滤波器应用于对其禁用非深度学习滤波(ndlf)滤波器的视频单元的样点。

8.根据权利要求1所述的方法，其中，所述规则指定将非深度学习滤波(ndlf)滤波器应用于对其禁用所述卷积神经网络滤波器的视频单元的样点。

9.根据权利要求1所述的方法，其中，所述规则指定所述卷积神经网络滤波器的使用是基于解码的信息隐式导出的。

10.根据权利要求1所述的方法，其中，所述比特流包括关于在所述转换期间允许应用的多个不同的卷积神经网络滤波器和/或卷积神经网络滤波器集合中的至少一个的信息。

11.根据权利要求1所述的方法，其中，所述规则指定所述卷积神经网络滤波器的使用基于输入信息，所述输入信息包括模式信息和/或与所述卷积神经网络滤波器相关的其他信息。

12.根据权利要求11所述的方法，其中，所述输入信息包括重建样点信息、分割信息或预测信息中的至少一个。

13.根据权利要求1所述的方法，其中，所述卷积神经网络滤波器包括环路滤波器。

14.根据权利要求3所述的方法，其中，ndlf滤波器的类型包括去方块滤波器或样点自适应偏移滤波器或自适应环路滤波器或交叉分量自适应环路滤波器。

15.根据权利要求1-14中任一项所述的方法，其中，所述转换的执行包括从所述视觉媒体数据生成所述比特流。

16.根据权利要求1-14中任一项所述的方法，其中，所述转换的执行包括从所述比特流生成所述视觉媒体数据。

17.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：

18.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：

19.一种存储视频的比特流的方法，包括：

20.一种视觉媒体数据处理装置，包括被配置为实现权利要求2至16中任一项所记载的方法的处理器。

21.一种存储视觉媒体数据的比特流的方法，包括权利要求2至16中任一项所记载的方法，并且还包括将所述比特流存储到非暂时性计算机可读记录介质。

22.一种存储程序代码的计算机可读介质，当所述程序代码被执行时使得处理器实现权利要求2至16中任一项所记载的方法。

23.一种用于存储比特流的视觉媒体数据处理装置，其中，所述视觉媒体数据处理装置被配置为实现权利要求2至16中任一项所记载的方法。

技术总结描述了用于视频编解码的基于卷积神经网络的滤波器。提供了一种处理视觉媒体数据的方法，包括：执行视觉媒体数据与所述视觉媒体数据的比特流之间的转换，其中，所述转换的执行包括基于规则在所述转换期间选择性地应用卷积神经网络滤波器；其中，所述规则指定是否和/或如何应用所述卷积神经网络滤波器。技术研发人员：李跃,张莉,张凯受保护的技术使用者：脸萌有限公司技术研发日：技术公布日：2024/8/1