用于网格运动场编解码的比特流语法的制作方法

1.本公开内容涉及一组高级视频编解码技术，包括用于网格运动场编解码的比特流语法。2.相关技术的描述3d捕获、建模和渲染中的进步促进了跨若干平台和设备的3d内容的普遍存在。如今，可以在一个洲捕获婴儿迈出的第一步，并且使得祖父母能够在另一洲看到(并且可能交互)并享受与孩子的完全沉浸式体验。然而，为了实现这样的真实感，模型变得越来越复杂，并且大量的数据与这些模型的创建和消耗相联系。vmesh是正在进行的用于压缩静态和动态网格的mpeg标准。vmesh将输入网格分成简化的基础网格和残差网格。可以以高质量对基础网格进行编码，而可以使用细分表面拟合和位移编码对剩余网格进行编码以利用局部特性。然而，复杂网格通常包含关于多个实例的信息，以关联相关纹理图。该信息在编码时可用。另一方面，网格可以基于其特性被分割为若干部分。例如，在人类网格的面部区域中存在更多的多边形。因此，应用于网格中的所有实例、对象、部分的恒定量化步长导致大的量化误差，网格区域可能不是同等重要的，在网格的不同部分中面部的数目可能显著不同，并且基础网格可能比原始网格和位移更简单，因此可能需要更低的比特深度准确度。此外，动态网格序列可能需要大量数据，因为动态网格序列可能包括随时间变化的大量信息。因此，需要高效的压缩技术来存储并传输这样的内容。网格压缩标准ic、meshgrid、famc先前由mpeg开发以处理具有恒定连接性以及时变几何和顶点属性的动态网格。然而，这些标准未考虑时变属性图和连接性信息。dcc(digital content creation)(数字内容创建)工具通常生成这样的动态网格。对应地，对于体积获取技术，生成恒定连接性动态网格特别是在实时约束下生成恒定连接性动态网格是具有挑战性的。现有标准不支持这种类型的内容。mpeg计划开发新的网格压缩标准以直接处理具有时变连接性信息并且可选地时变属性图的动态网格。因此，出于这些原因中的任何原因，需要一种技术解决方案来解决视频编解码技术中出现的这些问题。

背景技术：

技术实现思路

1、提供了一种方法和装置，该装置包括：存储器，该存储器被配置成存储计算机程序代码；以及一个或多个处理器，所述一个或多个处理器被配置成访问计算机程序代码并且按照计算机程序代码所指示的进行操作。计算机程序被配置成使处理器实现：接收代码，该接收代码被配置成使至少一个处理器接收比特流，该比特流包括表示至少一个三维(3d)视觉内容的经编码的体积数据的网格，该网格包括帧组，该帧组包括当前帧和参考帧；获得代码，该获得代码被配置成使至少一个处理器从所接收的比特流获得指示网格的运动场的高级语法，其中运动场包括当前帧中的第一顶点位置与参考帧中的第二顶点位置之间的差；以及解码代码，该解码代码被配置成使至少一个处理器至少基于高级语法对网格进行解码。

2、根据示例性实施方式，对网格进行解码进一步基于位移编解码，该位移编解码基于算术编解码。

3、根据示例性实施方式，指示网格的运动场的语法元素包括：

4、

5、根据示例性实施方式，指示网格的运动场的语法元素包括帧报头和帧有效载荷，帧报头包括帧索引，随后是参考帧索引，并且帧报头指示帧间模式中的参考帧索引。

6、根据示例性实施方式，在帧报头指示帧间类型的情况下，帧索引包括8比特，参考帧索引包括8比特，并且帧有效载荷包括z位整数，其中z包括32比特。

7、根据示例性实施方式，帧报头包括帧索引和参考帧索引。

8、根据示例性实施方式，帧有效载荷包括z位整数，随后是经编解码的比特流，z位整数指定经编解码的比特流的字节大小，并且经编解码的比特流包括第一帧的位移矢量的编解码表示，位移矢量包括第一位移矢量。

9、根据示例性实施方式，帧有效载荷包括z位整数和经编解码的比特流，并且z为32。

10、根据示例性实施方式，处理器还被配置成执行指令以获得帧组的连接，从帧组中的第一帧的第一位移位比特流获得3d视觉内容的网格运动场的第一帧的第一位移矢量，在对第一帧进行解码之后，并且从帧组中的第二帧获得3d视觉内容的网格运动场的第二帧的第二位移矢量，以及基于第二位移矢量对3d视觉内容的第二帧进行解码，并且帧组中的第一帧包括第一序列报头比特流、第一基础网格比特流、第一位移位比特流和第一纹理比特流，并且帧组中的第二帧包括第二序列报头比特流、第二基础网格比特流、第二位移比特流和第二纹理比特流。

技术特征：

1.一种用于视频解码的方法，所述方法由至少一个处理器执行并且包括：

2.根据权利要求1所述的方法，其中，

3.根据权利要求1所述的方法，其中，

4.根据权利要求1所述的方法，其中，指示所述网格的运动场的所述语法元素包括：

5.根据权利要求1所述的方法，其中，

6.根据权利要求5所述的方法，其中，

7.根据权利要求6所述的方法，其中，

8.根据权利要求5所述的方法，其中，

9.根据权利要求8所述的方法，其中，

10.根据权利要求1所述的方法，还包括：

11.一种用于视频解码的装置，所述装置包括：

12.根据权利要求11所述的装置，其中，

13.根据权利要求11所述的装置，其中，

14.根据权利要求11所述的装置，其中，指示所述网格的运动场的所述语法元素包括：

15.根据权利要求11所述的装置，其中，

16.根据权利要求15所述的装置，其中，

17.根据权利要求16所述的装置，其中，

18.根据权利要求15所述的装置，其中，

19.根据权利要求18所述的装置，其中，

20.一种非暂态计算机可读介质，其存储程序，所述程序使计算机进行以下操作：

技术总结一种包括计算机代码的装置和方法，该计算机代码被配置成使一个或多个处理器：接收比特流，该比特流包括表示至少一个三维(3D)视觉内容的经编码的体积数据的网格，该网格包括帧组，该帧组包括当前帧和参考帧；从所接收的比特流获得指示网格的运动场的高级语法，并且运动场包括当前帧中的第一顶点位置与参考帧中的第二顶点位置之间的差；以及至少基于高级语法对网格进行解码。技术研发人员：田军,许晓中,刘杉受保护的技术使用者：腾讯美国有限责任公司技术研发日：技术公布日：2024/9/12