用于对3D网格进行编码/解码的方法和装置与流程

本发明实施方案整体涉及一种用于对3d网格进行编码和解码，并且更具体地涉及对表示为网格的3d对象进行编码和解码的方法和装置。

背景技术：

1、可以通过使用在空间上调度的一组物理捕获设备(视频、红外光，……)捕获动画模型来实现自由视点视频。随后可以对经捕获的动画序列进行编码并将其传输到终端，以便以六自由度(6dof)从任何虚拟视点进行播放。存在用于对动画模型进行编码的不同方法。例如，动画模型可以表示为图像/视频、点云或纹理化网格。

2、在基于图像/视频的方法中，存储一组视频流加上附加元数据，并且执行扭曲或任何其他重投影以在回放时从虚拟视点产生图像。这种解决方案需要大量的带宽并且引入许多伪影。

3、在点云方法中，从一组输入动画图像重建动画3d点云，从而产生更紧凑的3d模型表示。随后可以将动画点云投影在包裹动画点云的体积的平面上并将经投影的点(也称为补块(patch))编码到一组2d编码视频流(例如，使用hevc、avc、vvc……)中以用于递送该动画点云。然而，模型的实质在空间扩展方面非常有限，并且可能出现一些伪影，诸如表面上的针对近距离视图的孔穴。

4、在纹理化网格方法中，从一组输入动画图像重建动画纹理化网格。网格的特征为：几何定义可以非常低，并且光度测定纹理图集可以被编码在标准视频流中。纹理化网格编码依赖于纹理坐标(uv)来执行纹理图像到网格的面/三角形的映射。

技术实现思路

1、根据一个实施方案，提供了一种用于对使用网格表示的至少一个3d对象进行编码或者对至少一个3d网格进行编码的方法，该方法包括：针对该网格的至少一个面，从该至少一个面的经解码顶点位置和该网格的经解码拓扑获得第二纹理图中的第二纹理坐标，该至少一个面包括顶点位置和第一纹理图中的与这些顶点位置相关联的第一纹理坐标；基于第一纹理坐标和第二纹理坐标从该第一纹理图获得第二纹理图；以及对该第二纹理图进行编码。

2、根据另一实施方案，提供了一种用于对使用网格表示的至少一个3d对象进行编码或者对至少一个3d网格进行编码的装置。该装置包括一个或多个处理器，该一个或多个处理器被配置为：针对该网格的至少一个面，从该至少一个面的经解码顶点位置和该网格的经解码拓扑获得第二纹理图中的第二纹理坐标，该至少一个面包括顶点位置和第一纹理图中的与这些顶点位置相关联的第一纹理坐标；基于第一纹理坐标和第二纹理坐标从该第一纹理图获得第二纹理图；对该第二纹理图进行编码。

3、根据另一实施方案，提供了一种用于对使用网格表示的至少一个3d对象进行解码或者对至少一个3d网格进行解码的方法。该方法包括：对网格的拓扑和该网格的至少一个面进行解码，该至少一个面包括顶点位置；基于经解码拓扑和经解码顶点位置来获得该至少一个面的顶点的纹理坐标。

4、根据另一实施方案，提供了一种用于对使用网格表示的至少一个3d对象进行解码或者对至少一个3d网格进行解码的装置。该装置包括一个或多个处理器，该一个或多个处理器被配置为：对该网格的拓扑和该网格的至少一个面进行解码，该至少一个面包括顶点位置；基于经解码拓扑和经解码顶点位置来获得该至少一个面的顶点的纹理坐标。

5、根据另一实施方案，一种比特流包括：表示网格的拓扑、该网络的至少一个面的经编码视频数据，该至少一个面包括顶点位置，

6、-表示指示解码器基于经解码拓扑和经解码顶点位置来获得该至少一个面的顶点的纹理坐标的指示的经编码数据。

7、一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，这些指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述实施方案中的任一实施方案所述的编码方法或解码方法中的任一者。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据本文所述的方法对3d对象进行编码或解码的指令。一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有根据本文所述方法生成的比特流。一个或多个实施方案还提供了一种用于发射或接收比特流的方法和装置，所述比特流根据本文所述的方法生成。

技术特征：

1.一种方法，所述方法包括：

2.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为：

3.根据权利要求1所述的方法，所述方法进一步包括，或根据权利要求2所述的装置，其中所述一个或多个处理器进一步被配置用于：对所述网格的所述拓扑和所述网格的所述至少一个面进行编码，从而提供经编码网格。

4.根据权利要求1或3中任一项所述的方法，或根据权利要求2至3中任一项所述的装置，其中获得第二纹理坐标包括：使用所述经解码顶点位置来生成所述第二纹理坐标。

5.根据权利要求1或3至4中任一项所述的方法，或根据权利要求2至4中任一项所述的装置，其中基于第一纹理坐标和第二纹理坐标来从所述第一纹理图获得第二纹理图包括：使用所述第一纹理坐标和所述第二纹理坐标来将所述第一纹理图重投影到所述第二纹理图上。

6.根据权利要求1或3至5中任一项所述的方法，所述方法进一步包括，或根据权利要求2至5中任一项所述的装置，其中所述一个或多个处理器进一步被配置用于：对与获得所述第二纹理图相关的元数据进行编码。

7.根据权利要求3至6中任一项所述的方法，或根据权利要求3至6中任一项所述的装置，其中使用所述第一纹理坐标和所述第二纹理坐标来将所述第一纹理图重投影到所述第二纹理图上包括：在编码之前，针对所述经编码网格的至少一个经解码面识别所述网格中的对应面。

8.一种方法，所述方法包括：

9.一种装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为：

10.根据权利要求8所述的方法，所述方法进一步包括，或根据权利要求9所述的装置，其中所述一个或多个处理器进一步被配置用于：

11.根据权利要求8或10所述的方法，或根据权利要求9或10所述的装置，其中拓扑和顶点位置是从比特流解码的。

12.根据权利要求11所述的方法或装置，其中纹理坐标未编码在所述比特流中。

13.根据权利要求8或10至12中任一项所述的方法，所述方法进一步包括，或根据权利要求9至12中任一项所述的装置，其中所述一个或多个处理器进一步被配置用于：对指示基于所述经解码拓扑和所述经解码顶点位置来获得所述至少一个面的顶点的纹理坐标的指示进行解码。

14.根据权利要求8或10至13中任一项所述的方法，所述方法进一步包括，或根据权利要求9至13中任一项所述的装置，其中所述一个或多个处理器进一步被配置用于：对用于生成所述纹理坐标的方法的指示进行解码。

15.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令用于使一个或多个处理器执行根据权利要求1或3至8或10至14中任一项所述的方法。

16.一种设备，所述设备包括：

17.根据权利要求16所述的设备，所述设备包括tv、移动电话、平板电脑或机顶盒。

18.一种比特流，所述比特流包括：

19.根据权利要求18所述的比特流，所述比特流进一步包括：与用于生成所述纹理坐标的方法相关的元数据。

20.根据权利要求18或19所述的比特流，所述比特流进一步包括：表示与所述网格相关联的纹理数据的经编码数据。

21.一种计算机可读存储介质，所述计算机可读存储介质上存储有根据权利要求18至20中任一项所述的比特流。

22.一种装置，所述装置包括：

技术总结提供了用于对3D对象进行编码或解码的方法和装置。针对表示3D对象的网格的至少一个面，从该至少一个面的经解码顶点位置和该网格的经解码拓扑获得第二纹理图中的第二纹理坐标，该至少一个面包括顶点位置和第一纹理图中的与这些顶点位置相关联的第一纹理坐标。基于该第一纹理坐标和该第二纹理坐标来从该第一纹理图获得第二纹理图，并且对该第二纹理图进行编码。技术研发人员：J-E·马维,C·盖德,M·克里沃库卡受保护的技术使用者：交互数字CE专利控股有限公司技术研发日：技术公布日：2024/9/2