一种动态点云低复杂度编码方法、装置、设备及存储介质

本技术属于点云编码，特别涉及一种动态点云低复杂度编码方法、装置、设备以及存储介质。

背景技术：

1、随着多媒体技术的不断发展，多媒体领域的典型信息载体——视频也得到了巨大变革，不仅包括更高的分辨率(4k、8k...)和更多样化的视频形式(如3d视频、全景视频等)，近年来非常热门的虚拟现实(virtual reality，vr)/增强显示(augmented reality，ar)技术更是将视频体验从传统的荧幕观看拓展到了沉浸式体验。在沉浸式体验场景中，使用者可以跳脱固定视点观看的限制，以更自由的方式来感受场景内容，因此，许多传统二维视频难以实现的应用情景在三维沉浸式体验中成为了可能，例如文化遗产保护、大型三维动态地图、虚拟现实以及基于vr的各种电子游戏等娱乐手段、基于ar的立体产品介绍以及医学手术模拟等。

2、点云是沉浸式体验场景的基石，可分为静态对象和场景的静态点云、动态对象的动态点云和动态获取点云三类。一个动态点云由许多静态点云帧组成，它在本质上是以静态点云为基础构成的视频序列，具有和传统二维视频相似的时域特征信息。动态点云具有六自由度特性(6dof),人们可以在任意角度或视点观看，这个特性也是点云后续应用的基石。每个静态点云可能包含数十万甚至数百万个点，每个点都包含自身的坐标以及颜色信息。一个帧率为30fps的未压缩动态点云，如果几何精度和属性精度分别为10位和8位，则比特率将达到180mb/s，而伴随着未来捕获、渲染技术的更新迭代，点云大小和分辨率的提升，这个数据也将保持增长势头。在实际的生产应用场景中，不仅需要关注点云的质量表现，如何通过点云编码使点云大小以及比特率满足生产和传输需要也是不容忽视的问题。

3、目前，动态点云编码标准软件v-pcc(video based point cloud compression,基于视频的点云压缩)的编码流程为：对于一个输入的动态点云，v-pcc基于点的相似性将其分割成一个个几何属性补丁和颜色属性补丁，并对这些补丁进行运动估计和运动补偿。这些补丁以不重叠的方式投影在二维网格上，以生成占用视频、几何视频和属性视频，这些视频中部分像素是直接由原始点云投影所得，其余部分则是由投影像素复制、填充得到。占用视频用于指示当前像素是否来自于原始点云。几何视频和属性分别对应点云的几何属性和颜色属性。在完成二维视频生成后，v-pcc对生成的二维视频分别编码，将编码与补丁序列码流送入多路器中组合成点云编码数据流，完成编码过程。现有的点云编码技术中，通常仅对v-pcc的复杂度优化空间进行简单探索，简单利用点云编码特性，缺乏空间关联性特征信息、帧内帧间相关性等更多特性的挖掘与应用，也没有借鉴目前二维视频编码领域已有的成熟的复杂度优化经验。同时，目前的动态点云低复杂度编码方法仅支持h.265作为内部二维视频编码方法，不支持目前最新的二维视频编码方法h.266。

技术实现思路

1、本技术提供了一种动态点云低复杂度编码方法、装置、设备以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

2、为了解决上述问题，本技术提供了如下技术方案：

3、一种动态点云低复杂度编码方法，包括：

4、利用v-pcc对待编码的点云视频进行编码，并在编码过程中提取所述当前编码单元的纹理信息，根据所述纹理信息计算当前编码单元的纹理复杂度；

5、分别提取当前编码单元与相邻编码单元之间的空间关联性特征信息、父子关联性特征信息以及帧间帧内特征信息，并根据所述空间关联性特征信息、父子关联性特征信息和帧间帧内特征信息计算所述当前编码单元的自适应纹理阈值；

6、将所述当前编码单元的纹理复杂度与自适应纹理阈值进行对比，根据对比结果判断所述当前编码单元的纹理类型，根据所述纹理类型确定是否对当前编码单元的编码结果执行分区编码操作。

7、本技术实施例采取的技术方案还包括：所述根据所述纹理信息计算当前编码单元的纹理复杂度，具体为：

8、

9、其中tcomp代表所述当前编码单元的纹理复杂度，w,h分别代表所述当前编码单元的宽度和高度；xi,j，分别代表所述当前编码单元中的单个像素亮度值和平均像素亮度值。

10、本技术实施例采取的技术方案还包括：所述分别提取当前编码单元与相邻编码单元之间的空间关联性特征信息、父子关联性特征信息以及帧间帧内特征信息，包括：

11、提取所述当前编码单元左侧和上方两个相邻编码单元的纹理信息，根据所述两个相邻编码单元与当前编码单元的纹理信息计算所述两个相邻编码单元与当前编码单元的纹理相似度，根据所述纹理相似度分别为两个相邻编码单元的纹理复杂度设置权重，得到所述当前编码单元与两个相邻编码单元的空间关联性特征信息。

12、本技术实施例采取的技术方案还包括：所述根据所述纹理相似度分别为两个相邻编码单元的纹理复杂度设置权重，具体为：

13、texneighbor＝(1-α/(α+β))×texα+(1-β/(α+β))×texβ

14、其中α，β分别代表所述两个相邻编码单元与当前编码单元的纹理相似度，texα，texβ分别代表所述两个相邻编码单元的纹理信息。

15、本技术实施例采取的技术方案还包括：所述分别提取当前编码单元与相邻编码单元之间的空间关联性特征信息、父子关联性特征信息以及帧间帧内特征信息，还包括：

16、收集所述当前编码单元选择分区时的纹理信息以及对应的空间关联性和父子关联性，通过支持向量回归的方法拟合出相关系数a,b作为所述空间关联性和父子关联性的对应权重：

17、texintra＝a×texneighbor+b×texabove

18、其中texintra为帧内特征信息，texneighbor为空间关联性特征信息，texabove为父子关联性特征信息；

19、动态收集编码过程中已完成编码的编码单元选择帧内/帧间编码模式的比例作为当前编码单元空间信息和时间信息的权重，完成所述帧间帧内特征信息的提取。

20、本技术实施例采取的技术方案还包括：所述根据所述空间关联性特征信息、父子关联性特征信息和帧间帧内特征信息计算所述当前编码单元的自适应纹理阈值，具体为：

21、thrfinal＝pintra×texintra+pinter×texinter

22、其中pintra,pinter分别是所述帧内/帧间编码模式的比例归一化值，thrfinal为生成的自适应纹理阈值，texinter为帧间相关性信息。

23、本技术实施例采取的技术方案还包括：所述根据对比结果判断所述当前编码单元的纹理类型，根据所述纹理类型确定是否对当前编码单元的编码结果执行分区编码操作，具体为：

24、判断所述当前编码单元的纹理复杂度是否小于自适应纹理阈值，如果所述当前编码单元的纹理复杂度小于自适应纹理阈值，则判定所述当前编码单元的纹理类型为简单纹理类型，则终止其编码结果的分区编码操作；如果所述当前编码单元的纹理复杂度大于自适应纹理阈值，则判定所述当前编码单元为复杂纹理类型，对所述当前编码单元的编码结果进行分区并继续执行编码操作。

25、本技术实施例采取的另一技术方案为：一种动态点云低复杂度编码装置，包括：

26、纹理复杂度计算模块：用于在利用v-pcc对待编码的点云视频进行编码的过程中提取所述当前编码单元的纹理信息，根据所述纹理信息计算当前编码单元的纹理复杂度；

27、纹理阈值计算模块：用于分别提取当前编码单元与相邻编码单元之间的空间关联性特征信息、父子关联性特征信息以及帧间帧内特征信息，并根据所述空间关联性特征信息、父子关联性特征信息和帧间帧内特征信息计算所述当前编码单元的自适应纹理阈值；

28、纹理类型判断模块：用于将所述当前编码单元的纹理复杂度与自适应纹理阈值进行对比，根据对比结果判断所述当前编码单元的纹理类型，根据所述纹理类型确定是否对当前编码单元的编码结果执行分区编码操作。

29、本技术实施例采取的又一技术方案为：一种设备，所述设备包括处理器、与所述处理器耦接的存储器，其中，

30、所述存储器存储有用于实现所述动态点云低复杂度编码方法的程序指令；

31、所述处理器用于执行所述存储器存储的所述程序指令以控制动态点云低复杂度编码方法。

32、本技术实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述动态点云低复杂度编码方法。

33、相对于现有技术，本技术实施例产生的有益效果在于：本技术实施例的动态点云低复杂度编码方法、装置、设备以及存储介质通过深入分析动态点云编码标准软件v-pcc的具体结构，挖掘出对纹理复杂度优化更加有用的空间关联性特征信息、父子关联性特征信息以及帧间帧内特征信息等编码特性，根据编码特性信息动态调整当前编码单元纹理复杂度的可信度，最终形成当前编码单元的自适应纹理阈值，将当前编码单元的纹理复杂度与自适应纹理阈值进行对比，判断当前编码单元的类型并决定是否需要继续执行分区编码流程，达到复杂度节省的同时避免编码质量的损失，并保证编码质量。本技术实施例是首个采取h.266作为v-pcc内部二维编码器的编码复杂度优化方法，h.266作为视频编码标准化组织目前提出的最新的二维视频编码方法，既吸取了传统二维编码复杂度优化方法的经验，也充分利用了v-pcc编码过程存在的特性，具有更好的编码性能，且不受内部二维编码器种类的限制，具有较强的普适性。