基于机器学习预测的动态点云低复杂度编码方法及装置

本技术属于点云编码，特别涉及一种基于机器学习预测的动态点云低复杂度编码方法及装置。

背景技术：

1、近些年来，以虚拟现实(virtual reality，vr)/增强现实(augmented reality，ar)为代表的多媒体新兴技术进入人们视野，这些技术能帮助人们跳脱传统的荧幕观看方式，达到沉浸式体验的效果。在沉浸式体验应用场景中，使用者可以跳脱固定视点观看的限制，以更自由的方式来感受场景内容，沉浸式应用场景包括文化遗产保护、大型三维动态地图、基于虚拟现实的电子游戏、基于增强现实的立体产品介绍以及虚拟手术等，给人们带来了全新的观看体验。

2、点云是沉浸式应用的基石，是现实物体在三维空间中的表示形式，它是一系列包含空间信息与颜色信息的坐标点的集合。点云分为静态点云、动态获取点云和动态点云三类，一个最基础的静态点云可能包含上万到上百万个点不等，而动态点云是由多个静态点云帧组成，它在本质上是以静态点云为基础构成的点云视频序列。一个帧率为60帧每秒的动态点云，其比特率可以达到360mb每秒甚至更多，随着点云基础点数和分辨率提升，以及未来扫描渲染技术的发展，这个数字将会继续增大。为了满足实际生产应用场景的需求，不仅需要关注点云质量，其编码过程的高复杂度也是亟待解决的问题。

3、目前，动态点云编码标准软件v-pcc(video based point cloud compression,基于视频的点云压缩)的编码流程为：对于一个输入的动态点云，v-pcc基于点的相似性将其分割成一个个几何属性补丁和颜色属性补丁，并对这些补丁进行运动估计和运动补偿。将这些补丁以不重叠的方式投影在二维网格上，以生成占用视频、几何视频和属性视频，这些视频中部分像素是直接由原始点云投影所得，其余部分则是由投影像素复制、填充得到。占用视频用于指示当前像素是否来自于原始点云，几何视频和属性视频分别对应点云的几何属性和颜色属性。在完成二维视频生成后，v-pcc对生成的二维视频分别编码，将编码与补丁序列码流送入多路器中组合成点云编码数据流，终止编码过程。现有的点云编码技术在编码过程中仅对v-pcc的复杂度优化空间进行了简单探索，简单利用点云编码特性，缺乏更多特性的挖掘与应用，也没有借鉴目前二维视频编码领域已有的复杂度优化经验。同时，目前的基于机器学习预测的动态点云低复杂度编码方法仅支持h.265作为内部二维视频编码方法，不支持目前最新的二维视频编码方法h.266。

技术实现思路

1、本技术提供了一种基于机器学习预测的动态点云低复杂度编码方法及装置，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

2、为了解决上述问题，本技术提供了如下技术方案：

3、一种基于机器学习预测的动态点云低复杂度编码方法，包括：

4、利用v-pcc对待编码的点云视频进行编码，并在编码过程中提取当前编码单元的二维编码特征和点云编码特征，构建用于机器学习预测的特征集；

5、利用互信息法计算所述特征集中每个特征的重要度以及特征与特征之间的冗余度，根据所述重要度和冗余度对所述特征集进行筛选，得到筛选后的特征集；

6、将所述筛选后的特征集输入包括多个分类器的svm，所述svm利用多个分类器预测当前编码单元是否提前终止编码操作。

7、本技术实施例采取的技术方案还包括：所述在编码过程中提取当前编码单元的二维编码特征和点云编码特征，具体为：

8、所述二维编码特征包括当前编码单元的纹理复杂度、预分析信息、上下文信息以及编码信息，所述点云编码特征包括占用信息、帧内帧间交替编码信息以及几何属性关联性信息。

9、本技术实施例采取的技术方案还包括：所述当前编码单元的纹理复杂度根据当前编码单元内每个像素点的像素值与平均像素值的差之和以及不同方向的像素梯度及其峰值等纹理信息进行计算，所述纹理复杂度计算公式为：

10、

11、其中tcomp代表当前编码单元的纹理复杂度，w,h分别代表当前编码单元的宽度和高度；xi,j，分别代表当前编码单元中的单个像素亮度值和平均像素亮度值；

12、所述当前编码单元的像素梯度及其峰值使用sobel算子进行计算，计算公式为：

13、

14、

15、

16、其中参数gx、gy用于衡量一个方向的像素变化趋势，gamp为峰值，表达了gx和gy的相对关系；

17、本技术实施例采取的技术方案还包括：所述预分析信息包括当前编码单元的长宽比、深度、长宽、当前编码单元子一级已编码单元的率失真代价以及点云视频编码时的质量参数；所述上下文信息包括当前编码单元左侧与上方的相邻编码单元的率失真代价以及平均与最大深度；所述编码信息包括当前编码单元预测模式的率失真代价以及分区模式的率失真代价。

18、本技术实施例采取的技术方案还包括：所述率失真代价计算公式为：

19、j＝d+λ×r

20、其中，j表示需要计算的率失真代价，d表示失真度量；r表示在编码过程中需要消耗的比特率或码率；λ表示时间-失真权衡因子，用于平衡失真度量和比特率。

21、本技术实施例采取的技术方案还包括：所述利用互信息法计算所述特征集中每个特征的重要度以及特征与特征之间的冗余度，根据所述重要度和冗余度对所述特征集进行筛选，具体为：

22、将分类标签作为一维特征，计算每个特征与所述一维特征的互信息值，得到该特征的重要度；将特征与特征之间的互信息值作为冗余度，剔除掉重要度低于设定阈值、冗余度高于设定阈值的特征，得到筛选后的特征集；其中，所述互信息值计算公式为：

23、

24、其中x，i(x；y)表示两个特征之间的互信息值，p(x,y)表示两个特征的联合分布，p(x),p(y)分别表示两个特征的边缘分布。

25、本技术实施例采取的技术方案还包括：所述将所述筛选后的特征集输入包括多个分类器的svm，所述svm利用多个分类器预测当前编码单元是否提前终止编码操作，具体为：

26、所述svm包括几何帧内分类器、几何帧间分类器、属性帧内分类器以及属性帧间分类器，每个分类器分别利用对应的特征集对当前编码单元进行分区预测，判断是否提前终止编码，如果无法提前终止编码，则计算率失真代价，根据所述率失真代价判断当前编码单元是否需要分区编码操作，如果需要，对所述当前编码单元进行分区并继续执行编码操作；否则终止编码；其中，每个分类器分别对应的特征集为：所述几何帧内分类器对应二维编码特征和占用信息，所述几何帧间分类器对应二维编码特征、占用信息和帧内帧间交替编码信息，所述属性帧内分类器对应二维编码特征、占用信息和几何属性关联性信息，所述属性帧间分类器对应二维编码特征、占用信息、帧内帧间交替编码信息以及几何属性关联性信息。

27、本技术实施例采取的另一技术方案为：一种基于机器学习预测的动态点云低复杂度编码装置，包括：

28、特征提取模块：用于在利用v-pcc对待编码的点云视频进行编码的过程中提取当前编码单元的二维编码特征和点云编码特征，构建用于机器学习预测的特征集；

29、特征筛选模块：用于利用互信息法计算所述特征集中每个特征的重要度以及特征与特征之间的冗余度，根据所述重要度和冗余度对所述特征集进行筛选，得到筛选后的特征集；

30、编码预测模块：用于将所述筛选后的特征集输入包括多个分类器的svm，所述svm利用多个分类器预测当前编码单元是否提前终止编码操作。

31、本技术实施例采取的又一技术方案为：一种设备，所述设备包括处理器、与所述处理器耦接的存储器，其中，

32、所述存储器存储有用于实现所述基于机器学习预测的动态点云低复杂度编码方法的程序指令；

33、所述处理器用于执行所述存储器存储的所述程序指令以控制基于机器学习预测的动态点云低复杂度编码方法。

34、本技术实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述基于机器学习预测的动态点云低复杂度编码方法。

35、相对于现有技术，本技术实施例产生的有益效果在于：本技术实施例的基于机器学习预测的动态点云低复杂度编码方法及装置通过借鉴传统二维编码复杂度优化领域的经验，并深入分析v-pcc点云编码的特性，分别构建与传统二维编码特性相关的二维编码特征以及与点云编码密切相关的点云编码特征，并利用互信息法对二维编码特征和点云编码特征进行筛选后，利用机器学习分类器预测并提前终止部分编码单元的分区编码流程，在保证编码质量的前提下实现复杂度节省。本技术实施例是首个采取h.266作为v-pcc内部二维编码器的编码复杂度优化方法，h.266作为视频编码标准化组织目前提出的最新的二维视频编码方法，具有更好的编码性能，且不受内部二维编码器种类的限制，具有较强的普适性。