一种基于多帧上下文的保结构动态点云几何压缩方法

本发明属于动态点云压缩领域，具体涉及一种基于多帧上下文的保结构动态点云几何压缩方法。

背景技术：

1、动态点云作为重要的三维数据表示形式,广泛应用于各种新兴领域中,例如自动驾驶、虚拟现实、地图测绘等。由于动态点云的数据量巨大,对其进行存储和传输带来了挑战,需要高效压缩。然而,与图像和视频压缩不同,动态点云具有不均匀分布、无序性等特性,帧间冗余更加难以消除，传统压缩方法主要基于预测编码的框架。

2、动态点云压缩的方法大致可以分为传统方法和深度学习方法，标准组织mpeg提出了两种传统的点云压缩标准:基于视频的v-pcc和基于几何的g-pcc。v-pcc先将点云序列转换成视频,利用传统视频压缩的方法进行压缩；g-pcc利用高效的八叉树结构表示消除信息冗余,以达到压缩的目的。然而,传统的方法依赖手工设计的特征，适用范围有限。随着深度学习方法在图像和视频压缩的广泛应用,深度学习在动态点云压缩的应用也逐渐受到关注。fan首次提出了一个端到端的深度动态点云压缩框架d-dpcc,在特征空间中进行运动估计和运动补偿，fan还基于分层帧间块匹配提出了改进版本l-dpcc，提出了一种用于帧间预测的分层运动估计和运动补偿框架，动态选择光流的粒度来估计运动信息。然而，它还存在一些缺点，例如没有考虑多帧信息的辅助作用，使得其估计的运动向量不够准确，只考虑了先前重构帧，而没有利用先前的真实帧的辅助作用。

技术实现思路

1、针对上述问题，本发明提出了一种基于多帧上下文的保结构动态点云几何压缩方法，利用前一真实帧结合前一重构帧构造初始运动向量，并使用多帧运动向量融合信息对运动向量进行压缩得到准确的运动向量，还利用多帧重构帧信息构造更加丰富的上下文信息，改进了没有考虑多帧信息的缺点，提高了网络对于动态点云压缩的效果。

2、本发明包含以下具体步骤：

3、步骤1，对动态点云数据集进行预处理，并划分为训练集、验证集和测试集；

4、步骤2，将训练集中的当前帧点云、前一重构帧点云和前一真实帧点云输入到特征提取模块，得到三帧的特征空间表示，同时将前一重构帧特征空间表示放入重构帧缓冲区内；

5、步骤3，将三帧点云特征空间表示输入到保结构型运动估计模块中，以计算当前帧的初始运动向量；

6、步骤4，利用运动向量缓冲区中的三帧运动向量，通过多帧运动融合模块得到运动向量上下文；

7、步骤5，结合运动向量上下文对当前帧初始运动向量进行压缩，通过运动向量编码器与运动向量解码器得到当前帧的重构运动向量；

8、步骤6，将当前帧重构运动向量与多个先前重构帧的特征空间表示输入到多帧上下文生成模块，计算当前帧的上下文信息；

9、步骤7，将上下文信息视作条件去直接压缩当前帧；

10、步骤8，利用熵模型对当前帧潜在特征进行压缩，通过条件压缩模块与重构网络得到当前帧的重构帧；

11、步骤9，对整个网络进行训练，并使用已经训练完成的网络模型对测试集进行计算，得到测试集中每帧点云的重构点云。

12、本发明的有益效果：本发明针对此前的动态点云压缩的深度学习中没有考虑多帧消息的缺点下，引入了多帧运动向量融合模块，利用先前的运动向量构造运动向量上下文对运动向量进行压缩，以获得更为精确的运动向量；此外引入一种保结构方法，即将前一真实帧作为输入去计算场景流估计得到初始运动向量。能够显著提升动态点云压缩效果。

技术特征：

1.一种基于多帧上下文的保结构动态点云几何压缩方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于多帧上下文的保结构动态点云几何压缩方法，其特征在于：步骤2的具体过程如下：

3.根据权利要求1或2所述的一种基于多帧上下文的保结构动态点云几何压缩方法，其特征在于：还包括将前一重构帧点云特征空间表示放入重构帧缓冲区。

4.根据权利要求1所述的一种基于深度学习的保结构多帧运动向量的动态点云压缩方法，其特征在于：步骤3的具体过程如下：

5.根据权利要求1所述的一种基于深度学习的保结构多帧运动向量的动态点云压缩方法，其特征在于：步骤4的具体过程如下：

6.根据权利要求1所述的一种基于深度学习的保结构多帧运动向量的动态点云压缩方法，其特征在于：步骤5的具体过程如下：

7.根据权利要求3所述的一种基于深度学习的保结构多帧运动向量的动态点云压缩方法，其特征在于：步骤6的具体过程如下：

8.根据权利要求1所述的一种基于深度学习的保结构多帧运动向量的动态点云压缩方法，其特征在于：步骤8的具体过程如下：

9.根据权利要求1所述的一种基于多帧上下文的保结构动态点云几何压缩方法，其特征在于：步骤9的具体过程如下：

技术总结本发明公开了一种基于多帧上下文的保结构动态点云几何压缩方法，首先对动态点云数据集进行预处理划分为训练集、验证集和测试集。其次对输入的当前帧点云、前一重构帧点云和前一真实帧点云进行特征提取，接着经过保结构型运动估计模块来计算初始运动向量。通过多帧运动向量融合模块获取运动向量上下文对初始运动向量进行压缩。将得到的运动向量和三个前一重构帧点云特征空间表示输入多帧上下文构造模块计算当前帧的上下文信息。利用上下文信息作为条件对当前帧进行压缩，其中通过熵编码来减少压缩比特大小。最后通过重构网络得到当前帧的重构帧。本发明使用标准RD损失函数来训练网络，可以显著提高压缩效果。技术研发人员：杨柏林,郑晟豪,江照意受保护的技术使用者：浙江工商大学技术研发日：技术公布日：2024/9/2