基于多模态双向循环场景流的动态点云压缩方法、系统、存储介质及设备与流程

本发明涉及点云压缩，具体涉及一种基于多模态双向循环场景流的动态点云压缩方法、系统、存储介质及设备。

背景技术：

1、传统的动态点云压缩方法可分为基于三维和基于二维投影两种。基于三维的方法执行块匹配以实现跨各种帧的运动估计和运动补偿。基于二维投影的方法利用了当前的视频编解码器，其中大多数探索都集中在投影算法设计和补丁排列上。

2、上述方法都是基于规则的，使用手工制作的特征提取模块和基于假设的匹配规则，编码效率不理想，如mpeg指定的动态点云压缩方法-vpcc需要将点云序列转换为视频，但是投影过程会破坏3d运动的连续性。

3、近年来，受深度学习技术在图像和视频压缩中的应用启发，最近的工作开始关注基于深度学习的动态点云压缩。动态点云压缩需要同时考虑空间和时间冗余的去除，相对于静态点云压缩，关键的挑战是如何将运动估计和运动补偿嵌入到端到端压缩网络中。

4、一些方法尝试利用me/mc（运动估计和补偿）结构进行运动估计和补偿，但是这些方法只关注单个分辨率尺度的优化，导致了较大的计算延迟。另一些方法虽然采用了多尺度运动估计和补偿网络来获取精确的运动估计，但是在每个尺度上的单次估计限制了它们的性能。

5、另一方面，随着传感器技术的进步，不同模态的信息被采集并共同利用。因此，除了增加点云数据外，来自其他模式(如相机)的配对数据也可用，并且可以利用它们来帮助点云压缩。

技术实现思路

1、为了解决上述提到的问题，本发明提供了一种基于多模态双向循环场景流的动态点云压缩方法、系统、存储介质及设备。

2、第一方面，本发明提供了一种基于多模态双向循环场景流的动态点云压缩方法，该方法包括以下步骤：

3、步骤1：给定连续两帧的点云数据和对应的图片数据，分别提取点云和图片的特征；

4、将图像特征张量与点云特征张量相加，获得融合了深层视觉与几何信息的特征向量；

5、依据特征向量和坐标矩阵得到连续两帧的潜在表示。

6、步骤2：将连续两帧的潜在表示输入至多尺度特征提取模块，获得运动向量。

7、步骤3：对所述运动向量以及前一帧的潜在表示进行运动补偿和压缩，以生成当前帧的预测帧。

8、步骤4：基于上下文进行残差压缩，重构残差张量。

9、步骤5：将所述预测帧和残差张量相加后输入至点云重建模块得到重建后的当前帧。

10、第二方面，本发明提供了一种基于多模态双向循环场景流的动态点云压缩系统，包括：

11、潜在表示获取模块，用于给定连续两帧的点云数据和对应的图片数据，分别提取点云和图片的特征；

12、将图像特征张量与点云特征张量相加，获得融合了深层视觉与几何信息的特征向量；

13、依据特征向量和坐标矩阵得到连续两帧的潜在表示。

14、运动向量获得模块，用于将连续两帧的潜在表示输入至多尺度特征提取模块，获得运动向量。

15、预测帧生成模块，用于对所述运动向量以及前一帧的潜在表示进行运动补偿和压缩，以生成当前帧的预测帧。

16、残差张量重构模块，用于基于上下文进行残差压缩，重构残差张量。

17、帧重建模块，用于将所述预测帧和残差张量相加后输入至点云重建模块得到重建后的当前帧。

18、第三方面，本发明提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行基于多模态双向循环场景流的动态点云压缩方法。

19、第四方面，本发明提供了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行基于多模态双向循环场景流的动态点云压缩方法。

20、与现有技术相比，本发明具有以下有益效果：

21、本发明利用图像和点云之间的跨模态信息，实现了不同模态之间的信息互补；本发明还设计了一种隐式多尺度双向循环场景流架构lmsbrn(latent multi-scalebidirectional recurrent network )，用于点云帧间的运动估计，该架构从粗到精的方式迭代双向增强特征和场景流估计，在保持高效率的同时显著提高性能；本发明还充分利用了上下文信息，使得模型的压缩效果更好。

技术特征：

1.一种基于多模态双向循环场景流的动态点云压缩方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于多模态双向循环场景流的动态点云压缩方法，其特征在于：如果图像特征张量的维度超出了相应点云特征张量的尺寸，则通过插值方法调整图像特征张量的维度，以确保二者具有相同的尺寸；反之，则保持图像特征张量的原始尺寸不变。

3.根据权利要求1所述的一种基于多模态双向循环场景流的动态点云压缩方法，其特征在于：所述的多尺度特征提取模块在每个级别上，使用双向循环注意力机制双向增强点特征，并迭代优化相关性和运动预测；在相邻级别之间采用上采样层，用于将特征从高尺度传播到低尺度；给定更新后的每个点的相关特征，将相关性转换为运动向量。

4.根据权利要求3所述的一种基于多模态双向循环场景流的动态点云压缩方法，其特征在于：对于每个下采样的稀疏点，将k近邻的密集点局部分组形成一个局部区域进行特征提取，针对每个稀疏点，将其k近邻的点局部分组，以构建局部区域。

5.根据权利要求4所述的一种基于多模态双向循环场景流的动态点云压缩方法，其特征在于：在这些局部区域内，利用pointconv技术，依据动态学习的权重对点的局部特征进行聚合，随后利用基于3d插值的上采样技术，将特征自底向上传播，以实现更深层次的场景理解。

6.根据权利要求1所述的一种基于多模态双向循环场景流的动态点云压缩方法，其特征在于：步骤4具体是：

7.根据权利要求1所述的一种基于多模态双向循环场景流的动态点云压缩方法，其特征在于：所述的点云重建模块由三个连续连接的上采样模块进行分层解码。

8.一种基于多模态双向循环场景流的动态点云压缩系统，其特征在于，包括：

9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1至7任一项所述的基于多模态双向循环场景流的动态点云压缩方法。

10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1至7任一项所述的一种基于多模态双向循环场景流的动态点云压缩方法。

技术总结本发明公开了一种基于多模态双向循环场景流的动态点云压缩方法、系统、存储介质及设备。本发明首先给定连续两帧的点云数据和对应的图片数据，分别提取特征；将图像特征张量与点云特征张量相加，获得融合特征向量；依据特征向量和坐标矩阵得到连续两帧的潜在表示；随后将连续两帧的潜在表示输入至多尺度特征提取模块，获得运动向量。对该运动向量以及前一帧的潜在表示进行运动补偿和压缩。然后基于上下文进行残差压缩，重构残差张量；最后将预测帧和残差张量相加后输入至点云重建模块得到当前帧。本发明利用跨模态信息，实现了不同模态之间的信息互补；从粗到精的方式迭代双向增强特征和场景流估计，在保持高效率的同时显著提高性能。技术研发人员：杨柏林,郑东,南方哲,沈玉良,李锦受保护的技术使用者：杭州宇泛智能科技股份有限公司技术研发日：技术公布日：2024/7/25