从量化点云重建进行坐标细化和上采样的制作方法

背景技术：

1、视频译码系统可用于压缩数字视频信号，例如，以减少此类信号所需要的存储和/或传输带宽。视频译码系统可包括例如基于小波的系统、基于对象的系统和/或基于块的系统(诸如基于块的混合视频译码系统)。用于压缩和处理点云的当前工具可能是不够的。

技术实现思路

1、公开了用于从量化点云重建进行坐标细化和/或上采样的系统、方法和手段。在示例中，可提供基于点的坐标细化。解码器后点云细化模块可包括以下中的一者或多者。该模块可包括访问点云的粗略或解码的量化版本。该模块可包括访问和/或获取点中每个点的相邻区域内的点。该模块可包括使用基于卷积的神经网络模块来计算特征，例如，基于所获取的点的体素化版本，例如，其概括了细节(例如，复杂细节)。可使用基于点的神经网络模块来计算另一特征，例如，基于所获取的点的三维(3d)(例如，或kd)位置，例如，其概括了细节(例如，复杂细节)。在示例中，可将特征级联起来以组成综合特征。可基于使用全连接(fc)模块的综合特征来预测当前点的细化偏移。

2、在示例中，可提供坐标上采样。解码器后点云上采样模块(例如，粗点云上采样模型)可包括以下中的一者或多者。可访问点云(例如，粗点云)的解码的量化版本。该模块可包括访问和/或获取点中每个点的相邻区域内的点。可基于所获取的点使用神经网络模块来计算特征(例如，混合特征)。可使用计算特征通过fc模块来预测新点相对于当前点的偏移。

3、可执行分层特征传播。例如，可使用某些架构(例如，增强的架构)来执行分层特征传播，以进行位置细化和上采样。例如，可修改(例如，增强)pointcrm架构和/或pointupm架构以执行分层特征传播。分层特征传播可包括对来自前一级别(例如，父级别、已解码级别)的特征进行上采样以匹配当前八叉树级别的分辨率。上采样的特征可传播到例如子节点，用于预测当前级别处的点细化。

4、描述了本文的任何地方公开的每个特征，并且该特征可以分开地/单独地以及以与本文公开的任何其他特征和/或与本文可隐含地或明确地提到的或可以其他方式落入本文公开的主题的范围内的其他地方公开的任何特征的任何组合实施。

技术特征：

1.一种设备，所述设备包括：

2.根据权利要求1所述的设备，其中所述基于点的神经网络技术使用所述相邻点集合的基于点的表示。

3.根据权利要求2所述的设备，其中所述相邻点集合的所述基于点的表示与所述相邻点集合的3d或kd位置相关联。

4.根据权利要求1所述的设备，其中所述处理器被进一步配置为：

5.根据权利要求1所述的设备，其中所述第一特征包括与对象的复杂细节相关联的信息。

6.根据权利要求1所述的设备，其中所述处理器被进一步配置为：

7.根据权利要求6所述的设备，其中所述基于体素的神经网络技术使用所述相邻点集合的体素化版本，并且其中所述基于体素的神经网络技术使用卷积神经网络。

8.根据权利要求1所述的设备，其中所述处理器被进一步配置为：

9.根据权利要求1所述的设备，其中所述处理器被进一步配置为：

10.一种方法，所述方法包括：

11.根据权利要求10所述的方法，其中所述基于点的神经网络技术使用所述相邻点集合的基于点的表示。

12.根据权利要求11所述的方法，其中所述相邻点集合的所述基于点的表示与所述相邻点集合的3d或kd位置相关联。

13.根据权利要求10所述的方法，所述方法还包括：

14.根据权利要求10所述的方法，其中所述第一特征包括与对象的复杂细节相关联的信息。

15.根据权利要求10所述的方法，所述方法还包括：

16.根据权利要求15所述的方法，其中所述基于体素的神经网络技术使用所述相邻点集合的体素化版本，并且其中所述基于体素的神经网络技术使用卷积神经网络。

17.根据权利要求10所述的方法，所述方法还包括：

18.根据权利要求10所述的方法，所述方法还包括：

技术总结公开了用于从量化点云重建进行坐标细化和/或上采样的系统、方法和手段。在示例中，可提供基于点的坐标细化。解码器后点云细化模块可包括以下中的一者或多者。该模块可包括访问点云的解码的量化版本。该模块可包括访问和/或获取点中每个点的相邻区域内的点。可使用基于点的神经网络模块来计算特征，例如，基于所获取的点的三维(3D)(例如，或KD)位置，例如，其概括了细节(例如，复杂细节)。可基于使用全连接(FC)模块的综合特征来预测当前点的细化偏移。技术研发人员：M·A·洛迪,庞家昊,田东受保护的技术使用者：交互数字VC控股公司技术研发日：技术公布日：2024/9/2