一种基于并行掩码-恢复网络的点云上采样方法

本发明属于深度学习，具体涉及一种基于并行掩码-恢复网络的点云上采样方法。

背景技术：

1、点云作为一种重要的三维表达形式，在自动驾驶、三维曲面重建、虚拟现实等下游任务上有着广泛应用。目前人们主要通过3d扫描设备来获取点云数据，然而，由于设备固有的局限性，由3d扫描设备导出的点云通常会稀疏、不均匀、有噪声。为了提高点云质量，从原始点云中生成密集且均匀的点云，可以采用点云上采样技术。点云上采样是一个关于点生成的课题，在研究过程中通常要解决信息缺失的难题。点云上采样可以粗略分为基于优化的传统方法和基于深度学习的方法。基于优化的传统方法由于不是由数据驱动的，因此常常对数据的先验知识有着较高的依赖，比如点云局部曲面的法向量、假定平滑的潜在表面等。同时，这些方法在处理不同类型的点云时的，鲁棒性较差。相比之下，基于深度学习的方法由数据驱动，能够更简洁高效地完成点云上采样任务。

2、目前基于深度学习的上采样方法包含全监督方法和自监督方法两个大类。在全监督的上采样框架中，端到端的框架通常将点云上采样分为特征提取、特征扩展、点坐标预测三个模块。然而，端到端的上采样方法通常会固定上采样比例，这导致了对于不同的上采样因子，需要对网络重新训练。非端到端框架的提出实现了任意比例的点云上采样，该框架首先会生成大量种子点，并试图通过输入点云拟合一个由种子点映射到物体表面的函数，然后通过生成任意数量的种子点来实现任意比例的点云上采样。这类方法相对比较成功，但是仍然需要在上采样前生成足够数量的种子点。以上全监督方法都需要真值，而在很多情况下，得到的数据集并没有真值来监督。自监督框架虽然减少了对真值数据的依赖，但是仍然存在局限：自监督的端到端框架对于不同上采样比例需要重新训练网络，自监督的非端到端框架在上采样前需要生成大量种子点，并且还需要额外生成伪标签，这些都会消耗大量的计算资源。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种基于并行掩码-恢复网络的点云上采样方法，首先将点云划分为多个点云块，然后选择多个高效的掩码比例来掩盖这些点云块，根据不同的掩码比例训练并行掩码恢复网络；通过总体特征以及来自所有点云块中心的嵌入位置特征指导恢复点云块的生成，生成的点云块通过真实的掩码点云块进行恢复监督；通过不同的角度旋转点云，并将其输入并行掩码恢复网络，从生成的点云块中得到的恢复的点云块将与可见点云块合并后输出；将这些输出点云旋转回原始的空间方向后，将它们全部合并以获得密集的上采样点云；最后，通过将密集点云输入异常值移除模块并采用0最远点采样算法，可以实现任意比例的点云上采样。本发明基于并行的掩码-恢复网络，可以让输入的稀疏点云更加稠密，并且能够很好地还原点云的细节结构。

2、本发明解决其技术问题所采用的技术方案如下：

3、步骤1：通过预实验，选取最高效的掩码比例；

4、步骤2：将点云输入基于并行掩码恢复的神经网络，并进行处理，得到划分后的点云块；

5、步骤3：根据选取的掩码比例对点云块做特征提取与掩码，得到掩码点云块和可见点云块，随后对可见点云块进一步提取特征；

6、步骤4：随机生成所需的生成点云块，并扩展生成点云块特征；

7、步骤5：由可见点云块特征和所有输入点云块的中心点引导生成点云块的恢复，得到恢复点云块；

8、步骤6：计算恢复点云块与掩码点云块之间的倒角距离，综合并行掩码-恢复网络的所有结果并进行加权求和，作为损失函数对神经网络进行监督训练；

9、步骤7：对测试点云按照给定的旋转矩阵进行旋转，改变测试点云的空间姿态，得到输入点云；

10、步骤8：将输入点云导入训练好的神经网络，生成恢复点云块；

11、步骤9：将恢复点云块旋转，回归到测试点云的空间姿态，得到种子点云；

12、步骤10：选取不同的旋转矩阵，重复步骤7-步骤9，合并所有的种子点云和初始的测试点云，得到密集点云；

13、步骤11：通过离群点移除模块对密集点云的离群点进行消除；

14、步骤12：通过最远点采样得到所需上采样比例的上采样点云。

15、进一步的，所述步骤1中的预实验包括：

16、步骤1-1：给定一个掩码比例集合{0.1,0.2,0.3...,0.9}；

17、步骤1-2：对于每一个掩码比例，分别输入到单个的掩码-恢复网络测试，得到恢复效果最好的掩码比例{m1,m2,...,mc}。

18、进一步的，所示步骤2中的得到划分后的点云块过程包括：

19、步骤2-1：采用最远点采样算法从输入点云中采样n个种子点；

20、步骤2-2：采样k近邻算法，以n个种子为中心点采样，生成n个不同的点云块，每个点云块包含k个点，由此生成了n个输入点云块的集合

21、

22、其中，pi表示各输入的点云块。

23、进一步的，所述步骤3中，点云块做特征提取与掩码的过程包括：

24、步骤3-1：采用pointnet模块对输入点云块进行特征提取：

25、

26、其中，fp表示所有点云块的特征，c表示特征维度；

27、步骤3-2：根据输入的掩码比例mj，对所有点云块的特征进行掩码操作，保留可见点云块的特征：

28、

29、其中mask表示对点云的掩码操作，fpvis表示可见点云块的特征；

30、步骤3-3：对可见点云块的中心点提取特征，得到可见点云块的中心点特征

31、步骤3-4：采用tencoder模块将输入的可见点云块及点云块的中心点合并，进行进一步特征提取，挖掘其内在的特征关联：

32、

33、其中fvis表示可见点云块的特征；

34、步骤3-5：根据掩码比例mj，同样得到掩码点云块和可见点云块

35、

36、进一步的，所述步骤4具体为：

37、步骤4-1：随机生成所需数量的可学习的生成点云块；

38、步骤4-2：对其进行特征扩展，得到生成点云块扩展后的特征

39、进一步的，所述步骤5具体为：

40、步骤5-1：将生成点云块的特征fmask与可见点云块的特征fpvis合并，得到点云块的总特征

41、步骤5-2：对所有点云块的中心点提取特征，得到所有中心点的特征

42、

43、步骤5-3：将点云块的总特征fpfull与点云块的中心点的总特征fcfull输入到tdecoder模块中解码：

44、f＝tdecoder(fpfull,fcfull),f∈rn×c,                         (5)

45、其中f表示解码后点云块的总特征，随后选取特征f中恢复点云块的特征部分，得到恢复点云块的特征；

46、步骤5-4：通过坐标预测模块，将恢复点云块的特征回归到三维空间内，得到恢复点云块的三维坐标

47、进一步的，所述步骤6中具体为：

48、步骤6-1：对于每一个掩码比例mj，计算掩码点云块pmask和恢复点云块pgen之间的倒角距离lj：

49、

50、步骤6-2：对不同掩码比例计算出来的倒角距离进行加权求和，得到并行掩码-恢复网络的损失函数：

51、

52、其中，αj表示网络给倒角距离赋予的权重；

53、步骤6-3：采用该损失函数对并行的掩码-恢复网络进行监督训练。

54、进一步的，所述步骤7具体为：

55、步骤7-1：根据上采样比例的要求，给定多个不同的旋转矩阵{r1,r2,...,rs},r∈r3×3，每次过程将按顺序选取其中一个矩阵；

56、步骤7-2：将测试点云与旋转矩阵相乘，改变测试点云的空间姿态，得到输入点云。

57、进一步的，所述步骤10中密集点云生成的过程包括：

58、步骤10-1：依据步骤7中所设旋转矩阵的数量，重复步骤8和步骤9，得到s个种子点云；

59、步骤10-2：将s个种子点云合并，再与测试点云合并，由此总共得到s×mjn×k+n个点的密集点云。

60、进一步的，所述步骤11具体为：

61、步骤11-1：对于每个生成的上采样点p，计算其v个邻近点，得到{p1,p2,...,pv}；

62、步骤11-2：计算p和其邻近点的平均距离dp：

63、

64、步骤11-3：在计算完所有点的平均距离dp后，对这些距离再取一次平均值，得到参照距离d；

65、步骤11-4：给定阈值u，将所有满足的点p视为离群点，将这些点都通过该模块移除。

66、进一步的，所述步骤12具体为：

67、步骤12-1：根据给定的上采样比例计算需要生成的上采样点数目n×r；

68、步骤12-2：通过最远点采样算法，将步骤9中得到的密集点云下采样到n×r。

69、本发明的有益效果如下：

70、1、本发明基于并行的掩码-恢复网络，可以让输入的稀疏点云更加稠密，并且能够很好地还原点云的细节结构。

71、2、本发明是基于自监督学习进行的，不需要任何真实点云的监督，并且也不需要生成任何的伪标签。

72、3、本发明可以实现任意比例的点云上采样，并且不需要花费额外的计算资源来采样种子点。