基于点对卷积的低重叠三维点云配准方法及系统

本发明涉及人工智能领域，具体涉及一种基于点对特征卷积的低重叠点云配准方法及系统。

背景技术：

1、点云配准是指将两个或多个三维点云数据进行对齐，以确定它们之间的最佳对应关系。点云配准通过识别和匹配不同点云集合之间的共同特征，实现了空间数据的整合和融合。因此，点云配准技术对于三维重建、自动驾驶、文物保护等多个应用方向都具有重要意义。

2、随着深度学习技术的发展，基于深度学习的方法已被广泛应用于点云配准研究，借用神经网络强大的拟合能力，这些方法取得了较好的成果。现有基于深度学习的点云配准技术大多采用基于特征学习的方法。这种方法采用深度神经网络来学习鲁棒的特征对应搜索。然后，基于对应点对估计得到两个点云之间的变换矩阵。这种方法可以学习到深层次的点云特征，鲁棒性与可解释性强。但目前的基于特征学习的点云配准网络也存在以下问题。

3、首先，多数点云描述符是针对特定的姿势或视角设计的，这意味着它们对旋转变化敏感。当点云之间存在较大的旋转时，这些描述符可能无法有效地匹配相应的点，因为它们的特征表示会因旋转而发生显著变化，这种对旋转的敏感性会导致在旋转较大的情况下网络性能降低。

4、另外，在使用卷积神经网络处理点云数据时，卷积层的感受野大小对其性能有重要影响。感受野受限意味着网络在处理每个点时只能考虑其周围有限区域内的信息。这种局部性可能限制了网络在识别点云中重叠部分时的准确性，在点云重叠区域较小或特征分布不均匀的情况下尤为突出。

技术实现思路

1、本发明为了提高点云配准的准确度，特别是网络提取旋转不变特征的能力，以及对低重叠点云对的重叠部分预测能力，提出了一种基于点对特征卷积的低重叠点云配准方法及系统。所发明的方法，其输入为源点云x和目标点云y，输出为x和y的逐点特征描述符，最后匹配特征点并计算变换参数。

2、本发明的基于基于点对特征卷积的低重叠点云配准方法包含以下步骤：

3、步骤s1：构建基于点核卷积的编码器层，用于将输入源点云以及目标点云进行下采样，得到密度较低的点云以及卷积后的点云特征；

4、步骤s2：构建几何引导编码层，该层包含几何编码以及语义编码两个分支；所述几何编码分支输入为原始点云和下采样后的点云，输出为下采样后点云的几何特征；所述语义编码分支输入为下采样后的点云和卷积后的点云特征，输出为下采样后点云的语义特征；将得到的几何特征和语义特征输入全连接层，得到该层最终输出的源点云和目标点云特征；

5、步骤s3：构建全局聚合层，该层用于聚合源点云和目标点云的全局特征；全局聚合层的输入是s2输出的源点云和目标点云特征，输出是下采样后的点云经过全局聚合后的特征；

6、步骤s4：构建基于最近邻上采样的解码器层，用于将下采样后的点云特征恢复到原始点云的密集特征，通过跳接将编码器的特征传递到解码器；该层的输入是s1输出的下采样后的点云的特征，输出是原始点云的逐点特征描述符；

7、步骤s5：通过原始点云的逐点特征描述符，进行特征匹配，得到源点云和目标点云之间的匹配点集，使用ransac等后处理方法通过匹配点集计算得到变换参数。

8、步骤s6：利用带有真实匹配点集标签的数据集对s1-s5构建的深度学习网络进行训练；

9、步骤s7：利用步骤s6训练好的网络进行点云配准；

10、进一步地，所述步骤s1采用改进后的点核卷积模块，可以提取点云的旋转不变特征；s1的具体过程为：

11、s1-1，卷积核为球形区域，每个核点拥有权重wk：

12、

13、其中，代表核点，r代表卷积核的半径；

14、s1-2，对于每个需要卷积的区域，设卷积后得到的点为x0，nx为卷积区域内的点集合，f为卷积区域内点的特征，ppf(xi,x0)为xi和x0的点对特征，卷积过程为：

15、

16、

17、输入的原始点云x经过步骤s1输出下采样后的点云x’和特征fx’，将x’中的点称为超点，yi＝xi-x0，mlp为多层感知机层，ppf表示点对特征，g和h为中间变量。

18、进一步地，所述步骤s2的具体过程为：

19、s2-1，将原始点云x和下采样点云x’输入几何引导层中的几何编码分支，采用k近邻方法估计下采样点云的法线，即下采样点云中某一点的法线方向为该点在原始点云中k个邻居点的法线方向平均值；

20、s2-2，为x’中的每个超点选择k个邻居点，并构造ppf特征，nx’为该点的法线：

21、

22、将ppf特征与xi’和xi’-xij’进行拼接，每个点可以得到维度为k×10的特征；

23、s2-3，将s2-2得到的特征输入一维卷积层和最大池化层，得到几何编码分支输出的几何特征gx’；

24、s2-4，将下采样点云x’和特征fx’输入几何引导层中的语义编码分支，经过knn图神经网络后输入全连接层，得到语义编码分支输出的语义特征hx’：

25、

26、s2-5，将s2-3和s2-4得到的特征进行拼接，输入全连接层，得到几何引导编码层输出的几何和语义加强的点云特征

27、

28、进一步地，所述步骤3的具体过程如下：

29、s3-1，分别将步骤2输出的源点云和目标点云的加强特征输入全局聚合层，经过逐点的最大池化后，分别得到两个256维特征向量；

30、s3-2，将上一步得到的两个特征向量进行重复和拼接操作，分别得到维度为n’×1024和m’×1024的特征，将这两个特征矩阵输入全连接层，得到聚合全局特征后的超点特征，维度为n’×256和m’×256。

31、进一步地，步骤s4所述解码器用于生成原始点云的密集特征描述符；将步骤s1得到的超点特征送入解码器，解码器部分使用最近邻上采样得到最终的逐点特征描述符；跳接用于将编码器的特征传递到解码器；这些特征被连接到上采样的特征并由mlp处理；解码器的输出是n×256和m×256的密集原始点特征。

32、进一步地，所述步骤s5的具体过程如下：

33、s5-1，计算点云x’和y’中的超点特征之间的高斯相关性：

34、

35、然后通过双向归一化操作，进一步抑制歧义匹配，x’为原始点云的下采样点云，y’为目标点云的超点数，hi为原始点云超点特征，hj为目标点云超点特征；

36、s5-2，根据sij选取最可靠的p对超点配对；对于每对超点配对，在超点周围的两个点集之间做细粒度匹配，最终得到原始点云的匹配点集；

37、s5-3，由上一步得到的p个匹配点集分别使用随机采样一致算法ransac计算变换参数r,t，可以得到p组r,t作为候选；

38、s5-4，使用概率抽样方法根据匹配因子分别选择源点云和目标点云的关键点，并使用ransac估算一组全局的r,t；一共得到p+1组r,t；

39、s5-5，选择最优的r,t作为最终结果。

40、进一步地，所述步骤s6的具体过程如下：

41、s6-1，采用h个样本进行训练，每个样本包含源点云和目标点云两个点云和其对应的真实匹配点集以及真实变换参数；

42、s6-2，对s4输出的点云特征计算特征损失；设点云x和点云y的重叠部分为xoverlap以及yoverlap；对于点云x中的点x，εx为yoverlap中的对应点集，为正样本；εy为yoverlap与εx之间的差集，为负样本；为点特征之间的欧氏距离，δp，δn为正样本和负样本的距离，为每个正样本和负样本定义了不同的权重；使用圆环损失计算特征损失：

43、

44、

45、s6-3，对s5中得到的超点匹配点集计算点匹配损失。对于每个超点对应关系ci*，通过最优传输(optimal transport)层计算出一个软赋值矩阵zi*，表示点对应关系的置信度；随机采样ng组真实超点对应关系，设mi为给定超点对应关系下的真实点对应集合，ii和ji为点云x’和点云y’中不匹配的点集合，计算负对数似然损失：

46、

47、s6-5，将上述两种损失相加，计算网络总损失：

48、l＝lc+lp

49、基于同一发明构思，本发明还设计了一种电子设备，其特殊之处在于，包括：

50、一个或多个处理器；

51、存储装置，用于存储一个或多个程序；

52、当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的基于点对特征卷积的低重叠点云配准方法。

53、基于同一发明构思，本发明还设计了一种计算机可读介质，其上存储有计算机程序，其特殊之处在于：所述程序被处理器执行时实现如上所述的基于点对特征卷积的低重叠点云配准方法。

54、本发明的优点：

55、1.本发明创新性地改变了点核卷积的卷积方式，将提取旋转变化性的点坐标特征修改为提取旋转不变性的点对特征，提升了网络在大角度旋转的场景下的性能。

56、2.本发明创新性地提出了几何引导编码层，将几何特征与语义特征融合，提高了内部对应点的比例。在几何编码分支创新性地构造k近邻点的点对特征，提高网络对旋转的鲁棒性；在语义编码分支创新性地使用knn图神经网络。同时，提出了一种法线平滑的方法，使得对于超点法线方向的计算更加精确。

57、3.本发明创新性地提出了全局聚合层，此模块增加了对点云重叠部分的预测准确度。由于卷积的感受野受限，仅靠编码器中的卷积特征可能不足以准确预测重叠部分。全局聚合模块通过引入全局特征到预测过程中，有效提高了预测准确度。