一种基于点云语义信息提取的RGB-D点云配准的方法、终端、系统、计算机可读存储介质及计算机程序产品与流程

本发明涉及点云配准，尤其涉及一种基于点云语义信息提取的rgb-d点云配准的方法、终端、系统、计算机可读存储介质及计算机程序产品。

背景技术：

1、场景或物品的三维虚拟重建在工业检测、目标识别、人工智能vr/ar等领域的广泛应用、以及消费级3d成像设备的日益普及，使得点云配准任务具有实际及重大的意义。

2、目前现有的rgb-d点云配准算法大多数都只以点云对的局部或整体几何结构来提取特征，进而匹配到有效对应点去计算点云对之间的相对变换关系。例如专利号为“201811047904.4”，名称为“一种基于几何形状的多通道三维彩色点云配准方法”的中国专利，通过构建协方差矩阵计算了三维点云数据的几何特征，从点云数据中提取出点性点、线性点和面性点三种特征点集，并利用这三种特征点集辅助完成了三维彩色点云的配准；然而这些方法在几何特征不明显或者重合度较低的点云对上难以提取到有用的特征，使得它们很难提取到有效的对应,导致最终变换关系的预测失败。

3、因此，如何在几何特征不明显或者重合度较低的点云对上提取到有用的特征，构建有效的对应，成为本领域技术人员亟待解决的问题。

技术实现思路

1、本发明的目的在于提供一种基于点云语义信息提取的rgb-d点云配准的方法、终端、系统、计算机可读存储介质及计算机程序产品，以解决或至少部分解决上述背景技术中提及的技术问题。

2、为达此目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于点云语义信息提取的rgb-d点云配准的方法，包括：

4、对待配准的点云对x、y进行下采样，得到点云对以及，提取点云对x、y的局部基于几何的特征；

5、提取点云对x、y对应的rgb图像的语义信息特征，并通过rgb-d的对应关系把所提取的语义信息特征对应地投影到点云对x、y上；

6、基于语义信息特征，构建点云对x、y间的点对对应关系；

7、根据点对对应关系，通过高斯混合确定点云对中各点的语义相关性；

8、依次通过自注意力机制和交叉力机制计算并更新点云对中的点特征；

9、基于更新后的点特征，利用所确定的语义相关性来约束配对过程，进行点云配准。

10、可选地，所述对待配准的点云对x、y进行下采样，得到点云对具体为：

11、对于点云对x、y，用核心点卷积来层级式地进行下采样，得到点云对

12、所述提取点云对x、y的局部基于几何的特征，包括：

13、从点云x中提取局部基于几何的特征fx，以及，从点云y中提取局部基于几何的特征fy。

14、可选地，所述提取点云对x、y对应的rgb图像的语义信息特征，并通过rgb-d的对应关系把所提取的语义信息特征对应地投影到点云对x、y上，具体包括：

15、采用dinov2提取点云x的语义信息特征sx以及点云y的语义信息特征sy，使为xi∈x的点语义特征，为yj∈y的点语义特征；

16、通过rgb-d的对应关系，把sx投影到点云x上，把sy投影到点云y上。

17、可选地，所述基于语义信息特征，构建点云对x、y间的点对对应关系，具体包括：

18、若先计算点对和的余弦相似度

19、选择余弦相似度高于η的点对作为xi的点对对应关系；即，xi的点对对应关系为：

20、

21、可选地，所述根据点对对应关系，通过高斯混合确定点云对中各点的语义相关性，具体包括：

22、对于每个将对应的点云y中的yj作为高斯分布的中心，然后，关于xi∈x和yk∈y的高斯混合语义先验被定义为：

23、

24、上式中，r＝0.1；djk为给定点对yj,yk的欧几里得距离的高斯相关性，

25、可选地，通过自注意力机制计算点云的点特征的方法，具体包括：

26、若先叠加融合所提取的局部基于几何的特征以及语义信息特征，计算方法为：

27、再对特征进行更新，更新方法为：注意力分数d为特征维度；

28、其中，ws，wq，wk和wv为可学习的权重矩阵。

29、可选地，通过交叉力机制计算点云的点特征的方法，具体包括：

30、对于点云以为查询,以为键,交叉注意力得分可通过以下计算：

31、dt为特征难度；

32、特征通过以下方法进行更新：

33、wo为可学习的权重矩阵；aij＝softmax(eij)。

34、可选地，所述基于更新后的点特征，利用所确定的语义相关性来约束配对过程，进行点云配准，具体包括：

35、利用更新后的点特征的语义相关性来约束配对过程.先计算点云对两点间的初步配对分数si,j，计算方法为；

36、

37、再根据初步配对分数计算最终的配对分数ci,j，计算方法为：

38、τm为自定义阈值；

39、根据配对分数ci,j，确定点云对的点对对应关系，实现点云对的点云配准。

40、第二方面，本发明提供了一种基于点云语义信息提取的rgb-d点云配准的终端，包括：

41、采样模块，用于对待配准的点云对x、y进行下采样，得到点云对以及，用于提取点云对x、y的局部基于几何的特征；

42、语义信息提取模块，用于提取点云对x、y对应的rgb图像的语义信息特征，并通过rgb-d的对应关系把所提取的语义信息特征对应地投影到点云对x、y上；

43、点对信息处理模块，电连接所述采样模块和所述语义信息提取模块，用于基于语义信息特征，构建点云对x、y间的点对对应关系；

44、高斯混合计算模块，电连接所述点对信息处理模块，用于根据点对对应关系，通过高斯混合确定点云对中各点的语义相关性；

45、点特征更新模块，电连接所述所述点对信息处理模块，用于依次通过自注意力机制和交叉力机制计算并更新点云对中的点特征；

46、配准模块，电连接所述高斯混合计算模块和所述点特征更新模块，用于基于更新后的点特征，利用所确定的语义相关性来约束配对过程，进行点云配准。

47、第三方面，本发明提供了一种基于点云语义信息提取的rgb-d点云配准的系统，包括如上所述的一种基于点云语义信息提取的rgb-d点云配准的终端，和用于拍摄点云对x、y对应的rgb图像的rgb-d相机；所述rgb-d相机能通过数据线或网络将rgb图像传输至所述终端，并保存于所述终端的存储器中。

48、第四方面，本发明提供了计算机可读存储介质，存储介质中存储有至少一条指令，其特征在于，指令由处理器加载并执行以实现如上所述的一种基于点云语义信息提取的rgb-d点云配准的方法。

49、第五方面，本发明提供了计算机程序产品，包括计算机程序/指令，其特征在于，当计算机程序/指令被处理器执行时，实现如上所述的一种基于点云语义信息提取的rgb-d点云配准的方法。

50、与现有技术相比，本发明的有益效果为：

51、本发明通过从rgb-d的图像域中提取有效的语义信息，通过高斯混合确定点云对的语义相关性，再通过自注意力机制和交叉力机制更新点云对中的点特征，并基于更新后的点特征，利用所确定的语义相关性来约束配对过程，从而实现点云对的配置，相较于现有技术，本发明能够在几何特征不明显或者重合度较低的点云对上提取到有用的特征，并形成点云对的点特征间的有效对应,提高点云配准的准确性和稳定性。