基于几何特征融合的点云语义分割方法及系统

本发明涉及机器视觉图像处理，具体涉及一种基于几何特征融合的点云语义分割方法及系统。

背景技术：

1、点云语义分割旨在将一系列三维空间中规则或不规则分布的点与语义标签进行关联。对于自动驾驶、增强现实和机器人技术等应用具有重大意义。例如汽车在道路行驶过程中，可以对道路上的障碍物、车辆、行人等进行分类，帮助汽车自动驾驶系统进行决策和规划，从而大大减少驾驶员在驾驶过程中精力的消耗。通常，对于点云语义分割任务，首先需要获取到关键点和关键点周围的邻近点，然后再通过特征提取和特征聚合获得结果。由于点云是非结构化和无序的，近年来处理点云语义分割的方法可以分为3类：基于多视图、基于体素和基于点的分割方法。基于多视图的方法很好地解决了点云数据非结构化的问题，但是在几何结构上有很多限制和损失。基于体素的方法解决了原始点云的非结构化问题并且弥补了基于多视图方法在几何结构上的限制，但是在数据表示方面存在一定损失，此外体素结构的存储占有着较高的内存需求。无论是基于多视图还是基于体素的方法，在处理大规模的点云时，信息损失或者计算成本都很高，需要额外的过程将点云转换为规则的表示，然后将中间的分割结果转换回点云，存在着严重的局限性。与这些方法不同的是，基于点的方法可以直接处理三维点云。到现在为止，已经出现了许多基于点的方法，并且这种方法已经成为点云语义分割的主流方法。本文采用的也是基于点的分割方法。尽管当前的工作已经取得了不错的进展，但是依然存在以下两方面的缺陷：一方面，在被分割物体发生旋转时，分割模型都不可避免地存在分割性能下降的问题(如当行人正面对着扫描仪和侧面对着扫描仪时，对这两种情况下获得的点云在分割时，能够发现正面对着扫描仪的行人分割的效果更好)，但是大多数模型在应对物体发生旋转的性能下降十分显著，导致模型的旋转鲁棒性较差。另一方面，在实际应用中，多数方法通过牺牲运行效率换取更好的分割效果，导致实时性较低。

2、因此，为了缩小点云语义分割任务与现实应用之间的差距，提升方法的实时性，越来越多的模型尝试在获取关键点阶段旋转随机采样的方法，并且在特征提取阶段采用一些方法弥补由于随机性带来的特征损失问题，进而提高模型的实时性，如randla-net。

3、randla-net在下采样阶段采用随机采样方法获取关键点，然后通过k近邻的方法获得关键点周围的邻近点，在特征提取阶段使用了局部特征融合的方法进行特征的弥补和提取，最后经过池化层得到最终的分割结果。

4、一方面，由于物体旋转导致分割性能的下降是不可避免的(如将侧面对着扫描仪的行人错误地识别为树木)，但是大多数模型在面对物体发生旋转时性能下降显著。另一方面，在现实应用中既要求模型的分割性能又要求实时性，但是多数模型无法在两者中取得一个较好的平衡。

技术实现思路

1、本发明的目的在于提供一种基于几何特征融合的点云语义分割方法及系统，以解决上述背景技术中存在的至少一项技术问题。

2、为了实现上述目的，本发明采取了如下技术方案：

3、一方面，本发明提供一种基于几何特征融合的点云语义分割方法，包括：

4、输入的点云数据经一个mlp层和gff层进行初步特征提取；其中，采用pointtransformer作为骨干网，使用knn获取邻近点和4个上采样层使用线性插值用于将数据恢复到原始尺度；其中，point transformer包括输入和输出阶段的两个mlp层、9个pointtransformer层用于特征提取和融合、4个下采样层使用fps获取关键点；

5、将提取的初步特征输入到下采样层中；在下采样阶段，使用随机采样方法获取关键点，使用knn方法获取关键点附近的邻近点；将下采样的结果输入到gff模块中；gff输入的是点云三维坐标信息以及相对应的语义特征，对于输入的点，对其邻近点做lpc处理，获得邻近点相对角度和邻近点与中心点之间的欧几里得距离；将邻近点的相对角度、邻近点与中心点之间的几何距离和邻近点特征信息拼接得到再将送入到ptl层中，最后经过shared mlp层，即对每个点的特征维度做相同的mlp操作，进行维度调整得到表示中心点邻域的局部特征信息；

6、将表示中心点邻域的局部特征信息输入给上采样层，上采样时使用的方法是线性插值，每次上采样后经过mlp层再进行维度的调整，将结果输入到最后一个mlp层后得到最终的分割结果。

7、进一步的，在随机采样后得到中心点p，对中心点采取knn算法得到pi的邻近点首先将pi的邻近点从笛卡尔坐标系统转换到极坐标系统中，即用表示邻近点，其中是邻近点在笛卡尔坐标系下的相对坐标，转换公式如下：

8、

9、

10、

11、进一步的，计算pi邻近区域内的质心点的计算采用对邻近点取均值的方法，定义从pi指向为局部方向，用于表示pi和之间的相对角度；更新邻近点的相对角度：将和分别更新成和其中δi和θi是的相对角度。

12、进一步的，采用下式来进行局部特征拼接：

13、

14、表示邻近点与关键点的欧氏距离，表示拼接操作。和是我们lpc模块输出的邻近点和pi的相对距离和转换后的相对角度。

15、进一步的，通过lpc的输出和邻近点坐标信息的拼接，再经过逐点的mlp后得到具备了充分的空间特征，再将与的特征信息fik进行拼接得到对于中心点pi得到一组邻近特征

16、进一步的，对point transformer网络中的ptl模块的输入为：

17、

18、其中，ω和ξ是两个线性层，γ由一个mlp和两个线性层组成，ρ由一个mlp和softmax层组成；旨在计算中心点和邻近点之间的相关性，给予邻近点特征一个权重分数，最后通过求和函数将邻近特征融合。

19、第二方面，本发明提供一种基于几何特征融合的点云语义分割系统，包括：

20、特征提取模块，用于将输入的点云数据经一个mlp层和gff层进行初步特征提取；其中，采用point transformer作为骨干网，使用knn获取邻近点和4个上采样层使用线性插值用于将数据恢复到原始尺度；其中，point transformer包括输入和输出阶段的两个mlp层、9个point transformer层用于特征提取和融合、4个下采样层使用fps获取关键点；

21、下采样模块，用于将提取的初步特征输入到下采样层中；在下采样阶段，使用随机采样方法获取关键点，使用knn方法获取关键点附近的邻近点；将下采样的结果输入到gff模块中；gff输入的是点云三维坐标信息以及相对应的语义特征，对于输入的点，对其邻近点做lpc处理，获得邻近点相对角度和邻近点与中心点之间的欧几里得距离；将邻近点的相对角度、邻近点与中心点之间的几何距离和邻近点特征信息拼接得到再将送入到ptl层中，最后经过shared mlp层，即对每个点的特征维度做相同的mlp操作，进行维度调整得到表示中心点邻域的局部特征信息；

22、上采样模块，用于将表示中心点邻域的局部特征信息输入给上采样层，上采样时使用的方法是线性插值，每次上采样后经过mlp层再进行维度的调整，将结果输入到最后一个mlp层后得到最终的分割结果。

23、第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如第一方面所述的基于几何特征融合的点云语义分割方法。

24、第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如第一方面所述的基于几何特征融合的点云语义分割方法。

25、第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如第一方面所述的基于几何特征融合的点云语义分割方法的指令。

26、术语解释：

27、点云语义分割(point cloud semantic segmentation，pcss)：将像素与语义标签相关联的语义分割是图像处理中的一个基础性研究，点云语义分割是一种三维形式的语义分割，使用三维空间中规则或不规则分布的点来代替二维图像中规则分布的像素。

28、随机采样(random sampling，rs)：随机采样是一种从总体或数据集中以随机方式选择样本的方法。它是一种无偏的抽样方法，每个样本都有相等的机会被选中。

29、编码器-解码器(encoder-decoder)：编码器是将输入数据(如图像、视频)转换为低维度表示的模型。它将输入数据压缩成一个向量或特征图，以便更容易处理数据并减少存储空间。解码器是将编码后的低维度表示重新转换回原始数据的模型。它将编码器产生的特征图或向量解码成与原始数据类似的形式。

30、本发明有益效果：能够平衡分割性能和时间开销，同时解决信息损失和旋转不变性问题，实现更有效的大规模点云语义分割。

31、本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。