融合多头注意力机制的PointGroup点云分割方法

本发明涉及点云分割，特别是涉及一种融合多头注意力机制的pointgroup点云分割方法。

背景技术：

1、近年来，随着人工智能的不断发展，计算机视觉技术在智能制造和生产方面扮演着越来越重要的角色，如何使用机器通过计算机视觉技术感知并理解复杂的真实场景成为了一直以来的研究重点。在人工智能各种先进技术的加持下，对于二维图像领域中的图像分类、图像分割以及目标检测等各种任务，研究人员已经实现了良好的性能。

2、相较于二维图片，作为三维数据的点云蕴含着更多的信息，越来越多的研究者也注意到了点云数据的潜能，投入到了点云相关的研究中。例如随着自动驾驶领域技术发展，激光雷达在车辆上实现了广泛应用，其在探测精度、可靠性和抗干扰能力等方面具备摄像头、毫米波雷达等传统方案所没有的优势。除了在室外场景，点云在室内场景也拥有巨大潜能，通过室内场景的点云实例分割任务，我们能够做到仅依靠点云数据以及相关算法辨别场景中的物体，这就使得相关应用的实现成为可能，例如在室内场景中通过语音交互指示视力障碍人群获取指定物品。然而当前室内场景的实例分割任务达到的准确度仍然有较大的提升空间。例如传统的点云分割算法往往准确率较低、鲁棒性较差，例如sgpn(similarity group proposal network for 3d point cloud instance segmentation)和3d－bevis(3d bird’s－eye－view instance segmentation)等方法。在这种背景下，亟需要一种高效、准确的点云分割算法以此提高激光雷达的实用性。

技术实现思路

1、为了解决以上技术问题，本发明提供一种融合多头注意力机制的pointgroup点云分割方法，包括以下步骤：

2、s1、选择scannetv2公开数据集，使用由rgb－d传感器捕获得到的3d点云数据，并将其划分为训练集、验证集和测试集；对获取的点云数据进行预处理，读取点云数据，提取坐标和颜色信息，并保存为pytorch的张量文件；

3、s2、搭建特征提取网络模型，特征提取网络模型设置为一个由具有对称结构的编码器和解码器组成的unet网络；在unet网络的瓶颈层加入transformer编码，用于捕捉长距离依赖关系，并在unet网络编解码块中加入seattention注意力机制，用于分配通道注意力权重；unet网络的输入变量为带有颜色和坐标信息的点集，输出变量为提取特征后每个点的特征向量；

4、s3、将提取特征后每个点的特征f输入语义分支和偏移分支，使用多层感知机对每个点的特征进行处理，生成语义标签和偏移向量；

5、s4、通过点云聚类将点分组到对偶坐标集上的候选聚类中，即原始坐标集和偏移坐标集，实现点群聚类，生成候选实例；

6、s5、将聚类结果取并集输入scorenet来评估候选实例，为每个候选点群生成特征向量，利用小型unet对聚类点群进行特征编码，并对候选点群使用nms来移除重复的实例，最后输出实例分割结果；

7、s6、训练模型，将上述改进后的整体网络初始化，并将训练集场景导入模型，进行训练，得到训练后的网络模型；

8、s7、将训练好的模型进行测试，使用python脚本读取和处理模型生成的预测结果，将其与点云数据结合并保存，并用cloudcomapre软件可视化点云实例分割后的结果。

9、本发明的有益效果是：

10、(1)本发明中，通过在pointgroup网络结构中改进特征提取部分unet网络，在瓶颈层加入transformer编码，以针对稀疏卷积感受野受限问题，优化捕捉长距离依赖关系，完善特征全局上下文信息；并在unet编解码块中加入seattention注意力机制，分配通道注意力权重，使提取过程聚焦在更重要的特征部分；相比于传统unet网络，由于具有卷积运算的固有局部性，通常在明确建模远程依赖关系方面显示出局限性，改进后的网络具有明显的特征捕捉和特征融合优势，为后续实例分割提供了更好的特征素材；

11、(2)本发明中，将偏移点集和原始坐标集结合，通过预测每个点相对于其实例质心的偏移量，并使用偏移后的坐标进行聚类，可以将属于不同实例的点有效分开，避免了相邻实例误分类；此外，偏移点通过将点云数据移动到更集中、更紧密的位置，从而减少了聚类过程中由于点云密度不均匀产生的稀疏问题，使得聚类算法在处理密集和稀疏区域时都能保持较高的准确性，提高了整体分割的鲁棒性。

技术特征：

1.一种融合多头注意力机制的pointgroup点云分割方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s2具体包括以下分步骤：

3.根据权利要求2所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s2.2中，编码器在unet网络中称为unet块，unet块包含一个残差块和一个稀疏3d卷积；残差块包含一个快捷连接块、一个卷积块以及一个seattention注意力机制块；卷积块由两个子卷积块组成，子卷积块由归一化层、relu激活函数和3x3稀疏卷积层组成。

4.根据权利要求2所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s2.2具体包括以下分步骤：

5.根据权利要求4所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s2.2.3具体包括以下分步骤：

6.根据权利要求2所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s2.3具体包括以下分步骤：

7.根据权利要求2所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s2.4中，解码器即逆unet块，其包含一个残差块和一个逆稀疏3d卷积；步骤s2.4具体包括以下分步骤：

8.根据权利要求1所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s3具体包括以下分步骤：

9.根据权利要求1所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s4具体包括以下分步骤：

10.根据权利要求1所述的融合多头注意力机制的pointgroup点云分割方法，其特征在于：所述步骤s5具体包括以下分步骤：

技术总结本发明公开了一种融合多头注意力机制的PointGroup点云分割方法，该PointGroup网络结构由改进后的UNet网络、点云聚类模块和ScoreNet评分模块组成，依次进行如下步骤：选择ScanNetV2数据集，使用其中点云数据作为训练集、验证集和测试集；搭建改进后的特征提取网络模型；将提取的特征输入语义和偏移分支，生成语义标签和偏移向量；引入一种聚类方法，将点分组到原始坐标集和移位坐标集上的候选聚类中；将聚类结果输入ScoreNet评估候选实例，结合非极大值抑制移除重复实例，输出分割结果；训练以及测试模型；提高分割网络模型的鲁棒性，增加泛化能力，实现对室内场景点云实例的快速、准确分割。技术研发人员：李红旭,卢益涛,迟荣华,李晨,单慧琳,张银胜受保护的技术使用者：无锡学院技术研发日：技术公布日：2024/11/14