基于语义SAM大模型的三维点云鲁棒性部件分割方法

本发明涉及计算机视觉，特别涉及一种基于语义sam大模型的三维点云鲁棒性部件分割方法。

背景技术：

1、三维点云分割技术在计算机视觉领域扮演着关键角色，尤其是在机器人技术、增强现实和虚拟现实等应用中。在实际应用时，三维点云数据往往受到多种因素影响，例如噪声、遮挡和光照条件的变化，这些因素极大地增加了点云分割的难度。现有的三维点云分割方法，如基于卷积神经网络（cnn）、图卷积网络（gcn）和变换器（transformers）等，虽然在场景语义分割和对象级实例分割方面取得了成功，但在部件级别的分割上仍面临独特挑战。特别是在复杂的场景中，对象结构可能非常复杂，包含众多部件和细节，导致各部件实例之间的距离非常接近，甚至某些部件实例可能嵌套在其他对象中，比如门把手这个部件实例嵌套在门对象中。

2、因此为了提升三维点云分割在复杂环境下的鲁棒性，还需进行技术创新，能够在苛刻条件下保持性能和适应性的能力。

技术实现思路

1、本发明的目的在于提升三维点云分割在复杂环境下的鲁棒性，提供一种基于语义sam大模型的三维点云鲁棒性部件分割方法。

2、为了实现上述发明目的，本发明实施例提供了以下技术方案：

3、基于语义sam大模型的三维点云鲁棒性部件分割方法，其特征在于：包括以下步骤：

4、步骤1，将三维点云数据通过多视角投影到二维深度图；

5、步骤2，使用语义sam大模型融合各个视角下的二维深度图，得到融合特征图，以学习融合特征图中的部件级语义信息；

6、步骤3，通过适配器模块微调语义sam大模型，将步骤1得到的各个视角的二维深度图作为训练数据，对语义sam大模型进行训练，使语义sam大模型输出二维分割结果；

7、步骤4，语义sam大模型将输出的二维分割结果集成回三维点云数据中，实现部件的三维点云分割。

8、与现有技术相比，本发明的有益效果：本发明结合了超点和锚点的概念，这种融合策略显著提高了将二维分割结果无缝集成回三维点云数据的鲁棒性和准确性。通过动态权重调整并结合超点和锚点的特性，本发明能够更好地处理局部和全局信息，从而提高分割的精度和稳定性。

技术特征：

1.基于语义sam大模型的三维点云鲁棒性部件分割方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于语义sam大模型的三维点云鲁棒性部件分割方法，其特征在于：所述语义sam大模型包括输入层、融合层、编码器、适配器模块、输出层，所述编码器包括l个transformer层，所述适配器模块包括多个全连接层、三个自注意力层、三个softmax层；

3.根据权利要求2所述的基于语义sam大模型的三维点云鲁棒性部件分割方法，其特征在于：所述步骤2具体包括以下步骤：

4.根据权利要求2所述的基于语义sam大模型的三维点云鲁棒性部件分割方法，其特征在于：所述步骤4具体包括以下步骤：

5.根据权利要求4所述的基于语义sam大模型的三维点云鲁棒性部件分割方法，其特征在于：所述步骤4-1具体包括以下步骤：

6.根据权利要求4所述的基于语义sam大模型的三维点云鲁棒性部件分割方法，其特征在于：所述步骤4-2具体包括以下步骤：

7.根据权利要求5所述的基于语义sam大模型的三维点云鲁棒性部件分割方法，其特征在于：所述步骤4-4具体包括以下步骤：

技术总结本发明涉及计算机视觉技术领域，公开基于语义SAM大模型的三维点云鲁棒性部件分割方法，包括步骤：将三维点云数据通过多视角投影到二维深度图；使用语义SAM大模型融合各个视角下的二维深度图，得到融合特征图，以学习融合特征图中的部件级语义信息；通过适配器模块微调语义SAM大模型，将各个视角的二维深度图作为训练数据，对语义SAM大模型进行训练，使语义SAM大模型输出二维分割结果；语义SAM大模型将输出的二维分割结果集成回三维点云数据中，实现部件的三维点云分割。本发明提升了三维点云分割在复杂环境下的鲁棒性。技术研发人员：潘磊,李俊辉,栾五洋,郑远,王艾,傅强,王梦琪,卢志鹏,秦晨晨受保护的技术使用者：中国民用航空飞行学院技术研发日：技术公布日：2024/7/29