基于底层聚合空间状态模型的点云语义分割方法及系统与流程

本发明涉及点云语义分割领域，尤其涉及一种基于底层聚合空间状态模型的点云语义分割方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、点云语义分割，也称为点云语义理解，是计算机视觉和三维数据处理领域的重要任务之一。它旨在将大规模场景下的点云数据按照不同的类别进行划分，并为每个点云赋予一个相应的语义标签。例如，在城市高速公路的场景中，所有的路灯、路面和树木都会被赋予不同的语义标签，以实现场景的详细理解和分析。在点云语义分割任务中，由于点云数据具有无序性、密度分布不均等特点，传统的分割方法往往难以取得理想的效果。而基于空间状态模型的点云语义分割算法，则可以充分利用点云数据的空间分布特性和时间动态特性，通过构建系统的状态空间模型，对点云数据进行更准确的分割和识别。

3、现有的点云分割方法中，transformer方法由于其强大的序列建模能力而备受关注。然而，transformer的一个主要缺点是二次复杂计算度，这在处理大规模点云数据时可能会成为性能瓶颈。

技术实现思路

1、为了解决上述背景技术中存在的技术问题，本发明提供一种基于底层聚合空间状态模型的点云语义分割方法及系统，本发明基于面向3d点云数据的空间状态模型，设计基于局部特征提取的滑动窗口机制，通过合并底层局部信息进而捕获全局特征，进而进行语义分割。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种基于底层聚合空间状态模型的点云语义分割方法。

4、基于底层聚合空间状态模型的点云语义分割方法，包括：

5、获取三维点云数据，采用底层聚合空间状态模型，得到分割后的语义信息；

6、所述底层聚合空间状态模型包括空间状态编码器和空间状态解码器，所述空间状态编码器和空间状态解码器均包括若干具有相同结构的空间状态层，每个空间状态层包括若干空间状态子层；

7、在空间状态编码器的空间状态子层中，基于输入的第一点云视觉特征预测三个不同尺寸的局部窗口；采用三个不同尺寸的局部窗口分别对点云视觉特征进行两阶段的划分，将每阶段划分后的点云视觉特征与输入的第一局部隐藏状态进行融合后经空间状态层处理，分别得到两阶段的局部隐藏状态；将每阶段划分后的部分点云视觉特征与第一点云视觉特征进行拼接，得到中间点云视觉特征，基于中间点云视觉特征与输入的点云视觉特征，得到每阶段输出的点云视觉特征和全局隐藏状态；将第二阶段输出的点云视觉特征、局部隐藏状态和全局隐藏状态作为当前空间状态子层的输出。

8、进一步地，在第一阶段采用三个不同尺寸的局部窗口分别对点云视觉特征进行划分，将第一阶段划分后的点云视觉特征与输入的第一局部隐藏状态进行融合后经空间状态层处理，分别得到第一阶段的局部隐藏状态的过程包括：

9、采用第一局部窗口对第一点云视觉特征进行划分，划分后与输入的第一局部隐藏状态融合经当前空间状态层处理，得到第一多尺度视觉局部特征和第一多尺度局部隐藏状态采用第二局部窗口对第一点云视觉特征进行划分，划分后与第一局部隐藏状态融合经当前空间状态层处理，得到第二多尺度视觉局部特征和第二多尺度局部隐藏状态采用第三局部窗口对第一点云视觉特征进行划分，划分后与第一局部隐藏状态融合经当前空间状态层处理，得到第三多尺度视觉局部特征和第三多尺度局部隐藏状态

10、进一步地，将第一阶段划分后的部分点云视觉特征与第一点云视觉特征进行拼接，得到中间点云视觉特征，基于中间点云视觉特征与输入的点云视觉特征，得到第一阶段输出的点云视觉特征和全局隐藏状态的过程包括：

11、分别对第一多尺度局部隐藏状态第二多尺度局部隐藏状态和第三多尺度局部隐藏状态进行上采样后再取均值，得到第二局部隐藏状态

12、分别对第一多尺度视觉局部特征和第二多尺度视觉局部特征进行上采样后再取均值，最后与第一点云视觉特征进行拼接，得到第二点云视觉特征

13、将第二点云视觉特征和输入的第一全部隐藏状态融合后经当前空间状态层处理，得到第三点云视觉特征和第二全部隐藏状态

14、进一步地，在第二阶段采用三个不同尺寸的局部窗口分别对点云视觉特征进行划分，将第二阶段划分后的点云视觉特征与输入的第一局部隐藏状态进行融合后经空间状态层处理，分别得到第二阶段的局部隐藏状态的过程包括：

15、采用第一局部窗口对第三点云视觉特征进行划分，划分后与输入的第一局部隐藏状态融合经当前空间状态层处理，得到第四多尺度视觉局部特征和第四多尺度局部隐藏状态采用第二局部窗口对第三点云视觉特征进行划分，划分后与输入的第一局部隐藏状态融合经当前空间状态层处理，得到第五多尺度视觉局部特征和第五多尺度局部隐藏状态采用第三局部窗口对第三点云视觉特征进行划分，划分后与输入的第一局部隐藏状态融合经当前空间状态层处理，得到第六多尺度视觉局部特征和第六多尺度局部隐藏状态

16、进一步地，将第二阶段划分后的部分点云视觉特征与第一点云视觉特征进行拼接，得到中间点云视觉特征，基于中间点云视觉特征与输入的点云视觉特征，得到第二阶段输出的点云视觉特征和全局隐藏状态的过程包括：

17、分别对第四多尺度局部隐藏状态第五多尺度局部隐藏状态和第六多尺度局部隐藏状态进行上采样后再取均值，得到第三局部隐藏状态

18、分别对第四多尺度视觉局部特征和第五多尺度视觉局部特征进行上采样后再取均值，最后与第一点云视觉特征进行拼接，得到第四点云视觉特征

19、将第四点云视觉特征和第二全部隐藏状态融合后经当前空间状态层处理，得到第五点云视觉特征和第三全部隐藏状态

20、进一步地，为空间状态编码器的每个空间状态子层中的点云视觉特征添加三维噪声蒙版，创建与点云视觉特征大小相同的三维网格，三维网格中每一个格子计算与点云视觉特征最近的特征的距离，该距离作为该格子的噪声值。

21、进一步地，每个所述空间状态编码器的空间状态层的输入包括与空间状态编码器对应分辨率的输出以及前一个解码器层的输出。

22、本发明的第二个方面提供一种基于底层聚合空间状态模型的点云语义分割系统。

23、基于底层聚合空间状态模型的点云语义分割系统，包括：

24、语义分割模块，其被配置为：取三维点云数据，采用底层聚合空间状态模型，得到分割后的语义信息；

25、底层聚合空间状态模型模块，其被配置为：底层聚合空间状态模型包括空间状态编码器和空间状态解码器，所述空间状态编码器和空间状态解码器均包括若干具有相同结构的空间状态层，每个空间状态层包括若干空间状态子层；

26、空间状态子层模块，其被配置为：在空间状态编码器的空间状态子层中，基于输入的第一点云视觉特征预测三个不同尺寸的局部窗口；采用三个不同尺寸的局部窗口分别对点云视觉特征进行两阶段的划分，将每阶段划分后的点云视觉特征与输入的第一局部隐藏状态进行融合后经空间状态层处理，分别得到两阶段的局部隐藏状态；将每阶段划分后的部分点云视觉特征与第一点云视觉特征进行拼接，得到中间点云视觉特征，基于中间点云视觉特征与输入的点云视觉特征，得到每阶段输出的点云视觉特征和全局隐藏状态；将第二阶段输出的点云视觉特征、局部隐藏状态和全局隐藏状态作为当前空间状态子层的输出。

27、本发明的第三个方面提供一种计算机可读存储介质。

28、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于底层聚合空间状态模型的点云语义分割方法中的步骤。

29、本发明的第四个方面提供一种计算机设备。

30、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于底层聚合空间状态模型的点云语义分割方法中的步骤。

31、与现有技术相比，本发明的有益效果是：

32、本发明巧妙地融合了空间状态模型的概念，以实现对点云数据的高效且精确的语义分割。在学术研究中，空间状态模型常被用来描绘系统的动态特性与时间依赖关系，而在此方法中，将点云数据视作一个动态系统，其中各个点或点集的状态随着时间的推移而发生变化。这种长期时间依赖关系在点云数据中表现为不同时间帧之间的连续性和变化性。通过应用基于状态空间的方法，能够有效地跟踪并更新系统的状态，从而构建起这种长期时间依赖关系。

33、本发明为了捕捉局部细节并更精确地反映分割的边界，引入了基于底层特征聚合的方法。这种方法能够确保得到的分割结果具有更为细致的分割轮廓，从而提高了分割的精度和准确性。相较于传统的基于transformer的点云分割方法，本发明基于状态空间的设计通常具有更低的计算复杂度。这是因为状态空间模型倾向于采用更为简洁的数学结构和算法来描述系统的状态和动态变化，从而在实现高效计算的同时，保证了良好的分割效果。在处理大规模点云数据时，这一优势尤为显著，使得本发明在处理复杂场景和海量数据时更具竞争力。