基于视觉特征融合的点云去噪和分割方法及相关设备与流程

本发明涉及点云深度学习，尤其涉及的是基于视觉特征融合的点云去噪和分割方法及相关设备。

背景技术：

1、在现代自动驾驶、机器人导航以及三维重建等领域，激光雷达(lidar)技术因其高精度和高分辨率的特性，成为获取环境信息的重要工具。lidar通过发射激光束并测量其反射时间来生成点云数据，从而构建出当前场景的三维空间模型。然而，lidar点云数据在获取过程中会受到多种噪声的影响，例如多路径反射、环境光干扰、以及传感器自身的误差等。在自然环境中，lidar点云数据还容易受到雨、雪、雾、沙尘暴等气象条件的影响，导致激光束在传播过程中发生散射和吸收，从而引入额外的噪声。

2、传统的点云去噪方法主要包括统计滤波、半径滤波和条件滤波等，虽然一定程度上可以去除噪声，但是在处理复杂场景时具有局限性。并且这些方法高度依赖于点云数据本身的信息，通过单一数据源得到的环境感知信息的准确性较低。

3、因此，现有技术还有待改进和发展。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供基于视觉特征融合的点云去噪和分割方法及相关设备，旨在解决现有技术中的点云去噪方法依赖于点云数据本身，难以处理复杂场景，并且通过单一数据源得到的环境感知信息的准确性较低的问题。

2、本发明解决问题所采用的技术方案如下：

3、第一方面，本发明实施例提供一种基于视觉特征融合的点云去噪和分割方法，所述方法包括：

4、获取从若干视角的三原色图像提取的图像特征，并获取从同一场景的激光雷达点云数据提取的激光雷达特征；

5、将所述图像特征和所述激光雷达特征转换至鸟瞰空间进行融合，得到融合鸟瞰特征；

6、将所述融合鸟瞰特征映射回点云空间，得到鸟瞰激光雷达特征；

7、将所述鸟瞰激光雷达特征和所述激光雷达特征进行融合，得到融合激光雷达特征；

8、根据所述融合激光雷达特征进行语义分割，得到点云语义信息。

9、在一种实施方式中，所述获取从若干视角的三原色图像提取的图像特征，并获取从同一场景的激光雷达点云数据提取的激光雷达特征，包括：

10、通过视觉传感器获取若干视角的所述三原色图像；

11、通过与所述视觉传感器布设在同一场景的激光雷达传感器获取所述激光雷达点云数据；

12、将所述三原色图像和所述激光雷达点云数据分别输入各自对应的编码器，得到所述图像特征和所述激光雷达特征。

13、在一种实施方式中，所述将所述图像特征和所述激光雷达特征转换至鸟瞰空间进行融合，得到融合鸟瞰特征，包括：

14、将所述图像特征和所述激光雷达特征分别转换至鸟瞰空间，得到鸟瞰格式的图像特征和鸟瞰格式的激光雷达特征；

15、将所述鸟瞰格式的图像特征和所述鸟瞰格式的激光雷达特征进行拼接，得到拼接数据；

16、将所述拼接数据输入鸟瞰编码器，得到所述融合鸟瞰特征。

17、在一种实施方式中，所述将所述融合鸟瞰特征映射回点云空间，得到鸟瞰激光雷达特征，包括：

18、根据所述激光雷达特征，生成每一点云在鸟瞰空间的坐标索引；

19、根据各点云的所述坐标索引，构建所述映射数据；

20、根据所述映射数据将所述融合鸟瞰特征映射回点云空间，得到所述鸟瞰激光雷达特征。

21、在一种实施方式中，所述根据所述激光雷达特征，生成每一点云在鸟瞰空间的坐标索引，包括：

22、根据所述激光雷达特征进行z轴压缩和栅格化，得到每一点云在鸟瞰空间的所述坐标索引。

23、在一种实施方式中，所述根据所述映射数据将所述融合鸟瞰特征映射回点云空间，得到所述鸟瞰激光雷达特征，包括：

24、根据所述映射数据对应的逆映射数据，将所述融合鸟瞰特征投射至对应的点云上，得到所述鸟瞰激光雷达特征。

25、在一种实施方式中，所述根据所述融合激光雷达特征进行语义分割，得到点云语义信息，包括：

26、获取预先经过训练的多层感知机；

27、将所述融合激光雷达特征输入所述多层感知机进行语义分割，得到所述点云语义信息，其中，所述点云语义信息中不同语义的点云采用不同的标注方式。

28、第二方面，本发明实施例还提供一种基于视觉特征融合的点云去噪和分割装置，所述装置包括：

29、特征获取模块，用于获取从若干视角的三原色图像提取的图像特征，并获取从同一场景的激光雷达点云数据提取的激光雷达特征；

30、第一融合模块，用于将所述图像特征和所述激光雷达特征转换至鸟瞰空间进行融合，得到融合鸟瞰特征；

31、特征映射模块，用于将所述融合鸟瞰特征映射回点云空间，得到鸟瞰激光雷达特征；

32、第二融合模块，用于将所述鸟瞰激光雷达特征和所述激光雷达特征进行融合，得到融合激光雷达特征；

33、语义分割模块，用于根据所述融合激光雷达特征进行语义分割，得到点云语义信息。

34、第三方面，本发明实施例还提供一种终端，所述终端包括有存储器和一个以上处理器；所述存储器存储有一个以上的程序；所述程序包含用于执行如上述任一所述的基于视觉特征融合的点云去噪和分割方法的指令；所述处理器用于执行所述程序。

35、第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有多条指令，所述指令适用于由处理器加载并执行，以实现上述7任一所述的基于视觉特征融合的点云去噪和分割方法的步骤。

36、本发明的有益效果：本发明实施例通过获取从若干视角的三原色图像提取的图像特征，并获取从同一场景的激光雷达点云数据提取的激光雷达特征；将所述图像特征和所述激光雷达特征转换至鸟瞰空间进行融合，得到融合鸟瞰特征；将所述融合鸟瞰特征映射回点云空间，得到鸟瞰激光雷达特征；将所述鸟瞰激光雷达特征和所述激光雷达特征进行融合，得到融合激光雷达特征；根据所述融合激光雷达特征进行语义分割，得到点云语义信息。本发明将视觉传感器提供的图像数据与激光雷达点云数据进行特征层面的融合处理，并将鸟瞰特征和激光雷达特征进行特征交互，采用多传感器、多模态的融合方式，有效地识别点云中的噪声，进而提升环境感知的准确性。

技术特征：

1.一种基于视觉特征融合的点云去噪和分割方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于视觉特征融合的点云去噪和分割方法，其特征在于，所述获取从若干视角的三原色图像提取的图像特征，并获取从同一场景的激光雷达点云数据提取的激光雷达特征，包括：

3.根据权利要求1所述的基于视觉特征融合的点云去噪和分割方法，其特征在于，所述将所述图像特征和所述激光雷达特征转换至鸟瞰空间进行融合，得到融合鸟瞰特征，包括：

4.根据权利要求1所述的基于视觉特征融合的点云去噪和分割方法，其特征在于，所述将所述融合鸟瞰特征映射回点云空间，得到鸟瞰激光雷达特征，包括：

5.根据权利要求4所述的基于视觉特征融合的点云去噪和分割方法，其特征在于，所述根据所述激光雷达特征，生成每一点云在鸟瞰空间的坐标索引，包括：

6.根据权利要求4所述的基于视觉特征融合的点云去噪和分割方法，其特征在于，所述根据所述映射数据将所述融合鸟瞰特征映射回点云空间，得到所述鸟瞰激光雷达特征，包括：

7.根据权利要求1所述的基于视觉特征融合的点云去噪和分割方法，其特征在于，所述根据所述融合激光雷达特征进行语义分割，得到点云语义信息，包括：

8.一种基于视觉特征融合的点云去噪和分割装置，其特征在于，所述装置包括：

9.一种终端，其特征在于，所述终端包括有存储器和一个以上处理器；所述存储器存储有一个以上的程序；所述程序包含用于执行如权利要求1-7中任一所述的基于视觉特征融合的点云去噪和分割方法的指令；所述处理器用于执行所述程序。

10.一种计算机可读存储介质，其上存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行，以实现上述权利要求1-7任一所述的基于视觉特征融合的点云去噪和分割方法的步骤。

技术总结本发明公开了基于视觉特征融合的点云去噪和分割方法及相关设备。通过获取从若干视角的三原色图像提取的图像特征，并获取从同一场景的激光雷达点云数据提取的激光雷达特征；将图像特征和激光雷达特征转换至鸟瞰空间进行融合，得到融合鸟瞰特征；将融合鸟瞰特征映射回点云空间，得到鸟瞰激光雷达特征；将鸟瞰激光雷达特征和激光雷达特征进行融合，得到融合激光雷达特征；根据融合激光雷达特征进行语义分割，得到点云语义信息。本发明将视觉传感器提供的图像数据与激光雷达点云数据进行特征层面的融合处理，并将鸟瞰特征和激光雷达特征进行特征交互，采用多传感器、多模态的融合方式，有效地识别点云中的噪声，进而提升环境感知的准确性。技术研发人员：张瑞翔受保护的技术使用者：深圳元戎启行科技有限公司技术研发日：技术公布日：2024/11/14