一种基于点云柱的激光雷达三维目标检测方法

本发明涉及激光雷达，特别是一种基于点云柱的点云三维目标检测方法。

背景技术：

1、随着自动驾驶和机器人技术的快速发展，三维目标检测在环境感知和场景检测中扮演着越来越重要的角色。传统的三维目标检测方法通常基于复杂的特征工程和手工设计的规则，难以实现高效和准确的目标检测。因此，开发一种点云三维目标检测方法，以提高目标检测的准确性和效率，具有重要的实际意义。

2、近年来，基于深度神经网络的3d点云目标检测算法得到了改进。这些网络擅长特征提取和管理高维数据，从而提高准确性。然而，由于点云固有的稀疏性和不规则性，在提高准确性方面仍有尚未开发的潜力，特别是对于特定类别。早期的方法探索了3d卷积或将点云投影到透视图上，这是一种常见的雷达的表示形式，示例包括velofcn和lasernet。最近的研究倾向对于雷达点云的bev的研究，这是因为它具有减少遮挡等优点。simony等人在2018年提出了complex-yolo，他们将点云投影到2d平面上，用以实现更快的物体检测。然而，稀疏点云的性质限制了通过卷积进行特征提取。为了解决这个问题，一些方法将点云转换为3d体素网格，用手工制作的特征对每个体素进行编码。

3、2017年qi等人发布了pointnet网络模型。该模型直接引入了端到端的网络学习点特征，作者通过升维以及最大池化的思想，对整个点云数据做特征处理，从而减少了因为点云的不规则以及无序性所造成的性能损失。zhou和tuzel在2018年提出了voxelnet，该模型能够学习了丰富的特征表示。但voxelnet使用了3d卷积，从而极大增加了模型的计算时间以及复杂性，降低了推理速度。2019年，yan等人在voxelnet模型的基础上提出second网络模型，通过稀疏卷积减少内存使用并加快计算速度。同时为了更快地推理，lang等人提出了pointpillars将点云编码为点云柱将点云数据转化为了二维的伪图像，从而很大程度上提升了点云目标检测的速度。

4、现阶段基于原始点云的目标检测算法所面临的困难和挑战如下：

5、1)点云数据的无序性、密度不均匀性、不规则性，导致采样过程中稀疏点处关键几何信息和方向信息被忽略；

6、2)基于点云的目标检测方法普遍存在计算成本大的问题；

7、3)对于具有多方向信息的点云数据，如通过多个视角采集的数据，常规方法可能难以有效地进行多视角信息的融合，从而影响多方向目标的检测效果；

技术实现思路

1、本申请实施例提供了一种基于点云柱的三维点云目标检测方法与装置用于获得更好的检测效果与更低的计算成本。

2、本申请实施例技术方案如下所述：

3、首先，本申请实施例提供一种基于点云柱的三维点云目标检测方法，其中，所述方案步骤包括：

4、1、获取相关场景的三维点云数据：通过激光扫描仪或其他三维传感器获取相关场景的三维点云数据。

5、2、用经过改进的自适应的数据增强模块为点云数据做预处理与点注意力编码，同时将点云数据映射为点云柱类型数据。

6、3、用一个全新的点-点云柱数据编码模块分别对点与点云柱数据做数据编码，将点云柱类型数据转化为二维伪图像，用于后续的特征提取操作。

7、4、分别通过一个骨干网络与一个颈部网络，做数据特征提取以及特征融合。

8、5、根据上述获取的特征，通过一个基于点的检测头，确定物体的中心点，从而获取物体位置。

9、在一些实施例中，所述用自适应的数据增强模块为点云数据做预处理与点特征编码，同时将点云数据映射为点云柱类型数据，包括：

10、设计一个数据增强模块，该模块由数据预处理模块以及一个点注意力模块构成。常规的数据预处理模块通常只是单独对点云柱数据进行处理，并不会关联到点云柱内部点之间的关联性，从而导致模型性能的下降。而在本文中我们首先将三维点云数据通过点云柱这一数据结构对其进行划分，随后双线并行的方式，分别对点云柱数据以及点云柱中点的数据进行预处理与数据增强操作。

11、此外，预处理模块还可以进行其他操作，如去除噪声、无效点移除等，以提高数据质量。最后将经过处理的数据传入下一阶段的数据编码模块中。

12、在一些实施例中，所述用数据编码模块分别对点与点云柱数据做数据编码，将点云柱类型数据转化为二维伪图像，用于后续的特征提取操作，包括：

13、接收经过上一步处理之后的数据，并且分别对点数据与点云柱数据做数据编码。

14、该模块由三个部分构成：点云柱编码、点编码以及特征融合。

15、该模块旨在处理复杂的3d点云数据。在过往的研究中常规数据编码模块仅使用最大池化来获取每个点云柱中点的特征，而忽略点云柱与点云柱特征之间的关联。在本研究中我们设计的点-点云柱数据编码模块不仅可以获得每个点云柱中的点特征，还可以获得点云柱特征。该模块采用结构化方法，将3d空间划分为垂直点云柱。这些点云柱是通过基于网格的离散化创建的，形成封装点属性的局部区域。区别于常规的数据编码模块，我们在该模块中在点-点云柱数据编码模块中加入了点云柱编码模块，

16、在该模块中我们通过一个基于unet的“编码器-解码器”结构做特征提取。该模块能帮助我们更好的获取高级别的语义特征。

17、随后在点编码模块中，我们通过一系列的mlp模块与bn层，做特征处理，随后，采用最大池化操作来合并所有点特征。

18、最后在特征融合模块中，我们获取点云柱编码模块以及点特征编码模块输出的特征信息做特征融合操作，并且将其投影为一个二维伪图像。

19、在一些实例中，所述分别通过一个骨干网络与一个颈部网络，做数据特征提取以及特征融合，包括：

20、用一个骨干网络做特征提取，在本文中，我们采用resnet-34作为主干，因为它在先前的研究中被普遍使用。

21、同时为了增强感受野并整合多尺度环境，采用了颈部网络做多尺度特征融合。然而，与基于图像的目标检测中的应用相比，点云目标检测的有效颈部设计受到的关注较少。我们的目标是通过结合源自2d对象检测的复杂颈部架构来缩小这种差异。在本研究中我们采用bifpn进行多级特征融合。

22、在一些实例中，所述根据上述获取的特征，通过一个基于点的检测头，确定物体的中心点，从而获取物体位置，包括：

23、选择centerpoint中概述的简单而有效的头设计。此外，我们还引入了iou分支，用于预测预测框和真实框之间的3d iou。随后，我们利用iou-aware校正功能来弥合分类和回归预测之间的差距。其中，校正函数计算的置信度得分(c)被用于后续的非极大值抑制(nms)。

技术特征：

1.一种基于点云柱的激光雷达三维目标检测方法，其特征在于，所述激光雷达三维目标检测方法包括以下步骤：

2.如权利要求1所述的一种基于点云柱的激光雷达三维目标检测方法，其特征在于，所述激光雷达三维目标检测方法还包括：

3.如权利要求1所述的一种基于点云柱的激光雷达三维目标检测方法，其特征在于，所述激光雷达三维目标检测方法还包括：

4.如权利要求1所述的一种基于点云柱的激光雷达三维目标检测方法，其特征在于，所述激光雷达三维目标检测方法还包括：

5.如权利要求1所述的一种基于点云柱的激光雷达三维目标检测方法，其特征在于，所述通过点-点云柱数据编码模块分别对点与点云柱数据进行数据编码，将点云柱类型数据转化为二维伪图像包括：

6.如权利要求1所述的一种基于点云柱的激光雷达三维目标检测方法，其特征在于，所述激光雷达三维目标检测方法还包括：

7.如权利要求1-5中的任一项所述的一种基于点云柱的激光雷达三维目标检测方法，其特征在于，所述激光雷达三维目标检测方法还包括：

技术总结本专利涉及一种基于点云柱的激光雷达三维目标检测方法，该方法采用先进的点云处理技术，通过将点云数据映射到三维网格结构，实现对环境中目标物体的高效检测，所述方法包括：通过激光扫描仪或其他三维传感器获取相关场景的三维点云数据；用自适应的数据增强模块为点云数据做预处理与点注意力编码，用于后续的特征提取操作；分别通过一个骨干网络与一个颈部网络，做数据特征提取以及特征融合；根据上述获取的特征，通过一个基于点的检测头，确定物体的中心点，从而获取物体位置；该方法不仅能够高效处理大规模点云数据，还具备对复杂场景中多个目标同时进行快速准确检测的能力。技术研发人员：李文举,刘心哲,王旭彬,何柳琴受保护的技术使用者：上海应用技术大学技术研发日：技术公布日：2024/8/1