一种基于密度感知的补全和稀疏融合的3D目标检测方法

本发明属于自动驾驶，尤其涉及一种基于密度感知的补全和稀疏融合的3d目标检测方法。

背景技术：

1、近年来，自动驾驶因其减轻驾驶员负担、提高行车安全的潜力而受到越来越多的关注。在现代自动驾驶系统中，感知系统是不可或缺的组成部分，旨在准确估计周围环境的状态，并为预测和规划提供可靠的观察结果。3d目标检测可以智能地预测自动驾驶车辆附近关键3d目标的位置、大小和类别，是感知系统的重要组成部分。3d物体检测可以提供详细的环境感知信息，在自动驾驶和机器人领域得到了广泛的应用。激光雷达可以提供包含精确结构信息和距离信息的3d点云，是3d目标检测的重要传感器。自动驾驶技术已广泛应用于自动驾驶卡车、无人驾驶出租车、送货机器人等多种场景，能够减少人为错误，提高道路安全。同时，3d目标检测在现实世界坐标中预测的几何信息可以直接用于测量本车与关键目标之间的距离，并进一步帮助规划行驶路线和避免碰撞。

2、激光雷达和摄像头可以为3d感知提供许多有价值的信息，因此常被用作为3d目标检测的传感器。激光雷达通过3d坐标反映了真实的3d几何空间，提供了准确的几何信息。另一方面，相机获得rgb通道信息，通常提供了丰富的纹理和语义信息，但是缺少激光雷达能获取的几何空间信息，且容易受到极端天气和光照的影响。因此，为了弥补两种传感器获取的数据的不足，许多多模态融合检测方法被提出，如将激光雷达和摄像头获得的数据转换到统一的空间中进行有效地结合，以提高3d目标检测的性能。

3、目前，大多数的多模态融合研究是以激光雷达的网络为主干，图像特征作为点云特征的补充。在两阶段检测算法中，一些多模态研究工作是基于提案的方法。点云具有近密远疏的特点，激光雷达扫描到的稀疏区域或未扫描到的空白区域会造成一定程度的漏检。因此，仅在 roi 处融合点云的语义和纹理信息不利于检测。一些多模态融合方法采用了注意力机制进行融合检测。但基于注意力的方法将导致计算量大。针对以上点云的稀疏性导致漏检，融合方式计算量大等问题，亟需一种基于密度感知的补全和稀疏融合的3d目标检测方法。

技术实现思路

1、为解决上述技术问题，本发明提出了一种基于密度感知的补全和稀疏融合的3d目标检测方法，能够解决点云稀疏导致漏检、融合方式计算量大等问题。

2、为实现上述目的，本发明提供了一种基于密度感知的补全和稀疏融合的3d目标检测方法，包括：

3、获取待检测目标数据；

4、将所述待检测目标数据输入至目标检测模型，获取检测结果，其中，所述目标检测模型包括：依次连接的密度感知补全模块、稀疏交叉bev融合模块、语义点云渲染模块和检测模块；

5、所述密度感知补全模块用于利用图像bev特征对所述待检测目标数据中的稀疏区域和空白区域的点云特征进行密度补全，获取密度补全后的稀疏bev特征；

6、所述稀疏交叉bev融合模块用于将所述密度补全后的稀疏bev特征和图像bev特征融合在同一的bev二维空间中，获取第一融合特征；

7、所述语义点云渲染模块用于对所述第一融合特征赋予语义信息，获取具有语义信息的体素特征；

8、所述检测模块用于对所述具有语义信息的体素特征进行检测。

9、可选的，所述待检测目标数据包括2d图像和3d点云。

10、可选的，所述密度感知补全模块用于利用图像bev特征对稀疏和空白区域的点云特征进行补全，获取所述密度补全后的稀疏bev特征包括：

11、分别对所述2d图像和3d点云进行稀疏特征提取，获取3d图像bev特征和点云bev特征；

12、对所述3d图像bev特征进行密度补全，并与所述点云bev特征进行融合，获取密度补全后的稀疏bev特征。

13、可选的，所述密度补全后的稀疏bev特征为：

14、

15、其中，为密度补全后的稀疏bev特征，是在处的，为图像bev特征对应的位置区域，是的稀疏区域，是在处的，是的位置元素，为和交集的位置元素。是点云bev特征，是图像bev特征。

16、可选的，所述稀疏交叉bev融合模块用于将所述密度补全后的稀疏bev特征和3d图像bev特征融合在统一bev二维空间中，获取第一融合特征包括：

17、从所述密度补全后的稀疏bev特征中提取查询特征，从所述3d图像bev特征中提取采样特征，将所述查询特征和采样特征进行融合，获取融合后的bev特征。

18、可选的，将所述查询特征和采样特征进行融合的方法为：

19、

20、

21、其中，是每个查询的第个采样点，是第个采样点的位置，是第个采样偏置，是第个采样特征，和是可学习的权重，是第个注意力头的第个采样点的比例，为查询特征，为第个点云查询对应的图像bev特征的对按照不同权重后的加权聚合特征。

22、可选的，获取具有语义信息的体素特征包括：

23、从所述3d点云中提取查询特征，从所述2d图像提取采样特征，将所述查询特征和采样特征进行融合，获取体素特征。

24、可选的，获取所述体素特征包括：

25、

26、

27、其中，是第个采样特征，为给定特征图，是每个查询特征位置的第个采样点，是查询点的位置，是第个采样偏置，为查询特征，和是可学习的权重，是第m个注意力头中第个采样点的注意力权重。

28、与现有技术相比，本发明具有如下优点和技术效果：

29、1.本发明中的密度感知补全模块通过量化点云ebv特征的密度，利用图像bev特征对稀疏和空白区域的点云特征进行补全，以解决点云稀疏问题，提高对远处物体的检测精度。稀疏交叉bev融合模块能够增强bev特征的语义和局部感知能力，并解决融合过程所需的巨大计算量，只选择统一尺度空间中的非空 bev特征，并对图像bev特征进行采样，以快速生成具有局部语义和精确几何信息的更翔实的多模态特征，从而有利于获得更准确的bev检测结果。语义点云渲染模块通过在3d空间中为具有精确位置信息的点云特征赋予语义信息，从而更全面地丰富roi特征，并辅助回归和分类，提升检测性能。

30、2.本发明实现精确鲁棒的3d目标检测结果，实现自动驾驶场景下的3d目标的分类和定位。与现有技术相比，实现了更高的检测精度，在 kitti 测试集上，本发明的模型在汽车类别中的检测准确率在简单难度下达到 89.36%，在中等难度下达到 83.66%，在高难度下达到 77.17%。

技术特征：

1.一种基于密度感知的补全和稀疏融合的3d目标检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于密度感知的补全和稀疏融合的3d目标检测方法，其特征在于，所述待检测目标数据包括2d图像和3d点云。

3.根据权利要求2所述的一种基于密度感知的补全和稀疏融合的3d目标检测方法，其特征在于，所述密度感知补全模块用于利用图像bev特征对稀疏和空白区域的点云特征进行补全，获取所述密度补全后的稀疏bev特征包括：

4.根据权利要求3所述的一种基于密度感知的补全和稀疏融合的3d目标检测方法，其特征在于，所述密度补全后的稀疏bev特征为：

5.根据权利要求3所述的一种基于密度感知的补全和稀疏融合的3d目标检测方法，其特征在于，所述稀疏交叉bev融合模块用于将所述密度补全后的稀疏bev特征和3d图像bev特征融合在统一bev二维空间中，获取第一融合特征包括：

6.根据权利要求5所述的一种基于密度感知的补全和稀疏融合的3d目标检测方法，其特征在于，将所述查询特征和采样特征进行融合的方法为：

7.根据权利要求3所述的一种基于密度感知的补全和稀疏融合的3d目标检测方法，其特征在于，获取具有语义信息的体素特征包括：

8.根据权利要求7所述的一种基于密度感知的补全和稀疏融合的3d目标检测方法，其特征在于，获取所述体素特征包括：

技术总结本发明公开了一种基于密度感知的补全和稀疏融合的3D目标检测方法，包括：获取待检测目标数据；将所述待检测目标数据输入至目标检测模型，获取检测结果，其中，所述目标检测模型包括：依次连接的密度感知补全模块、稀疏交叉BEV融合模块和语义点云渲染模块；所述密度感知补全模块用于利用图像BEV特征对所述待检测目标数据中的稀疏和空白区域的点云特征进行补全，获取密度补全后的稀疏BEV特征；所述稀疏交叉BEV融合模块用于将所述密度补全后的稀疏BEV特征和图像BEV特征融合在统一的BEV二维空间中；所述语义点云渲染模块用于对融合后的点云特征赋予语义信息。本发明能够解决点云稀疏导致漏检、融合方式计算量大等问题。技术研发人员：陈杰,李倩,徐睿,汪新文,王硕恒,徐蕴恒,屈磊,李迎松,黄志祥受保护的技术使用者：安徽大学技术研发日：技术公布日：2024/7/29