一种基于多模态融合的3D目标检测方法及系统

本发明涉及目标检测，尤其涉及一种基于多模态融合的3d目标检测方法及系统。

背景技术：

1、随着科学和技术的不断发展，自动驾驶技术取得了巨大的推动力。而环境感知技术作为自动驾驶汽车的眼睛也扮演着越来越重要的作用。3d目标检测是自动驾驶感知系统中的一个基本步骤，旨在3d空间中定位一组目标并识别其类别。相机可以在驾驶场景中给目标提供丰富的颜色和纹理信息，但缺少深度信息。激光雷达点云则能够准确探测目标的距离信息，但其分布是稀疏，这使得3d物体检测成为一项具有挑战性的任务，对此，现有技术提出了如中国专利cn113052109a公开的一种3d目标检测系统及其3d目标检测方法，得到基于图像特征增强后的点云特征，应用区域提案网络和分类回归多任务学习网络实现3d目标检测，通过有效融合图像信息和点云信息，提高3d目标检测的准确率，但其针对的目标图像有所限制，对于复杂环境下的目标难以得到准确的结果。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种基于多模态融合的3d目标检测方法及系统，以解决复杂环境下的3d目标检测准确性不高的问题。

2、基于上述目的，本发明提供了一种基于多模态融合的3d目标检测方法，包括：

3、s1、获取图像数据和原始的点云数据；

4、s2、将图像数据输入到2d检测器mask-rcnn中，获得图像中目标物体的2d检测框，并利用mask-rcnn对输入的图像进行实例分割，获得实例分割后的目标掩膜；

5、s3、将原始的点云数据投影到实例分割后的目标掩膜上，利用全局n最近邻数据关联方法，生成密度增强的虚拟点云；

6、s4、将图像数据输入到预训练好的mask-rcnn实例分割网络中，分别利用语义增强和高斯函数得到类别语义增强后的点云特征和高斯增强后的点云特征；

7、s5、将密度增强的虚拟点云、类别语义增强后的点云特征和高斯增强后的点云特征输入到3d目标检测器centerpoint网络中进行3d目标检测，输出3d目标检测后的检测框和对应的目标类别。

8、优选地，利用语义增强得到类别语义增强后的点云特征包括：

9、从mask-rcnn实例分割网络中得到目标像素的类标签掩膜并对其进行独热编码；

10、将原始的点云数据投影到对应的实例分割掩膜上，并将相关像素的类别标签附加到点云上，获得语义增强后的投影点云；

11、将语义增强后的投影点云反向映射到点云空间，得到类别语义增强后的点云特征。

12、优选地，利用高斯函数得到高斯增强后的点云特征包括：

13、根据2d目标检测的结果构建高斯掩膜；

14、从mask-rcnn实例分割网络中得到图像中目标的检测框，并利用高斯函数对检测框中的目标进行掩膜操作，将点云投影到对应的高斯掩膜上，并将相关目标的高斯掩膜分数附加到点云上，获得高斯增强后的投影点云；

15、将高斯增强后的投影点反向映射到点云空间，得到高斯增强后的点云特征。

16、优选地，根据目标物体的2d检测框构建高斯掩膜的公式为：

17、

18、式中，(x,y)为图像中的像素点，(x0,y0)为图像的中心点坐标，(w,h)是2d边界框的宽度和高度。

19、优选地，将点云数据投影到掩膜的方法包括激光雷达的点云坐标系到图像坐标系的转换，以实现点云和像素间的对齐，从3d点云到2d图像的转换表示为：

20、tlidar→camera＝[u v 1]t＝m1m2[x y z 1]t

21、

22、式中，(x,y,z)表示点云在3d空间中的位置坐标，(u,v)为激光雷达点云转换后的图像坐标，m1为相机标定后得到的固有的4×3矩阵，m2为激光雷达转换为相机的外参矩阵，r表示相机与激光雷达之间的旋转矩阵，t表示相机和激光雷达之间的平移矩阵。

23、优选地，步骤s3进一步包括：

24、将原始的点云数据投影到实例分割掩膜上；

25、使用随机采样方法在实例分割掩膜上生成固定数目的随机点，并使用全局n近邻数据关联方法关联随机采样点si和点云投影点pj以获得虚拟点的深度di；

26、将投影点反映射到原始的点云空间，获得密度增强的虚拟点云。

27、优选地，全局n近邻数据关联方法的步骤包括：

28、虚拟点在实例掩膜上的坐标为随机采样点si的坐标，此坐标为中心，将目标掩膜的范围内的所有原始的点云的投影点pi均参与虚拟点深度的关联，并根据距离的远近赋予所有投影点所对应的深度dj不同的权重，使距离随机采样点更近的投影点具有更大的权重；

29、通过加权求和方法获得具有全局特征的随机采样点的深度di，再将投影点反向映射到3d点云的空间获得最终的虚拟点云。

30、优选地，深度di的计算步骤包括：

31、利用式(1)计算随机采样点si与点云投影点pj之间的欧式距离yi；

32、使用式(2)反向距离加权插值方法获得不同距离下对应的权重wj，其中α为正常数；

33、通过式(3)加权求和方法获得具有全局特征的随机采样点的深度di；

34、

35、

36、

37、本说明书还提供一种基于多模态融合的3d目标检测系统，包括：

38、图像识别模块，用于对实时输入的图像数据进行处理，使用2d检测器mask-rcnn获得多视角图像的实例分割掩膜，其中包括逐像素的类别标签，还用于利用2d检测器mask-rcnn对图像中的目标进行2d检测框的生成，并利用高斯掩膜方法对2d检测框中的目标进行高斯掩膜处理，增加目标中心点的作用；

39、点云投影模块，用于对输入的点云数据进行处理，将原始的点云投影到图像识别模块生成的图像实例分割掩膜和高斯掩膜后的图像上；

40、点云增强模块，用于进行点云的密度增强和点云的语义增强，所述点云的密度增强包括通过实例分割生成目标掩膜，并将原始的点云投影到目标掩膜上，利用全局n近邻数据关联方法生成密度增强的虚拟点云；

41、所述点云的语义增强包括点云的类别语义增强和点云的高斯增强，得到类别语义增强后的点云特征和高斯增强后的点云特征。

42、所述的目标检测模块：将密度和语义都增强的点云输入到3d检测器中，根据增强后的点云对目标进行识别判断，并最终输出带有类别标签和对应的3d检测框的目标信息。

43、优选地，点云的类别语义增强包括将图像输入到预先训练好的mask-rcnn实例分割网络中，得到目标像素的类标签掩膜并对其进行独热编码，将原始的点云数据投影到对应的实例分割掩膜上，并将相关像素的类别标签附加到点云上，获得语义增强后的投影点云，将增强后的投影点反向映射到点云空间，得到类别语义增强后的点云特征；

44、点云的高斯增强包括根据2d目标检测的结果构建高斯掩膜，将图像输入到预先训练好的mask-rcnn实例分割网络中，得到图像中目标的检测框并利用高斯函数对检测框中的目标进行掩膜操作，将点云投影到对应的高斯掩膜上，并将相关目标的高斯掩膜分数附加到点云上，获得高斯增强后的投影点云，将高斯增强后的投影点反向映射到点云空间，得到高斯增强后的点云特征。

45、本发明的有益效果：

46、1.利用多模态融合的点云密度和语义增强方法进行环境感知，通过将密度增强的虚拟点云、类别语义增强后的点云特征和高斯增强后的点云特征输入到3d目标检测器centerpoint网络中进行3d目标检测，输出3d目标检测后的检测框和对应的目标类别，对复杂环境下的目标进行检测，可以保证目标检测的准确性，同时对小目标检测和远距离的目标都能保证安全性和稳定性；

47、2.本发明充分利用2d图像信息，不仅利用图像的语义信息增强点云，同时还使用2d检测框的几何信息构建高斯掩膜模型，从而增强点云中目标的中心点；另外还利用实例分割后的目标的掩膜构建点云的密度增强，从而提升稀疏的点云密度；

48、3.本发明从增强点云的角度出发，结合图像具有的颜色和纹理信息，以达到增强点云的目标，这是一种新的序列融合方法。一方面对于远距离的目标，我们的方法可以通过增加稀疏的点云密度来提升3d目标检测的结果；另一方面对于模糊的目标，我们的语义增强方法可以很好的增强目标的语义，弥补仅基于点云检测带来的误检和漏检风险。