一种三维目标检测方法、装置、存储介质和电子设备与流程

本技术涉及目标检测技术，特别涉及一种三维目标检测方法、装置、存储介质和电子设备。

背景技术：

1、随着多种传感器的普及与推广，可以利用多种传感器的互补特性，通过对多种传感器的采集数据进行综合处理，来实现目标检测。目前，对于三维目标检测，就可以基于4d毫米波雷达采集的点云数据结合相机等图像传感器采集的图像数据，来进行三维目标的检测。例如，在自动驾驶系统中，可以将车载4d毫米波雷达和车载相机所采集的数据结合到一起进行综合处理，从而实现三维目标检测。

2、现有的利用4d毫米波雷达和图像传感器进行三维目标检测的方案，经过实际应用发现目标检测的准确性有待提高。

技术实现思路

1、本技术提供一种三维目标检测方法、装置、存储介质和电子设备，能够有效提高三维目标检测的准确性。

2、为实现上述目的，本技术采用如下技术方案：

3、一种三维目标检测方法，包括：

4、获取对应同一场景的4d毫米波雷达点云数据和图像采集数据；

5、对所述图像采集数据进行特征提取和特征转换，得到图像特征；

6、利用第一骨干模型和第二骨干模型分别对所述点云数据进行点云特征提取，对应得到雷达特征 f radar-pillar和 f radar-transformer；其中，所述第一骨干模型的输入包括所述点云数据对应的雷达空间坐标、雷达速度和点云信噪比；

7、利用交叉注意力机制将所述 f radar-pillar和所述 f radar-transformer进行融合，并将得到的第一融合结果与所述 f radar-pillar进行拼接，得到融合后的点云特征；其中，在进行所述融合时，基于所述 f radar-pillar确定查询矩阵q，基于所述 f radar-transformer确定键矩阵k和值矩阵v；

8、将所述融合后的点云特征和所述图像特征进行跨模态融合，基于得到的第二融合结果进行三维目标检测。

9、较佳地，利用交叉注意力机制或可变形的交叉注意力机制，进行所述跨模态融合。

10、较佳地，该方法进一步包括：

11、对所述 f radar-transformer进行特征提取，预测得到用于表示各个位置是否存在目标的占用信息；

12、所述基于得到的第二融合结果进行三维目标检测，包括：

13、将所述第二融合结果与所述占用信息进行拼接，基于拼接结果进行所述三维目标检测。

14、较佳地，该方法进一步包括：对所述图像特征进行bev特征提取，将相应的特征提取结果作为新的所述图像特征。

15、较佳地，该方法进一步包括：对所述融合后的点云特征进行bev特征提取，将相应的特征提取结果作为新的所述融合后的点云特征。

16、一种三维目标检测装置，包括：数据获取单元、图像数据处理单元、点云数据处理单元、跨模态融合单元和检测单元；

17、所述数据获取单元，用于获取对应同一场景的4d毫米波雷达点云数据和图像采集数据；

18、所述图像数据处理单元，用于对所述图像采集数据进行特征提取和特征转换，得到图像特征；

19、所述点云数据处理单元，用于利用第一骨干模型和第二骨干模型分别对所述点云数据进行点云特征提取，对应得到雷达特征 f radar-pillar和 f radar-transformer；还用于利用交叉注意力机制将所述 f radar-pillar和所述 f radar-transformer进行融合，并将得到的第一融合结果与所述 f radar-pillar进行拼接，得到融合后的点云特征；其中，所述第一骨干模型的输入包括所述点云数据对应的雷达空间坐标、雷达速度和点云信噪比；在进行所述融合时，基于所述 f radar-pillar确定查询矩阵q，基于所述 f radar-transformer确定键矩阵k和值矩阵v；

20、所述跨模态融合单元，用于将所述融合后的点云特征和所述图像特征进行跨模态融合，得到第二融合结果；

21、所述检测单元，用于基于所述第二融合结果进行三维目标检测。

22、较佳地，在所述跨模态融合单元中，利用交叉注意力机制或可变形的交叉注意力机制，进行所述跨模态融合。

23、较佳地，所述点云数据处理单元，进一步用于对所述 f radar-transformer进行特征提取，预测得到用于表示各个位置是否存在目标的占用信息；

24、在所述检测单元中，所述基于所述第二融合结果进行三维目标检测，包括：

25、将所述第二融合结果与所述占用信息进行拼接，基于拼接结果进行所述三维目标检测。

26、较佳地，所述图像数据处理单元，进一步用于对所述图像特征进行bev特征提取，将相应的特征提取结果作为新的所述图像特征。

27、较佳地，所述点云数据单元，进一步用于对所述融合后的点云特征进行bev特征提取，将相应的特征提取结果作为新的所述融合后的点云特征。

28、本技术提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现上述任一项所述的三维目标检测方法。

29、本技术提供一种电子设备，该电子设备至少包括计算机可读存储介质，还包括处理器；

30、所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述任一项所述的三维目标检测方法。

31、由上述技术方案可见，本技术中，首先获取对应同一场景的4d毫米波雷达点云数据和图像采集数据，以用于对相应场景进行三维目标检测。接下来，一方面图像采集数据进行特征提取和转换，得到bev空间下的图像特征；另一方面对于点云数据分别利用第一骨干模型和第二骨干模型进行点云特征提取，得到雷达特征 f radar-pillar和 f radar-transformer，并利用交叉注意力机制对于两个雷达特征进行融合后，将融合结果与雷达特征 f radar-pillar进行拼接，得到融合后的点云特征；由此，通过第一骨干模型的特性有效利用点云数据的多维度信息，提高点云特征的准确性，弥补4d毫米波雷达中高度信息准确性低的问题，同时通过第二骨干模型有效利用点云的周边信息提高点云特征的准确性，并在融合 f radar-pillar和 f radar-transformer时以反映点云分布特征的 f radar-pillar为主特征，并将融合结果与 f radar-pillar进行拼接，保证融合后的点云特征能够在反映周边点云信息的同时更主要地反映点云分布特性。最后，将基于点云数据确定的融合后的点云特征和基于图像采集数据确定的bev空间的图像特征进行跨模态融合，能够有效结合两类数据的各自特征信息，再基于此进行三维目标检测。由于对点云数据的特别处理能够有效提高点云特征的准确性，因此可以相应地提高三维目标检测的准确性。