基于特征融合的检测方法、装置、电子设备及存储介质与流程

本技术涉及目标检测，具体涉及一种基于特征融合的检测方法、装置、电子设备及存储介质。

背景技术：

1、在l2级别的智能驾驶中，1v1r方案(一个摄像头+一个雷达)以其高效且经济的特性，在速度低于60km/h的驾驶环境中展现出了卓越的适用性，其中1v1r方案的典型配置包括前视摄像头和前向毫米波雷达，实现对车辆横向和纵向的方向控制。

2、前视摄像头可以捕捉路标标识信息，包括车道线、交通标志和行人等，为车辆提供详尽的环境信息，从而对车辆决策提供支持，而前向毫米波雷达的天线波束窄，从而可以精准定位目标，可以测量物体的速度和距离，为车辆提供障碍物等信息，车辆在进行目标检测时，若仅仅依靠图像信息进行检测可能会因为各种恶劣天气的影响导致目标检测精度较低，若仅仅依靠雷达信息进行检测存在抗干扰能力弱和分类能力不足的缺点。

技术实现思路

1、鉴于以上所述相关技术的缺点，本技术提供一种基于特征融合的检测方法、装置、电子设备及存储介质，以解决现有检测方法中检测性能和准确性较低的技术问题。

2、本技术提供了一种基于特征融合的检测方法，所述基于特征融合的检测方法包括：获取车辆雷达的点云数据和摄像头的图像数据，将所述点云数据转换得到点云投影；基于图像编码器得到所述图像数据的图像编码和第一特征，基于点云编码器得到所述点云投影的点云编码和第二特征；将所述图像编码与所述第二特征进行解码得到图像特征，将所述点云编码与所述第一特征进行解码得到点云特征；将所述图像特征和所述点云特征进行双向特征融合得到融合后特征图；将所述融合后特征图输入预设目标检测头，得到检测结果。

3、于本技术的一实施例中，将所述点云数据转换得到点云投影包括：将所述点云数据中的每个点投影到俯瞰平面上，得到所述点云数据中每个点对应的二维平面坐标；若所述点云数据中有多个点对应同一个二维平面坐标，基于所述多个点计算所述二维平面坐标对应的区域填充数据；基于预设分辨率创建一个待填充图像，所述待填充图像中的像素与所述二维平面坐标存在映射关系；将所述二维平面坐标的区域填充数据填充至所述待填充图像对应的所述像素中；将填充后的所述待填充图像作为点云投影。

4、于本技术的一实施例中，基于所述多个点计算所述二维平面坐标对应的区域填充数据包括：基于映射到同一个所述二维平面坐标的所有点数量计算区域密集程度；选取映射到同一个所述二维平面坐标的所有点中的最大反射强度值作为区域反射强度；根据映射到同一个所述二维平面坐标的所有点的分布计算区域投影长度和区域投影宽度；将所述区域密集程度、所述区域反射强度、所述区域投影长度和所述区域投影宽度作为所述区域填充数据。

5、于本技术的一实施例中，将所述图像特征和所述点云特征进行双向特征融合得到融合后特征图包括：将所述点云特征和所述图像特征进行通道拼接得到拼接特征；基于第一预设映射函数、预设激活函数和拼接特征得到第一融合特征，基于第二预设映射函数、预设激活函数和拼接特征得到第二融合特征；将所述第一融合特征与所述点云特征相减后再与所述图像特征相乘得到融合后图像特征，将所述第二融合特征与所述图像特征相减后再与所述点云特征相乘得到融合后点云特征；将所述融合后图像特征和所述融合后点云特征相乘得到所述融合后特征图。

6、与本技术的一实施例中，基于第一预设映射函数、预设激活函数和拼接特征得到第一融合特征，基于第二预设映射函数、预设激活函数和拼接特征得到第二融合特征包括：基于卷积层设置所述第一预设映射函数和所述第二预设映射函数；基于所述第一预设映射函数对所述拼接特征进行第一变化，对第一变化后的拼接特征应用预设激活函数，得到第一融合特征；基于所述第二预设映射函数对所述拼接特征进行第二变化，对第二变化后的拼接特征应用预设激活函数，得到第二融合特征。

7、与本技术的一实施例中，将所述融合后特征图输入预设目标检测头，得到检测结果之后，还包括：基于所述检测结果和损失函数计算特征损失，所述损失函数包括：

8、

9、其中，为特征损失，if为所述检测结果，ia为所述点云投影，ib为所述图像数据，为l2范数，wa和wb为基于所述点云投影和所述图像数据计算得到的权重估计，且wa+wb＝1。

10、与本技术的一实施例中，将所述融合后特征图输入预设目标检测头，得到检测结果包括：采集历史特征图，基于所述历史特征图训练预设神经网络模型得到预设目标检测头，所述预设目标检测头的输入包括特征图像，所述预设目标检测头的输出结果至少包括检测框、目标类别、置信度、中心点坐标和角度；

11、将所述融合后特征图输入所述预设目标检测头中，得到所述预设目标检测头的输出结果，对所述输出结果进行优化处理，所述优化处理包括：基于所述置信度选择多个检测框作为目标框，判断所述目标框与其他检测框的重叠度是否大于预设重叠度阈值，将所述重叠度大于所述预设重叠度阈值的所述检测框删除，直到任一检测框与其他检测框的重叠度都小于或等于所述重叠度阈值；

12、将优化处理后的所述输出结果作为所述检测结果。

13、本技术的实施例还提供一种基于特征融合的检测装置包括：获取模块，用于获取车辆雷达的点云数据和摄像头的图像数据，将所述点云数据转换得到点云投影；编码模块，用于基于图像编码器得到所述图像数据的图像编码和第一特征，基于点云编码器得到所述点云投影的点云编码和第二特征；解码模块，用于将所述图像编码与所述第二特征进行解码得到图像特征，将所述点云编码与所述第一特征进行解码得到点云特征；融合模块，用于将所述图像特征和所述点云特征进行双向特征融合得到融合后特征图；检测模块，用于将所述融合后特征图输入预设目标检测头，得到检测结果。

14、本技术的实施例还提供一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各实施例任一所述的基于特征融合的检测方法。

15、本技术的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上述各实施例中任一所述的基于特征融合的检测方法。

16、本技术的有益效果：本技术的实施例提供一种基于特征融合的检测方法、装置、电子设备及存储介质，获取车辆雷达的点云数据和摄像头的图像数据，将点云数据转换得到点云投影，基于图像编码器得到图像数据的图像编码和第一特征，基于点云编码器得到点云投影的点云编码和第二特征，将图像编码与第二特征进行解码得到图像特征，将点云编码与第一特征进行解码得到点云特征，在编码阶段引入对点云投影和图像数据的同时建模，提取更多互补特征，以便于后续进行目标检测可以更好理解两种数据之间的关系，从中获取更丰富的特征信息，从而提高目标检测的效果，将图像特征和点云特征进行双向特征融合得到融合后特征图，将融合后特征图输入预设目标检测头，得到检测结果，通过该方法实现雷达和摄像头数据特征融合进行检测，弥补了单一数据进行检测的不足，提高检测性能和准确性

17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。