一种基于多源数据融合的车辆检测方法及检测装置与流程

技术特征：
1.一种基于多源数据融合的车辆检测方法，其特征在于，其包括以下步骤：s1：将车辆的相机坐标系和激光雷达坐标系转换到所述车辆的检测坐标系中；s2：获取所述车辆的激光雷达的目标检测框；s3：先以所述车辆的相机的自身检测视角确定横向检测范围，以图像消失线确定纵向检测范围，获得所述相机的检测区域，再对所述相机检测到的视觉图像进行实时检测以获得视觉检测目标；s4：对所述激光雷达的检测目标与所述视觉检测目标进行初步融合，并计算所述激光雷达与所述相机对同一目标的矩形检测框的面积重合比；s5：判断所述面积重合比是否在一个预设区间内；在所述面积重合比不在所述预设区间内时，对剩下的无法匹配的激光雷达和相机检测数据进行处理，将无法匹配的检测数据视为雷达在连续两个采样周期下获得的两帧数据，实现雷达和相机的信息融合，且目标匹配成功后，对所述激光雷达和所述相机检测到的目标位置进行加权处理；s6：对车辆目标进行跟踪；当跟踪目标离开视野并导致跟踪车辆的矩形框短暂丢失时，预测矩形框中心坐标，继续对车辆目标进行跟踪；当跟踪的矩形框中心坐标与原中心坐标的坐标偏差大于一个预设坐标差时，重新预测矩形框中心坐标；若所述坐标偏差存在一个预设时间后未大于所述预设坐标差时，继续对车辆目标进行跟踪；若所述坐标偏差存在所述预设时间后仍大于所述预设坐标差时，重新确定跟踪目标。2.如权利要求1所述的基于多源数据融合的车辆检测方法，其特征在于，定义空间中一点在所述激光雷达坐标系下为p
l
(x
l
,y
l
,z
l
)，在所述相机坐标系下为p
c
(x
c
,y
c
,z
c
)，在所述检测坐标系下为p
p
(x
p
,y
p
,z
p
)；所述激光雷达坐标系和所述相机坐标系到所述检测坐标系的转换关系分别为：p
p
＝p
l
·
r
l
b
l
p
p
＝p
l
·
r
c
b
c
其中，b
l
和b
c
分别为所述激光雷达坐标系和所述相机坐标系到所述检测坐标系的平移矩阵。3.如权利要求2所述的基于多源数据融合的车辆检测方法，其特征在于，在步骤s2中，所述激光雷达的目标检测框的获取方法包括以下步骤：s2-1：对所述车辆后方的点云数据进行剔除；s2-2：对剔除后的点云数据进行空间扫描，筛选并保留高于地面的点云数据，得出障碍物在检测面上的形状，以获取激光雷达的检测目标；s2-3：先将进行空间扫描时所有扫描面的最大横向距离作为激光雷达目标检测框的长度，所有扫描面的最大纵向距离作为激光雷达目标检测框的宽度，再将确定的检测框投影到图像上获得激光雷达目标检测框。4.如权利要求3所述的基于多源数据融合的车辆检测方法，其特征在于，在步骤s2-1中，剔除纵坐标小于0的数据，保留并处理纵坐标大于0的数据；在步骤s2-2中，所述扫描面为二维矩形检测面。5.如权利要求4所述的基于多源数据融合的车辆检测方法，其特征在于，所述面积重合比的计算公式为：
式中，为所述面积重合比；所述雷达和所述相机对目标的矩形检测框分别为r
lidar
、r
camera
，s
union
为r
lidar
和r
camera
所包围的总面积，s
intersection
为重合区域的面积。6.如权利要求5所述的基于多源数据融合的车辆检测方法，其特征在于，通过全局最近邻数据关联对无法匹配的激光雷达和相机检测数据进行处理，定义雷达和相机剩余有效目标个数分别为m和n，雷达检测值为航迹i，相机检测值为量测j，航迹i和量测j的归一化距离设为航迹和量测的匹配需要满足以下约束条件：式中，g
i
是航迹的门限值；代价函数定义为：式中，c
ij
为代价值。7.如权利要求6所述的基于多源数据融合的车辆检测方法，其特征在于，在步骤s5中，加权公式为：式中，δ
cx
、δ
cy
、δ
rx
、δ
ry
分别表示所述相机和所述雷达检测的目标位置在x、y方向的平均误差。8.如权利要求7所述的基于多源数据融合的车辆检测方法，其特征在于，所述预设区间为[0.6,1]。9.如权利要求8所述的基于多源数据融合的车辆检测方法，其特征在于，在步骤s3中，利用yolov4算法对相机检测到的视觉图像进行实时检测；在步骤s6中，利用kcf-kf滤波器对车辆目标进行跟踪。10.一种应用如权利要求1-9中任意一项所述的基于多源数据融合的车辆检测方法的检测装置，其特征在于，其包括：转换模块，其用于将车辆的相机坐标系和激光雷达坐标系转换到所述车辆的检测坐标系中；检测框获取模块，其用于获取所述车辆的激光雷达的目标检测框；检测目标获取模块，其用于先以所述车辆的相机的自身检测视角确定横向检测范围，以图像消失线确定纵向检测范围，获得所述相机的检测区域，再对所述相机检测到的视觉
图像进行实时检测以获得视觉检测目标；面积重合比计算模块，其用于对所述激光雷达的检测目标与所述视觉检测目标进行初步融合，并计算所述激光雷达与所述相机对同一目标的矩形检测框的面积重合比；数据处理模块，其用于判断所述面积重合比是否在一个预设区间内；在所述面积重合比不在所述预设区间内时，所述数据处理模块对剩下的无法匹配的激光雷达和相机检测数据进行处理，将无法匹配的检测数据视为雷达在连续两个采样周期下获得的两帧数据，实现雷达和相机的信息融合，且目标匹配成功后，对所述激光雷达和所述相机检测到的目标位置进行加权处理；跟踪模块，其用于对车辆目标进行跟踪；当跟踪目标离开视野并导致跟踪车辆的矩形框短暂丢失时，当目标车辆回到重新回到视野中，所述跟踪模块继续对车辆目标进行跟踪；当跟踪的矩形框中心坐标与原中心坐标的坐标偏差大于一个预设坐标差时，所述跟踪模块重新预测矩形框中心坐标；若所述坐标偏差存在一个预设时间后未大于所述预设坐标差时，所述跟踪模块继续对车辆目标进行跟踪；若所述坐标偏差存在所述预设时间后仍大于所述预设坐标差时，所述跟踪模块重新确定跟踪目标。

技术总结
本发明公开一种基于多源数据融合的车辆检测方法及检测装置。该方法包括：将相机坐标系和激光雷达坐标系转换到检测坐标系中；获取车辆的激光雷达的目标检测框；先以车辆的相机的自身检测视角确定横向检测范围，以图像消失线确定纵向检测范围，获得相机的检测区域，再对相机检测到的视觉图像进行实时检测以获得视觉检测目标；对激光雷达的检测目标与视觉检测目标进行初步融合；实现雷达和相机的信息融合，且目标匹配成功后，对激光雷达和相机检测到的目标位置进行加权处理；对车辆目标进行跟踪。本发明提高检测障碍物的准确性，减少误检和漏检，激光雷达和相机都可识别同一目标车辆，且识别结果基本匹配，提高了目标识别的可靠性。靠性。靠性。


技术研发人员：赵林峰 赵明 蔡必鑫 许家硕 梁建文 谢俊豪 冯嘉铭 张曼玲 王宁
受保护的技术使用者：合肥工业大学
技术研发日：2021.11.23
技术公布日：2022/2/28