障碍物检测追踪方法、装置、计算机设备及存储介质与流程

本发明涉及计算机视觉，尤其涉及一种障碍物检测追踪方法、装置、计算机设备及存储介质。

背景技术：

1、随着计算机视觉技术的发展，越来越多的智能机器人、无人驾驶等技术出现在人们的生活中，障碍物检测作为计算机视觉领域的重要研究方向之一，对于自动驾驶、智能交通、工业自动化、智能安防等领域具有广泛的应用前景。随着人工智能技术的不断发展，障碍物检测系统对于实现智能感知、自主决策的自动化系统起着至关重要的作用。衡量机器人或者无人机智能化程度的一个重要指标就是处理未知环境信息的能力。在实际应用中，机器人或者无人汽车对障碍物判定能力是一项重要指标，且场景障碍物解析中，语义信息与深度信息至关重要、缺一不可。

2、现有方式中，主要通过深度卷积神经网络的语义分割技术进行在障碍物识别，但发明人在实现本发明的过程中发现，但在动态复杂场景中，障碍物判定过程受物体种类多、易遮挡、光线变化大等诸多因素影响，现有方式对障碍物检测不够准确。

技术实现思路

1、本发明实施例提供一种障碍物检测追踪方法、装置、计算机设备和存储介质，以提高障碍物检测的精准性。

2、为了解决上述技术问题，本技术实施例提供一种障碍物检测追踪方法，包括：

3、标定相机内参及激光雷达和相机之间的外参，并通过相机和激光雷达分别采集图像数据和点云数据；

4、采用3d目标检测算法对所述点云数据进行目标检测，得到3d检测框和目标类别，并去除所述3d检测框内部的点云，提取得到障碍物的3d检测边框；

5、采用2d实例分割算法对所述图像数据进行实例分割，得到2d检测结果，所述2d检测结果包括2d检测框、分割多边形和目标类别；

6、根据外参将所述点云数据映射到所述图像数据，对应匹配所述3d检测边框和所述2d检测结果；

7、根据前后两帧的检测结果进行匹配，使用卡尔曼滤波过滤综合预测值和观测值结果，确定障碍物追踪结果。

8、可选地，所述采用3d目标检测算法对所述点云数据进行目标检测，得到3d检测框和目标类别包括：

9、获取样本数据，所述样本数据为激光雷达采集到并打标制作的数据集；

10、对所述样本数据中的边框进行聚类分析，得到先验框；

11、对所述先验框进行数据增强，使用预训练权重进行重新训练，多次迭代后保存最好的权重，得到训练好的3d目标检测模型；

12、采用所述训练好的3d目标检测模型对所述点云数据进行目标检测，得到3d检测框和目标类别。

13、可选地，所述去除所述3d检测框内部的点云，提取得到障碍物的3d检测边框包括：

14、对所述点云数据进行数据预处理，得到预处理数据；

15、对所述预处理数据进行平面拟合，得到拟合数据；

16、从所述拟合数据中去除地面点云和所述3d检测框内部的点云，得到目标数据；

17、对所述目标数据进行欧式聚类，去除离散点，提取得到所述3d检测边框。

18、可选地，所述对所述预处理数据进行平面拟合，得到拟合数据包括：

19、根据中心点把所述点云数据划分为具有规则间隔的径向和方位角的多个扇区；

20、每个扇区进行区域级地平面拟合，然后合并部分地面点；

21、通过地面似然估计判别划分的地面是否属于实际地面，得到包含地面点云数据和非地面点云数据的拟合数据。

22、可选地，所述对所述目标数据进行欧式聚类，去除离散点，提取得到所述3d检测边框包括：

23、设置不同半径阈值进行聚类，得到目标轮廓的点云簇，并对不同的点云簇进行合并；

24、在完成聚类后，得到障碍物的轮廓，采用凸多边形拟合，根据凸多边形的顶点计算斜矩形，得到障碍物框的中心；

25、调整障碍物框的长宽高和中心和朝向，得到所述3d检测边框。

26、可选地，所述根据外参将所述点云数据映射到所述图像数据，对应匹配所述3d检测边框和所述2d检测结果包括：

27、将去除地面的点云数据去除相机视角反方向的点云，并根据激光雷达和相机之间的外参，将裁减后的点云数据的点投影到所述图像数据平面；

28、根据所述分割多边形截取点云数据，得到截取数据；

29、获取截取数据分布数值最大的3d检测框，作为匹配成功的目标检测框。

30、可选地，所述根据前后两帧的检测结果进行匹配，使用卡尔曼滤波过滤综合预测值和观测值结果，确定障碍物追踪结果包括：

31、所述根据前后两帧的检测结果，确定障碍物的初始位置和速度，并构建状态向量和协方差矩阵；

32、基于所述状态向量和所述协方差矩阵，预测障碍物的下一个状态，作为预测结果；

33、利用传感器测量障碍物的位置，作为测量结果；

34、利用卡尔曼滤波的公式，将所述测量结果与所述预测结果结合，得到更新后的状态估计和协方差矩阵；

35、返回所述基于所述状态向量和所述协方差矩阵，预测障碍物的下一个状态，作为预测结果的步骤继续执行，得到障碍物的连续轨迹跟踪结果。

36、为了解决上述技术问题，本技术实施例还提供一种障碍物检测追踪装置，包括：

37、数据采集模块，用于标定相机内参及激光雷达和相机之间的外参，并通过相机和激光雷达分别采集图像数据和点云数据；

38、3d检测模块，用于采用3d目标检测算法对所述点云数据进行目标检测，得到3d检测框和目标类别，并去除所述3d检测框内部的点云，提取得到障碍物的3d检测边框；

39、2d检测模块，用于采用2d实例分割算法对所述图像数据进行实例分割，得到2d检测结果，所述2d检测结果包括2d检测框、分割多边形和目标类别；

40、映射匹配模块，用于根据外参将所述点云数据映射到所述图像数据，对应匹配所述3d检测边框和所述2d检测结果；

41、动态追踪模块，用于根据前后两帧的检测结果进行匹配，使用卡尔曼滤波过滤综合预测值和观测值结果，确定障碍物追踪结果。

42、可选地，所述3d检测模块包括：

43、样本采集单元，用于获取样本数据，所述样本数据为激光雷达采集到并打标制作的数据集；

44、样本聚类单元，用于对所述样本数据中的边框进行聚类分析，得到先验框；

45、迭代训练单元，用于对所述先验框进行数据增强，使用预训练权重进行重新训练，多次迭代后保存最好的权重，得到训练好的3d目标检测模型；

46、目标检测单元，用于采用所述训练好的3d目标检测模型对所述点云数据进行目标检测，得到3d检测框和目标类别。

47、可选地，所述3d检测模块还包括：

48、预处理单元，用于对所述点云数据进行数据预处理，得到预处理数据；

49、平面拟合单元，用于对所述预处理数据进行平面拟合，得到拟合数据；

50、数据筛选单元，用于从所述拟合数据中去除地面点云和所述3d检测框内部的点云，得到目标数据；

51、数据聚类单元，用于对所述目标数据进行欧式聚类，去除离散点，提取得到所述3d检测边框。

52、可选地，所述平面拟合单元包括：

53、分片子单元，用于根据中心点把所述点云数据划分为具有规则间隔的径向和方位角的多个扇区；

54、拟合子单元，用于对每个扇区进行区域级地平面拟合，然后合并部分地面点；

55、判定子单元，用于通过地面似然估计判别划分的地面是否属于实际地面，得到包含地面点云数据和非地面点云数据的拟合数据。

56、可选地，所述数据聚类单元包括：

57、聚类子单元，用于设置不同半径阈值进行聚类，得到目标轮廓的点云簇，并对不同的点云簇进行合并；

58、中心计算子单元，用于在完成聚类后，得到障碍物的轮廓，采用凸多边形拟合，根据凸多边形的顶点计算斜矩形，得到障碍物框的中心；

59、边框生成子单元，用于调整障碍物框的长宽高和中心和朝向，得到所述3d检测边框。

60、可选地，所述映射匹配模块包括：

61、投影单元，用于将去除地面的点云数据去除相机视角反方向的点云，并根据激光雷达和相机之间的外参，将裁减后的点云数据的点投影到所述图像数据平面；

62、截取单元，用于根据所述分割多边形截取点云数据，得到截取数据；

63、匹配单元，用于获取截取数据分布数值最大的3d检测框，作为匹配成功的目标检测框。

64、可选地，所述动态追踪模块包括：

65、构建单元，用于所述根据前后两帧的检测结果，确定障碍物的初始位置和速度，并构建状态向量和协方差矩阵；

66、预测单元，用于基于所述状态向量和所述协方差矩阵，预测障碍物的下一个状态，作为预测结果；

67、测量单元，用于利用传感器测量障碍物的位置，作为测量结果；

68、更新单元，用于利用卡尔曼滤波的公式，将所述测量结果与所述预测结果结合，得到更新后的状态估计和协方差矩阵；

69、跟踪单元，用于返回所述基于所述状态向量和所述协方差矩阵，预测障碍物的下一个状态，作为预测结果的步骤继续执行，得到障碍物的连续轨迹跟踪结果。

70、为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述障碍物检测追踪方法的步骤。

71、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述障碍物检测追踪方法的步骤。

72、本发明实施例提供的障碍物检测追踪方法、装置、计算机设备及存储介质，通过标定相机内参及激光雷达和相机之间的外参，并通过相机和激光雷达分别采集图像数据和点云数据；采用3d目标检测算法对点云数据进行目标检测，得到3d检测框和目标类别，并去除3d检测框内部的点云，提取得到障碍物的3d检测边框；采用2d实例分割算法对图像数据进行实例分割，得到2d检测结果，2d检测结果包括2d检测框、分割多边形和目标类别；根据外参将点云数据映射到图像数据，对应匹配3d检测边框和2d检测结果；根据前后两帧的检测结果进行匹配，使用卡尔曼滤波过滤综合预测值和观测值结果，确定障碍物追踪结果。实现通过多种传感器采集不同类型的数据，进行2d和3d融合检测，提高了障碍物检测的准确率。