一种车载鞍座位置检测方法

本发明涉及无人天车自动控制，特别是指一种车载鞍座位置检测方法。

背景技术：

1、在无人天车系统的装货作业中，针对卷库车辆上的限位鞍座，吊装时需要获取现场鞍座外形和位置信息，以实现精确的自动吊装作业。因此，现场鞍座外形和位置信息的获取是实现无人天车自动控制装货的重要步骤之一。

2、近年来，随着人工智能技术和计算机视觉技术的发展，深度学习模型在工业场景中逐步探索并实践应用，为获取现场鞍座外形和位置信息提供了新思路，有利于保证现场车辆鞍座识别系统的识别精度和效率，满足现场的使用需求。

3、例如，文献一(於小林.基于点云数据的钢卷物流库目标检测系统设计与实现[d].重庆大学,2020.)提出了一种利用迭代最近点算法(icp)拼接，再结合体素网格下采样算法(voxel)简化，然后以直通滤波和球半径滤波去噪消除毛刺，接着利用欧式聚类算法对感兴趣区域(roi)求取，以最大角度度量准则判定边缘，最后利用随机抽样一致性算法(ransac)拟合钢卷鞍座目标模型，但该方法的精确性依赖于图像质量好坏，鲁棒性差，且耗时长。

4、文献二(文艺桦.基于点云的三维重构改进算法及其在钢卷装卸的应用研究[d].重庆大学,2021.)提出了当钢卷进行出库操作时，根据载具的鞍座平面，通过钢柱与平面相切的几何关系计算出钢卷放置在鞍座上的柱心坐标，但该方法并未获得实时准确的鞍座平面信息，造成柱心坐标计算误差较大，适用性不强。

技术实现思路

1、本发明提供了一种车载鞍座位置检测方法，以解决现有技术所存在的鲁棒性差，且耗时长，以及计算误差较大，适用性不强的技术问题。

2、为解决上述技术问题，本发明提供了如下技术方案：

3、一方面，本发明提供了一种车载鞍座位置检测方法，包括：

4、构建鞍座数据集；其中，所述鞍座数据集中包括多张标注了鞍座位置信息的鞍座二维鸟瞰图，每一鞍座二维鸟瞰图均是由相应鞍座的三维点云数据转换而来；

5、利用所述鞍座数据集对预设的目标检测模型进行训练，得到鞍座检测模型；

6、获取待检测鞍座的三维点云数据，将待检测鞍座的三维点云数据转换为待检测鞍座的二维鸟瞰图，将待检测鞍座的二维鸟瞰图输入所述鞍座检测模型，基于所述鞍座检测模型的输出结果，得到待检测鞍座在三维空间中的三维坐标信息。

7、进一步地，所述构建鞍座数据集，包括：

8、获取鞍座的三维点云数据；

9、将鞍座的三维点云数据转换为二维鸟瞰图；

10、对鞍座的二维鸟瞰图中的鞍座进行标注；

11、利用标注后的鞍座的二维鸟瞰图构建鞍座数据集。

12、进一步地，在构建鞍座数据集之前，所述方法还包括：

13、将三维激光雷达安装于停车区域上方；

14、对安装于停车区域上方的三维激光雷达进行标定，获得激光雷达坐标系与世界坐标系之间转换的位置参数，完成激光雷达坐标系与世界坐标系间位置的标定；

15、鞍座的三维点云数据的获取方式为：

16、利用三维激光雷达对停车区域内的待测车辆进行扫描，获取待测车辆在激光雷达坐标系下的三维点云数据；

17、基于激光雷达坐标系与世界坐标系间位置的标定结果，将待测车辆在激光雷达坐标系下的三维点云数据转换到世界坐标系下；并对转换到世界坐标系下的待测车辆的三维点云数据进行直通滤波，得到待测车辆在世界坐标系下的点云数据；

18、对待测车辆在世界坐标系下的点云数据进行点云密度分析，得到鞍座的三维点云数据。

19、进一步地，对待测车辆在世界坐标系下的点云数据进行点云密度分析，得到鞍座的三维点云数据的公式为：

20、

21、其中，pl表示鞍座的三维点云数据；pl表示待测车辆在世界坐标系下的点云数据；zpi表示pl中第i层点云的z坐标；hl表示高度阈值，其取值范围在100-200mm；ρi表示第i层鞍座的点云密度；ρl为鞍座的三维点云数据的点云密度。

22、进一步地，三维点云数据转换为二维鸟瞰图的方式为：利用基于高度范围阈值与颜色转换范围阈值的混合范围阈值，将三维点云数据转换为二维鸟瞰图，鞍座的三维点云数据的范围由高度范围阈值确定，然后通过颜色转换范围阈值将低于下阈值的点云自动设置为最低值，高于上阈值的点云自动设定为最高值；其中，高度范围阈值的取值范围在400-600mm；颜色转换范围阈值的取值范围在100-200mm。

23、进一步地，三维点云数据转换为二维鸟瞰图的过程包括：

24、根据三维点云数据映射到二维图片的函数，将三维点云数据中各点云的三维点云坐标转化为二维图片的坐标；并将三维点云数据中各点云的点云高度值映射到rgb图像三通道值，得到二维鸟瞰图；其中，

25、将三维点云数据中各点云的三维点云坐标转换为二维图片的坐标的公式为：

26、

27、其中，xb、yb为由点云的三维点云坐标所转换出的二维图片的x，y坐标值；xi、yi为三维点云数据中点云对应的前两维坐标值；xmin、ymin为三维点云数据中点云对应的前两维坐标值的最小值；resolution为转化出的二维图片的分辨率；

28、将三维点云数据中各点云的点云高度值映射到rgb图像三通道值的公式为：

29、

30、convert_z＝normalized_zγ

31、rgb＝colormap(convert_z)

32、其中，z为三维点云数据中点云的点云高度值；z_min和z_max分别为三维点云数据中点云的点云高度值的最小值和最大值；normalized_z表示线性归一化的点云高度值；convert_z表示应用幂律变换进行非线性归一化的点云高度值；γ为控制鞍座不同高度值之间对比度的参数；colormap为将应用幂律变换进行非线性归一化的点云高度值映射到rgb颜色空间的色谱函数。

33、进一步地，利用所述鞍座数据集对预设的目标检测模型进行训练的过程包括：

34、使用如下公式，计算位置误差εbox：

35、

36、其中，λcoord为损失权重；为一个指示函数，用于指示预测框是否包含鞍座；iou为矩形框的交并比；(xl,yl)表示实际框的左上坐标；(xr,yr)表示实际框的右下坐标；(w,h)表示实际框的宽度和高度；表示预测框的左上坐标；表示预测框的右下坐标；

37、使用如下公式，计算前景与背景置信度误差：

38、

39、其中，εobj为含有目标鞍座的前景的置信度误差；εnoobj为不含目标鞍座的背景的置信度误差；λnoobj为损失权重，用于平衡没有鞍座的预测框和有鞍座的预测框；ci为一个指示值，预测含有目标鞍座的前景的ci值为1，预测不含目标鞍座的背景的ci值为0；为一个指示值，实际含有目标鞍座的前景的值为1，实际不含目标鞍座的背景的值为0；为一个指示函数，用于指示第i个网格中的第j个预测框是否包含鞍座；为一个指示函数，用于指示第i个网格中的第j个预测框是否不包含鞍座；s为图像的网格大小；b为每个网格中的预测框数量；

40、使用如下公式，计算分类误差：

41、

42、其中，εclasses为预测框属于某个类别概率的误差；pi(c)为预测框中鞍座属于第c个类别的概率；为实际框中鞍座属于第c个类别的概率；f(pi(c))为基于鞍座类别预测概率的权重调整函数；θ为模型对某个鞍座类别预测概率的最低阈值；τ为提高后的权重；classes为类别集合。

43、进一步地，所述目标检测模型的训练方式为：设置学习率、批量大小、训练迭代次数以及权重衰减参数，利用余弦函数动态降低学习率，并使用动量参数合成加快学习速度。

44、进一步地，鞍座检测模型使用精确率、召回率、map和iou作为评价指标。

45、进一步地，基于所述鞍座检测模型的输出结果，得到待检测鞍座在三维空间中的三维坐标信息，包括：

46、根据如下公式，将所述鞍座检测模型检测出的鞍座位置的二维图像坐标反向解算得到实际空间三维坐标：

47、x0＝xb0×resolution+xmin

48、y0＝yb0×resolution+ymin

49、其中，xb0、yb0为所述鞍座检测模型检测出的二维鸟瞰图中鞍座边界框左上角点的x坐标和y坐标；xmin、ymin为待检测鞍座的三维点云数据中点云对应前两维坐标值的最小值；resolution为转换出的二维鸟瞰图的分辨率；

50、根据如下公式，计算得到模拟鞍座中心坐标：

51、

52、其中，w为所述鞍座检测模型检测出的二维鸟瞰图中鞍座边界框沿x轴方向的长度；h为所述鞍座检测模型检测出的二维图像中鞍座边界框沿y轴方向的长度；

53、根据如下公式，以所述模拟鞍座中心坐标为中心，在待检测鞍座的三维点云数据中划分出一个包含一定数量点的邻域：

54、

55、其中，为划分至邻域k内的点；表示x、y坐标分别为的点，且其坐标满足：d为邻域边长；

56、根据如下公式，将rgb图像三通道值反向映射到点云高度值：

57、

58、其中，为邻域中第i个点的非线性归一化高度值；colormap-1为将rgb颜色空间映射到点云高度信息的色谱函数；rgbi为选取的点在二维鸟瞰图中对应的rgb图像三通道值；zi为点对应的实际空间中的点云高度值；γ为控制鞍座不同高度值之间对比度的参数；z_min和z_max为待检测鞍座的三维点云数据中的最小点云高度值和最大点云高度值；wi为权重函数；di为区域中的点与中心点(xc,yc)之间的距离；α为控制距离影响权重的速率的正参数；zc为区域中心点的加权高度值。

59、再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述方法。

60、又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述方法。

61、本发明提供的技术方案带来的有益效果至少包括：

62、本发明的技术方案基于待测车辆在世界坐标系下的点云数据，获取鞍座的三维点云数据，接着基于空间中鞍座的三维点云数据，将其转换为二维图像，通过对鞍座二维图像数据的标注和分组，完成鞍座数据集的制作，构建目标检测算法模型，对鞍座目标检测模型进行训练，最后使用训练好的模型对现场鞍座进行检测，从而确定鞍座外形和位置信息；本发明具有目标识别速度快，且目标识别精度高的优点，实现了卷库车辆上限位鞍座外形和位置信息的实时在线高精度检测。