泊车AGV位姿调整方法和系统

本公开属于泊车自动化设备领域，尤其是一种泊车agv位姿调整方法和系统。

背景技术：

1、目前的泊车agv一般在指定的驻车室的固定规道中运行，这要求车辆停在指定区域，且位姿符合一定条件。因此，需要对地面进行破坏和改造，地面一层往往只有一个驻车室，通过专用的车辆位姿矫正设备矫正车辆位姿，以方便agv移动至车辆的下方来搬运车辆。

技术实现思路

1、鉴于以上内容，有必要提供一种泊车agv位姿调整方法和系统，旨在通过视觉方式自动调整agv的位姿来适应车辆位姿。

2、为此，本公开提供了一种泊车agv位姿调整方法，包括以下步骤：

3、通过安装在agv上的相机获取车辆的车牌图像，所述车牌图像包括车牌的图像信息和深度信息；

4、识别所述车牌图像的图像信息，获取所述车牌边界框的二维坐标，根据所述二维坐标和深度信息建立车牌点云；

5、将实时检测得到的所述车牌点云和车牌参考模板进行匹配，得到所述agv的水平旋转角度和横向移动距离，根据所述水平旋转角度和横向移动距离调整所述agv的位姿。

6、根据所述的泊车agv位姿调整方法，将所述车牌点云和车牌参考模板进行匹配包括：

7、利用车牌识别模型识别所述车牌并输出所述车牌的二维坐标后，将所述二维坐标转换为相机坐标系下的三维坐标，得到车牌边界框的特征点x1和x2，根据下式计算所述车牌点云的范围pt：

8、

9、其中，x1＝[x1 y1 z1]t,x2＝[x2 y2 z2]t，

10、将实际采集的所述车牌点云与所述车牌参考模板通过一致性初始对齐方法和迭代最近点方法进行对齐，根据下式导出旋转变换矩阵：

11、

12、其中，ps为所述车牌参考模板的点云的范围，r为车牌参考模板的点云相对于所述车牌点云的变换矩阵，t是车牌参考模板的点云相对于所述车牌点云之间的位移矩阵；

13、根据下式计算所述agv水平旋转角度β：

14、r＝rz(γ)*ry(β)*rx(α)

15、其中，α、β和γ为围绕相机坐标系的x轴、y轴和z轴的旋转角度，以及，根据下式计算所述agv横向移动距离dy；

16、t＝[t1t2t3]t；

17、dy＝t1。

18、根据所述的泊车agv位姿调整方法，在获取车辆的车牌图像之前，还包括车牌参考模板制作步骤，所述车牌参考模板制作步骤包括：

19、将车辆停放在停车位中部位置，所述agv停放在所述车辆的正前方，通过安装在所述agv上的相机拍摄所述车辆的车牌图像，所述车牌图像包括图像信息和深度信息；

20、结合图像信息和深度信息生成所述车牌图像的点云信息；

21、通过所述车牌识别模型对所述车牌图像进行识别，提取所述车牌图像中车牌的边界框的二维坐标；

22、根据所述二维坐标在所述点云信息中的映射关系，确定车牌边框在点云信息中的三维坐标，根据所述三维坐标提取所述车牌点云，将提取后的车牌点云作为所述车牌参考模板。

23、根据所述的泊车agv位姿调整方法，所述车牌参考模板制作步骤还包括：

24、所述车牌识别模型确定所述车牌为蓝色车牌或者绿色车牌；如果所述车牌为蓝色车牌，则确认制作的车牌参考模板为对应于蓝色车牌的蓝色车牌参考模板；如果所述车牌为绿色车牌，则确认制作的车牌参考模板为对应于绿色车牌的绿色车牌参考模板；

25、将实时检测得到的所述车牌点云和车牌参考模板进行匹配包括：如果所述车牌为蓝色车牌，则调用所述蓝色车牌参考模板进行匹配；如果所述车牌为绿色车牌，则调用所述绿色车牌参考模板进行匹配。

26、根据所述的泊车agv位姿调整方法，在调整所述agv的角度位姿和横向移动距离之后，还包括：

27、拍摄所述车辆的车轮图像，识别所述车轮图像中的单侧的前轮和后轮，其中，所述车轮图像包括车轮信息和深度信息；

28、根据所述车轮信息和深度信息，计算所述前轮和后轮之间的距离；

29、根据所述前轮和后轮之间的距离，计算所述agv的移动距离，所述agv根据所述移动距离移动至所述车辆的下方。

30、根据所述的泊车agv位姿调整方法，计算所述前轮和后轮之间的距离包括：

31、通过所述前轮和后轮底部中心的二维坐标和所述深度信息，得到所述前轮和后轮在所述相机坐标系中的立体坐标x3和x4；

32、通过下式计算所述前轮和后轮的距离dwheel：

33、

34、其中，x3＝[x3 y3 z3]t；x4＝[x4 y4 z4]t。

35、根据所述的泊车agv位姿调整方法，根据所述前轮和后轮之间的距离，计算所述agv的移动距离包括：

36、根据下式计算所述agv的移动距离d：

37、d＝dwheel+dcamera+dagv

38、dcamera＝z3

39、其中，dwheel为所述前轮和后轮的距离，dcamera为相机至所述前轮之间的距离，dagv为所述相机至所述agv中心的长度方向的距离。

40、根据所述的泊车agv位姿调整方法，拍摄所述车辆的车轮图像，识别所述车轮图像中的单侧的前轮和后轮包括：在所述agv处于静止状态下，连续采集所述车辆的车轮图像多次；

41、根据所述前轮和后轮之间的距离包括：根据多次采集的车轮图像计算所述前轮和后轮之间的距离，去除其中的最大值和最小值，并计算剩余的所述前轮和后轮之间的距离的平均值作为所述前轮和后轮之间的距离dwheel。

42、根据所述的泊车agv位姿调整方法，识别所述车轮图像中的单侧的前轮和后轮之前，还包括车轮识别模型训练步骤，所述车轮识别模型训练步骤包括：

43、将相机安装在所述agv上或者地面上针对停放在停车位的不同类型的车辆拍摄多张车轮图像；

44、标注所述车轮图像中的前轮和后轮，将标注后的车轮图像训练深度学习模型；

45、将训练后的深度学习模型部署至所述agv上，形成用于识别所述车轮图像中的前轮和后轮的车轮识别模型。

46、此外，本公开还提供了一种泊车agv位姿调整系统，用于控制agv的位姿，其特征在于，包括：

47、相机，设置在所述agv上；

48、控制器，用于执行所述的泊车agv位姿调整方法。

49、相较于现有技术，上述的泊车agv位姿调整方法和系统通过识别车牌图像来获取车牌点云，对车牌点云和车牌参考模板进行匹配，得到agv的水平旋转角度，根据该水平旋转角度调整agv的角度位姿，不需要对地面进行破坏和改造，也不需要在特定位置安装相关设备，即可实现agv的位姿调整，为后续自动化泊车动作做好准备。

技术特征：

1.一种泊车agv位姿调整方法，其特征在于，包括以下步骤：

2.如权利要求1所述的泊车agv位姿调整方法，其特征在于，将所述车牌点云和车牌参考模板进行匹配包括：

3.如权利要求2所述的泊车agv位姿调整方法，其特征在于，在获取车辆的车牌图像之前，还包括车牌参考模板制作步骤，所述车牌参考模板制作步骤包括：

4.如权利要求3所述的泊车agv位姿调整方法，其特征在于，所述车牌参考模板制作步骤还包括：

5.如权利要求1所述的泊车agv位姿调整方法，其特征在于，在调整所述agv的角度位姿和横向移动距离之后，还包括：

6.如权利要求5所述的泊车agv位姿调整方法，其特征在于，计算所述前轮和后轮之间的距离包括：

7.如权利要求6所述的泊车agv位姿调整方法，其特征在于，根据所述前轮和后轮之间的距离，计算所述agv的移动距离包括：

8.如权利要求7所述的泊车agv位姿调整方法，其特征在于，拍摄所述车辆的车轮图像，识别所述车轮图像中的单侧的前轮和后轮包括：在所述agv处于静止状态下，连续采集所述车辆的车轮图像多次；

9.如权利要求5所述的泊车agv位姿调整方法，其特征在于，识别所述车轮图像中的单侧的前轮和后轮之前，还包括车轮识别模型训练步骤，所述车轮识别模型训练步骤包括：

10.一种泊车agv位姿调整系统，用于控制agv的位姿，其特征在于，包括：

技术总结本申请涉及一种泊车AGV位姿调整方法和系统。泊车AGV位姿调整方法包括以下步骤：通过安装在AGV上的相机获取车辆的车牌图像，所述车牌图像包括车牌的图像信息和深度信息；识别所述车牌图像的图像信息，获取所述车牌边界框的二维坐标，根据所述二维坐标和深度信息建立车牌点云；将所述车牌点云和车牌参考模板进行匹配，得到所述AGV的水平旋转角度，根据所述水平旋转角度调整所述AGV的角度位姿。上述的泊车AGV位姿调整方法和系统通过识别车牌图像来获取车牌点云，对车牌点云和车牌参考模板进行匹配，得到AGV的水平旋转角度，根据该水平旋转角度调整AGV的角度位姿。技术研发人员：李小鹏,王昕,奚月平受保护的技术使用者：哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）技术研发日：技术公布日：2024/7/15