无人配送机器人、控制方法、装置及存储介质

本发明属于人工智能的，具体涉及一种无人配送机器人的控制方法、装置及存储介质。

背景技术：

1、随着物流行业的蓬勃发展和人工智能技术的不断成熟，配送机器人逐渐成为物流行业的重要工具，提高了物流效率和配送精度，减少了人力资源在一些重复的体力劳动上的投入。

2、配送机器人领域中，传统配送机器人并不具备自主抓取能力，需要人工或者其他设备来完成货物的装卸工作。这样就增加了成本和时间，并且限制了配送机器人的应用范围。同时，相关技术中，大多数机械臂仍然依赖于预设的程序和算法，缺乏自主决策和学习能力。在面对复杂的、未知的任务时，往往会出现物体识别错误、机械臂运动规划不准确等情况，大幅降低了货物抓取的准确率和效率。

3、相关技术中，移动机器人根据提供的一张全局一致的静态地图进行导航，以驱动配送机器人进行巡航来送货。但在相关技术中，配送机器人基于此地图规划预测的路径进行巡航时，若出现动态障碍物，往往无法实时更新路径或着路径规划不合理，巡航动态避障效果不佳。

4、针对相关技术中传统配送机器人无法自主抓取、抓取货物准确率及效率低、巡航动态避障效果不佳等问题，尚未提出有效的解决方案。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种无人配送机器人、控制方法、装置及存储介质，以至少解决相关技术中传统配送机器人抓取货物准确率及效率低、巡航动态避障效果不佳的问题。

2、为了达到上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种无人配送机器人的控制方法，包括下述步骤：

4、步骤s201、全局建图，对周围环境进行扫描，构建虚拟地图，所述虚拟地图是根据预设的建图功能包，通过激光雷达、深度相机和里程计采集周围环境信息所构建的，虚拟地图用于表征现实场景；

5、步骤s202、从服务器中获取目标信息在所构建的虚拟地图中得到对应位置，其中，目标信息包括取货地点、送货地点和货物信息；

6、步骤s203、全局定位，无人配送机器人会基于自身在现实环境中所处的位置相应地对虚拟地图进行自我定位，确定无人配送机器人在虚拟地图中的初始位姿信息和当前位姿信息，所述初始位姿和当前位姿信息都应当包括对应的位置和方向；

7、步骤s204、生成全局最优路径，所述全局最优路径是根据无人配送机器人在初始时刻在虚拟地图中的初始位姿信息和取货地点位置进行全局路径规划所生成的；

8、步骤s205、判断无人配送机器人是否抵达取货地点，若是，跳转到步骤s211，否则，进入步骤s206；

9、步骤s206、检测局部环境变化；

10、步骤s207、生成局部最优路径，具体为：无人配送机器人基于当前位置节点、局部路径的终点和预设的路径规划算法，生成局部最优路径；

11、步骤s208、是否需要避障，若是，进入步骤s209，否则，跳转到步骤s210；

12、步骤s209、修正局部最优路径；

13、步骤s210、机器人运行；返回步骤s205；

14、步骤s211、目标货物图像识别，具体为：机械臂末端相机采集周围环境图像，在环境图像中检测目标货物，并确定目标货物所对应的包围盒；

15、步骤s212、包围盒中心点是否落于预设可抓取区域内，若是，跳转到步骤s217，否则，进入步骤s213；

16、步骤s213、x轴坐标较预设坐标是否偏小或偏大，若是，进入步骤s214，否则，跳转到步骤s215；

17、步骤s214、若x轴坐标较预设坐标是否偏小，则机器人前进，若x轴坐标较预设坐标是否偏大，则机器人后退；返回步骤s212；

18、步骤s215、y轴坐标较预设坐标是否偏小或偏大，若是，进入步骤s216，否则，返回到步骤s212；

19、步骤s216、若y轴坐标较预设坐标是否偏小，机械臂左转，若y轴坐标较预设坐标是否偏大，机械臂右转；返回步骤s212；

20、步骤s217、转换机械臂底座坐标系下目标货物的坐标；

21、步骤s218、机械臂运行路径规划；

22、步骤s219、机械臂运行到目标货物坐标；

23、步骤s220、末端执行器抓取目标货物；

24、步骤s221、机器人前往送货地点送货。

25、作为优先的技术方案，步骤s211中，利用预训练的货物识别网络，在环境图像中检测目标货物，并确定目标货物所对应的包围盒，其中，预训练的货物识别网络是基于yolov5算法训练的神经网络；

26、货物识别网络识别出的目标是以矩形的包围盒表示的，所述包围盒标注了识别出的目标对应的目标类别信息及目标置信度，在识别出环境图像中的目标所对应的包围盒后，根据目标的目标类别信息和目标置信度，选出目标类别信息为设定类别且目标置信度满足设定阈值的目标，则将该目标作为目标货物，而该目标所对应的包围盒则是描述的目标货物所对应的包围盒。

27、作为优先的技术方案，所述步骤s213中，在判断出包围盒质心坐标并没有落于预设可抓取区域内时，首先判断x轴坐标较预设坐标是否偏小或偏大，并根据判断结果，从预设的多种移动底盘运动驱动函数中，确定目标移动底盘运动驱动函数；其中，所述x轴坐标是指包围盒质心坐标的x轴坐标，预设坐标是指预设可抓取区域的x轴坐标的上下确界；根据判断结果，会出现一下三种情况：第一，x轴坐标比预设坐标的下确界要小，此时移动底盘需要前进；第二，x轴坐标比预设坐标的上确界要大，此时移动底盘需要后退；第三，x轴坐标落于预设坐标的上下确界之间，此时移动底盘无需调整。

28、作为优先的技术方案，所述步骤s213中，步骤s217中，通过对环境图像进行检测确定待取目标货物坐标，并将目标货物在图像坐标系下的坐标转换为机械臂底座坐标系下的坐标；具体为：

29、首先进行相机标定，确定相机的内参和外参，明确相机与世界坐标系之间的相对关系；接下来，通过手眼标定确定相机与机器人末端执行器之间的相对位置关系；

30、在获得这些关系后利用坐标变换公式将图像坐标系中的坐标转换为相机坐标系下的三维坐标，再利用手眼标定得到的变换矩阵将相机坐标系下的坐标转换到机器人末端执行器坐标系；

31、最后，结合机器人的正运动学模型，将末端执行器坐标系下的坐标进一步转换为机械臂底座坐标系下的坐标。

32、作为优先的技术方案，所述步骤s218中，获取目标货物在机械臂底座坐标系下的坐标后，通过逆运动学求解得到每个关节的角度，之后对机械臂进行关节空间规划；具体来说，首先根据获取的机械臂底座坐标系下的待取货物坐标，结合机器人的逆运动学模型，求解每个关节的角度，之后，利用moveit包下的ompl运动规划库对机械臂进行路径规划，ompl可以在机械臂的关节空间内为末端执行器规划出一段轨迹。

33、第二方面，本发明提供了一种无人配送机器人，应用于所述的无人配送机器人的控制方法，包括移动底盘控制模块、视觉检测模块、数据处理模块、机械臂控制模块和电源模块，所述数据处理模块分别与移动底盘控制模块、视觉检测模块和机械臂控制模块连接；

34、所述移动底盘控制模块，用于对无人配送机器人定位并进行实时路径规划，根据数据处理模块发送的运动的角度和速度驱动底盘移动到取货地点和送货地点；

35、所述视觉检测模块，用于采集周围环境图像和目标货物图像，并将采集到的图像发送给数据处理模块，用于动态避障的规划和目标货物的检测；

36、所述数据处理模块，用于对获取图像中的所述目标货物进行检测，确定所述目标货物所对应的包围盒；判断所述目标货物所对应的包围盒的中心点是否落于预设可抓取区域内，若是，将所述目标货物在图像坐标系下的坐标转换为机械臂坐标系下的坐标，将目标货物机械臂坐标系下的坐标发送给机械臂控制模块，否则，根据目标货物图像坐标系下的坐标计算出无人配送机器人和机械臂运动的角度和速度分别发送给移动底盘控制模块和机械臂控制模块，重新调整所述无人配送机器人和机械臂的位姿。

37、所述机械臂控制模块，用于根据目标货物机械臂坐标系下的坐标进行对目标货物的抓取和放下；

38、所述电源模块，用于给移动底盘控制模块、视觉检测模块、数据处理模块和机械臂控制模块供电。

39、作为优先的技术方案，所述移动底盘控制模块包括激光雷达、底层控制器、电机驱动和移动底盘；所述激光雷达，用于对无人配送机器人的定位与运动环境的建图及障碍物进行检测；所述底层控制器，用于控制电机速度及方向；所述电机驱动，用于驱动移动底盘运动；

40、所述视觉检测模块包括深度相机和机械臂末端相机；所述深度相机，用于采集周围环境图像并将采集到的图像发送给数据处理模块；所述机械臂末端相机，用于采集目标货物图像，并将采集到的图像发送给数据处理模块；

41、所述数据处理模块被配置为单片机或电脑或中央处理芯片；

42、所述机械臂控制模块，包括机械臂控制器和机械手臂；所述机械臂控制器，用于根据目标货物机械臂坐标系下的坐标发送控制信号给机械臂；所述机械手臂，用于进行目标货物的抓取和放下；

43、所述电源模块包括锂电池和稳压器。

44、作为优先的技术方案，所述移动底盘控制模块、视觉检测模块和机械臂控制模块通过有线或无线的方式与数据处理模块进行通信；

45、所述激光雷达、深度相机、数据处理模块、机械臂控制器和机械臂设置在移动底盘上，机械臂末端相机设置在机械臂的末端，所述底层控制器、电机驱动和电源模块设置在移动底盘内部。

46、第三方面，本发明提供了一种无人配送机器人的控制装置，应用于所述的无人配送机器人的控制方法，包括定位模块、规划模块、识别模块和处理模块；

47、所述定位模块，用于在构建的虚拟地图中，根据所述目标信息，确定所述取货地点、送货地点位置以及所述无人配送机器人的位姿，其中，所述的虚拟地图是根据预设的建图功能包，通过激光雷达、深度相机和里程计采集周围环境信息所构建的，所述虚拟地图用于表征校园对应的现实场景；

48、所述规划模块，用于确定所述无人配送机器人在所述虚拟地图中的当前位姿信息，利用预设的路径规划算法规划出最优路径，并在移动过程中实时监测动态障碍物，实时调整所述无人配送机器人的角度和速度，修正规划路径；

49、所述识别模块，用于采集周围环境图像，在所述的环境图像中检测目标货物，并确定所述目标货物所对应的包围盒，并判断所述目标货物所对应的包围盒的中心点是否落于预设可抓取区域内；

50、所述处理模块，用于基于实时修正的最优路径控制所述无人配送机器人运行至取货地或送货地；到达取货地或送货地后驱动机械臂运动来抓取或放下所述目标货物。

51、第四方面，本发明提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的无人配送机器人的控制方法。

52、本发明与现有技术相比，具有如下优点和有益效果：

53、相比于相关技术，本技术实施例提供的无人配送机器人的控制方法、装置及存储介质，以及电子装置，通过对校园、快递站、宿舍楼道周围环境进行扫描，构建虚拟地图，其中，所述的虚拟地图是根据预设的建图功能包，通过激光雷达、深度相机和里程计采集周围环境信息所构建的，所述虚拟地图用于表征校园对应的现实场景；从服务器中获取目标信息，在所构建的虚拟地图中得到对应位置，其中，所述目标信息包括取货地点、送货地点和货物信息等；确定所述无人配送机器人在所述虚拟地图中的当前位姿信息，利用预设的路径规划算法规划出最优路径，并在移动过程中实时监测动态障碍物，实时调整所述无人配送机器人的角度和速度，直到到达取货地点；机械臂末端相机采集周围环境图像，在所述的环境图像中检测目标货物，并确定所述目标货物所对应的包围盒；判断所述目标货物所对应的包围盒的中心点是否落于预设可抓取区域内，若是，将所述目标货物在图像坐标系下的坐标转换为机械臂坐标系下的坐标，并将所述目标货物在机械臂坐标系下的坐标发送给下位机，下位机驱动机械臂运动至该位置抓取目标货物，否则，重新调整所述无人配送机器人和机械臂的位姿，使得所述目标货物所对应的包围盒的中心点落于预设可抓取区域，再进行货物抓取；根据此时无人配送机器人在虚拟地图中的位姿和送货地点位置，重新规划最优路径，并实时监测动态障碍物，修正所述最优路径，直到到达送货地点；下位机驱动机械臂将所述目标货物放在指定送货点；利用预设的路径规划算法，在虚拟地图中规划出最优的移动路径，同时，实时监测周围的动态障碍物，并根据障碍物的变化实时调整无人配送机器人的运动角度和速度，以确保安全且高效的巡航；同时，机械臂末端相机负责采集周围环境图像，并使用预设目标检测算法检测目标货物的位置。一旦检测到目标货物，无人配送机器人会判断其包围盒的中心点是否位于预设的可抓取区域内，如果满足条件，机械臂会迅速运动到目标货物的位置进行抓取，如果不满足条件，无人配送机器人会自动调整机器人和机械臂的位姿，直到满足条件再进行抓取，解决了相关技术中传统配送机器人抓取货物准确率及效率低、巡航动态避障效果不佳的问题，实现了自动化程度高、动态避障、快速抓取的有益效果。