用于工业环境下的起重机检验的人机协作方法及系统

本申请涉及人机协作和起重机械检验，具体涉及一种用于工业环境下的起重机检验的人机协作方法及系统。

背景技术：

1、人机协作作为机器人发展的新领域，受到了许多学者的关注。无论是军事上还是日常生活中，人机协作都得到了广泛的应用。例如自动驾驶，这一过程中就能体现智能体汽车与驾驶员的人机协作。在日常生活中，人们越发得注重无接触交互，例如使用自动消杀机器人，此类的无接触交互意味着可以极大程度地切断病毒的传播途径，这一过程中也体现了人机交互。当然，人机协作的目标不仅仅是为了提升效率，在更多的情况下使用人机协作的方法是为了保障人员的安全，减少安全事故发生的可能性。

2、在工业环境中对桥式起重机进行检验的过程中，需要对桥式起重机的各部件进行检验检测。以往的检测方法都是先使用目测法进行初步判断，然后再进行试验。然而有些部件处于高空中，例如桥式起重机的大小车及轨道，距离地面有一定的高度，检验人员需要涉险爬上起重机的悬臂，在高处对大小车以及其运行轨道进行检验检测。这样传统的检验方法对检验人员而言具有危险性，且工业环境中还存在另外一些不确定性因素，在这种复杂的检验环境下，检验员的人生安全得不到有效的保障。

3、基于此，需要一种新技术方案。

技术实现思路

1、有鉴于此，本说明书实施例提供一种用于工业环境下的起重机检验的人机协作方法及系统。

2、本说明书实施例提供以下技术方案：

3、本说明书实施例提供的一种用于工业环境下的起重机检验的人机协作方法，包括如下步骤：

4、命令发布步骤：发布起重机检验的相关命令；

5、分配规划步骤：根据相关命令分配起重机的检测任务，通过无人机获取起重机的相关数据；根据起重机的相关数据和分配的检测任务生成相应的动作序列；

6、执行检测步骤：无人机根据相应的动作序列进行执行，对起重机进行检测。

7、优选的，在所述分配规划步骤中，通过无人机扫描点云数据和捕捉现场画面；

8、根据扫描的点云数据和无人机的惯性里程计数据建立空间地图和空间坐标系；根据捕捉的现场画面使用预训练完成的目标识别算法进行视觉识别，得到识别图像；

9、根据分配的检测任务、识别图像、空间地图以及空间坐标系，生成相应的动作序列。

10、优选的，在所述分配规划步骤中，使用权值法对起重机的检测任务进行分配，任务分配公式为

11、q＝max{|ax，y|}

12、其中，起重机的检测任务为起重机需要检测的零部件；q表示对起重机每个需要检验的零部件进行归属判断；y表示检验员的现场判断；ax表示x零部件归无人机检验；a表示可能系数。

13、优选的，在所述分配规划步骤中，设定无人机的初始位置，并设定无人机每执行完一次动作序列返回初始位置，以执行下个需要检测的零部位的检验任务；

14、收集多名检验员预设时间内的起重机检验任务，要求检验员在检验时需要操控无人机对起重机每个部位进行飞行检验，并以视频形式记录下每一次检验过程，定义为专家数据集；

15、无人机执行的动作序列从专家数据库中进行示例模仿学习和微调强化学习产生。

16、优选的，在所述分配规划步骤中，在无人机执行一次需要检测的零部件的检验任务时，将动作序列πz(a(t)|o(t))认定为一次策略，并同时将该策略参数化为z，该策略将观测值o(t)映射到动作a(t)上，则

17、

18、其中，z*代表着最优的策略；n代表着演示的数据集个数；该策略使用卷积神经网络与循环神经网络相结合的模型；argmin表示在众多的同一目标的检验过程中，花费最小的代价使无人机到达距离目标物体的接近点；t表示时间。

19、本说明书实施例还提供一种用于工业环境下的起重机检验的人机协作系统，包括移动端交互端口、远程服务器、无人机以及用户终端设备；

20、所述移动端交互端口分别连接远程服务器以及用户终端设备；

21、所述远程服务器连接无人机；

22、所述用户终端设备通过移动端交互端口向远程服务器传输起重机检验的相关命令；

23、所述远程服务器根据相关命令分配起重机的检测任务，通过无人机获取起重机的相关数据，并根据起重机的相关数据和分配的检测任务生成相应的动作序列；

24、所述无人机根据相应的动作序列进行执行，对起重机进行检测。

25、优选的，所述无人机搭配多线激光雷达，所述多线激光雷达用于扫描现场环境的点云数据；

26、所述无人机搭配相机，所述相机用于捕捉现场画面；

27、所述无人机将扫描的点云数据和捕捉的现场画面传输给远程服务器。

28、优选的，所述远程服务器包括无人机规划模块；

29、所述无人机规划模块包括无人机视觉识别感知模块、无人机slam模块以及无人机动作执行模块；

30、所述无人机视觉识别感知模块根据无人机捕捉的现场画面，使用预训练完成的目标识别算法进行视觉识别，得到识别图像；

31、所述无人机slam模块根据无人机扫描的点云数据和无人机的惯性里程计数据建立空间地图和空间坐标系；

32、所述无人机动作执行模块根据分配的检测任务、识别图像、空间地图以及空间坐标系生成相应的动作序列，并传递给无人机模块。

33、优选的，所述远程服务器还包括任务分配模块；

34、所述任务分配模块接收相关命令，并根据相关命令使用权值法分配起重机的检测任务，任务分配公式为

35、q＝max{|ax，y|}

36、其中，起重机的检测任务为起重机需要检测的零部件；q表示对起重机每个需要检验的零部件进行归属判断；y表示检验员的现场判断；ax表示x零部件归无人机检验；a表示可能系数。

37、优选的，所述移动端交互端口部署在用户终端设备；

38、所述移动端交互端口基于无人机底层以及结合用户终端设备支撑的无人机界面设置；

39、所述远程服务器将识别图像与空间地图通过移动端交互端口传输集成到用户终端设备；

40、所述用户终端设备用于显示与存储识别图像以及空间地图。

41、与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：

42、本申请在复杂的工业环境中，无人机能够配合检验员完成桥式起重机的检验任务，有效保障了检验员的人身安全，并提升了检验任务的效率；在复杂的工业环境中，无人机能够自主导航到桥式起重机的相关部件进行检验，节省了人力，同时也能降低无人机与环境中障碍物的碰撞，其自主飞行检验降低了对检验员操控无人机技术水平的要求。

技术特征：

1.一种用于工业环境下的起重机检验的人机协作方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的用于工业环境下的起重机检验的人机协作方法，其特征在于，在所述分配规划步骤中，通过无人机扫描点云数据和捕捉现场画面；

3.根据权利要求1所述的用于工业环境下的起重机检验的人机协作方法，其特征在于，在所述分配规划步骤中，使用权值法对起重机的检测任务进行分配，任务分配公式为

4.根据权利要求3所述的用于工业环境下的起重机检验的人机协作方法，其特征在于，在所述分配规划步骤中，设定无人机的初始位置，并设定无人机每执行完一次动作序列返回初始位置，以执行下个需要检测的零部位的检验任务；

5.根据权利要求4所述的用于工业环境下的起重机检验的人机协作方法，其特征在于，在所述分配规划步骤中，在无人机执行一次需要检测的零部件的检验任务时，将动作序列π6(a(t)|o(t))认定为一次策略，并同时将该策略参数化为z，该策略将观测值o(t)映射到动作a(t)上，则

6.一种用于工业环境下的起重机检验的人机协作系统，其特征在于，包括移动端交互端口、远程服务器、无人机以及用户终端设备；

7.根据权利要求6所述的用于工业环境下的起重机检验的人机协作系统，其特征在于，所述无人机搭配多线激光雷达，所述多线激光雷达用于扫描现场环境的点云数据；

8.根据权利要求7所述的用于工业环境下的起重机检验的人机协作系统，其特征在于，所述远程服务器包括无人机规划模块；

9.根据权利要求8所述的用于工业环境下的起重机检验的人机协作系统，其特征在于，所述远程服务器还包括任务分配模块；

10.根据权利要求8所述的用于工业环境下的起重机检验的人机协作系统，其特征在于，所述移动端交互端口部署在用户终端设备；

技术总结本申请提供一种用于工业环境下的起重机检验的人机协作方法，应用于起重机机械检验技术领域，包括：发布起重机检验的相关命令；根据相关命令分配起重机的检测任务，通过无人机获取起重机的相关数据；根据起重机的相关数据和分配的检测任务生成相应的动作序列；无人机根据相应的动作序列进行执行，对起重机进行检测。本申请在复杂的工业环境中，无人机能够自主导航到桥式起重机的相关部件进行检验，节省了人力，同时也能降低无人机与环境中障碍物的碰撞，无人机能够配合检验员完成桥式起重机的检验任务，有效保障了检验员的人身安全，并提升了检验任务的效率。技术研发人员：赵怀林,姚峰,鲍磊受保护的技术使用者：上海应用技术大学技术研发日：技术公布日：2024/6/18