基于模仿学习的遥操作意图识别与共享控制方法

本发明涉及遥操作机器人，特别是涉及一种基于模仿学习的遥操作意图识别与共享控制方法及装置。

背景技术：

1、在工业应用中，机械臂在实现快速、精确和重复性任务方面发挥着不可替代的作用。其中，在一些复杂的非结构化作业环境中，如核电应急救援，水下勘探检查，太空检修等操作任务，仍需要依赖于人类遥操作控制来完成，也即是人类操作主手设备发出控制指令，机械臂作为从手端跟随主手运动。但是，在上述控制过程中由于可能存在长距离延时、人手抖动、操作不熟练等问题，导致主从遥操作从端的控制精度与控制效率低于自主控制。基于此，允许人类操作员和机器人自主控制器共享遥操作控制的共享控制器应运而生，该控制器其可减少操作员的工作负荷和/或提高执行任务期间的性能。

2、现有技术中，将人与机器人的关系从主从式转变为协同式。其中，当人的指令与机器人参考轨迹相差较大时，机器人会结合人的虚拟交互力对自身参考轨迹进行局部主动调整；当人与机器人意图相差较小时，将综合考虑人机双方指令，并基于系统安全性评估指标动态调节人机混合成本函数，计算最优控制量，实现人机共享控制但是，上述方法是基于一次轨迹规划机器人控制指令，虽然其基于力反馈交互的操作员意图识别可以判断操作意图，但是其参考轨迹指令不一定适应于复杂非结构化环境中，因此有可能造成不合适的轨迹规划及错误的意图归类。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明提出了一种基于模仿学习的遥操作意图识别与共享控制方法，可以基于从手实时位置、主手控制指令和模仿学习结果，得到意图初步识别结果，并基于意图初步识别结果与主手控制指令，通过共享控制仲裁规则得到位置控制指令，并将位置控制指令传输至下位机，以实现人机共享控制。本发明中通过虚拟仿真或真实演示的方法完成演示学习，并基于演示学习结果利用模仿学习方法得到模仿学习结果，从而使得本发明适应于复杂非结构化环境，提升了遥操作共享控制的适用性。

3、本发明的另一个目的在于提出一种基于模仿学习的遥操作意图识别与共享控制装置。

4、为达上述目的，本发明一方面提出一种基于模仿学习的遥操作意图识别与共享控制方法，所述方法应用于共享控制器，包括：

5、获取机器人的从手实时位置和操作者的主手控制指令；

6、响应于接收到实际操控指令，确定与所述实际操控指令对应的演示任务，获取所述演示任务对应的模仿学习结果；

7、基于所述从手实时位置、所述主手控制指令和所述模仿学习结果，得到意图初步识别结果；

8、基于所述意图初步识别结果与所述主手控制指令，通过共享控制仲裁规则得到位置控制指令，并将所述位置控制指令传输至下位机，以实现人机共享控制。

9、本发明实施例的基于模仿学习的遥操作意图识别与共享控制方法还可以具有以下附加技术特征：

10、在本发明的一个实施例中，所述基于所述意图初步识别结果与所述主手控制指令，通过共享控制仲裁规则得到位置控制指令，包括：

11、若所述意图初步识别结果为执行模仿学习轨迹，则基于所述从手实时位置、所述主手控制指令和所述模仿学习结果，得到预测意图轨迹，并基于所述预测意图轨迹与所述主手控制指令，通过共享控制仲裁规则得到位置控制指令；

12、若所述意图初步识别结果为不执行模仿学习轨迹，则将所述主手控制指令确定为位置控制指令。

13、在本发明的一个实施例中，所述基于所述从手实时位置、所述主手控制指令和所述模仿学习结果，得到预测意图轨迹，包括：

14、基于所述从手实时位置和所述主手控制指令，通过预设规则得到所述意图初步识别结果为下一时刻预测意图轨迹的两个概率值；

15、对所述两个概率值进行模糊融合处理得到初步意图概率，并利用马尔可夫过程转移概率矩阵迭代更新，得到目的意图概率；

16、基于所述目的意图概率进行意识识别，得到预测意图轨迹。

17、在本发明的一个实施例中，所述基于所述从手实时位置、所述主手控制指令和所述模仿学习结果，得到意图初步识别结果之前，还包括：

18、响应于接收到演示指令，获取演示任务对应的专家演示轨迹信息；

19、对所述专家演示轨迹信息进行演示分割，提取所述演示任务的动作子轨迹；

20、基于所述动作子轨迹进行模仿学习，得到所述演示任务的模仿学习结果。

21、在本发明的一个实施例中，对所述专家演示轨迹信息进行演示分割，提取所述演示任务的动作子轨迹，包括：

22、采集演示轨迹的位置信息和速度信息，并对所述速度信息做归一化，得到方向速度信息；

23、通过引入编码的动作原语，实现所述演示轨迹的编码；

24、基于所述方向速度信息，通过聚类方法将所述演示轨迹进行分割，得到所述演示轨迹的动作片段原语；

25、提取所述动作片段原语中的特征，得到特征动作片段原语；

26、基于所述特征动作片段原语，提取所述演示任务的动作子轨迹。

27、在本发明的一个实施例中，所述基于所述动作子轨迹进行模仿学习，得到所述演示任务的模仿学习结果，包括：

28、通过模仿学习方法对所述动作子轨迹进行模仿学习，得到模仿学习轨迹；

29、对所述模仿学习轨迹进行调制，得到所述演示任务的模仿学习结果。

30、为达上述目的，本发明另一方面提出一种基于模仿学习的遥操作意图识别与共享控制装置，所述装置应用于共享控制器，包括：

31、获取模块，用于获取机器人的从手实时位置和操作者的主手控制指令；

32、确定模块，用于响应于接收到实际操控指令，确定与所述实际操控指令对应的演示任务，获取所述演示任务对应的模仿学习结果；

33、识别模块，用于基于所述从手实时位置、所述主手控制指令和所述模仿学习结果，得到意图初步识别结果；

34、控制模块，用于基于所述意图初步识别结果与所述主手控制指令，通过共享控制仲裁规则得到位置控制指令，并将所述位置控制指令传输至下位机，以实现人机共享控制。

35、在本发明的一个实施例中，所述控制模块，具体用于：

36、若所述意图初步识别结果为执行模仿学习轨迹，则基于所述从手实时位置、所述主手控制指令和所述模仿学习结果，得到预测意图轨迹，并基于所述预测意图轨迹与所述主手控制指令，通过共享控制仲裁规则得到位置控制指令；

37、若所述意图初步识别结果为不执行模仿学习轨迹，则将所述主手控制指令确定为位置控制指令。

38、在本发明的一个实施例中，所述控制模块，还用于：

39、基于所述从手实时位置和所述主手控制指令，通过预设规则得到所述意图初步识别结果为下一时刻预测意图轨迹的两个概率值；

40、对所述两个概率值进行模糊融合处理得到初步意图概率，并利用马尔可夫过程转移概率矩阵迭代更新，得到目的意图概率；

41、基于所述目的意图概率进行意识识别，得到预测意图轨迹。

42、在本发明的一个实施例中，所述装置，还用于：

43、响应于接收到演示指令，获取演示任务对应的专家演示轨迹信息；

44、对所述专家演示轨迹信息进行演示分割，提取所述演示任务的动作子轨迹；

45、基于所述动作子轨迹进行模仿学习，得到所述演示任务的模仿学习结果。

46、本发明实施例的基于模仿学习的遥操作意图识别与共享控制方法，基于从手实时位置、主手控制指令和模仿学习结果，得到意图初步识别结果，并基于意图初步识别结果与主手控制指令，通过共享控制仲裁规则得到位置控制指令，并将位置控制指令传输至下位机，以实现人机共享控制。本发明中通过虚拟仿真或真实演示的方法完成演示学习，并基于演示学习结果利用模仿学习方法得到模仿学习结果，从而使得本发明适应于复杂非结构化环境，提升了遥操作共享控制的适用性。

47、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。