一种机器人灵巧手的遥操作控制方法、装置、系统及介质与流程

本发明涉及机器人遥操作领域，具体涉及一种机器人灵巧手的遥操作控制方法、装置、系统及介质。

背景技术：

1、遥操作是指：在远离机器或设备的地方，通过通信系统和控制界面，对机器人或设备进行远程监控和控制，使机器人或设备按预期要求运行的一种远程控制技术。研究机器人的临场感技术旨在提供操作者更完整的遥操作沉浸感和真实感体验，为机器人完成更复杂和半自主化的作业奠定基础。

2、目前，以数据驱动的机器人技术正在被越来越多人认可，因此，高效准确地通过遥操作收集机器人运动数据以训练具身智能模型，就显得格外重要。已经公开的一些机器人遥操作设备中，大多数设备收集数据和控制重点在机械臂上，而轻视对机器人灵巧手的控制，导致只能控制机器人灵巧手执行简单的开拿动作。无法针对不同人手部的尺寸和操作习惯，对机器人灵巧手进行精准控制，导致人手部已经处于拿握物体状态，但遥操作控制的机器人灵巧手尚未能达到与人手部相同的姿态，甚至拿握不住物体，控制精度差、无法满足对机器人灵巧手的控制要求。

技术实现思路

1、本发明提供了一种机器人灵巧手的遥操作控制方法、装置、系统及介质，以针对不同用户手部尺寸和操作习惯，对机器人灵巧手的进行精准控制，以满足控制要求。

2、第一方面，本发明提供了一种机器人灵巧手的遥操作控制方法，该方法包括：

3、接收由用户穿戴动捕设备后采集的手部的位姿参数，所述位姿参数包括至少一个手指坐标系相对于手背坐标系的位姿参数；

4、根据所述用户的手部尺寸和操作习惯，对每个所述手指可活动的主动关节所在坐标系相对于手背坐标系的位姿参数进行标定，生成标定后的位姿参数；

5、将所述标定后的位姿参数进行角度转换，并根据转换后的角度提取对应方向上的旋转角度作为机器人灵巧手上主动关节的活动角度；

6、根据预设约束范围对所述主动关节的活动角度进行修正，将修正后的活动角度通过分段线性映射处理，生成所述机器人灵巧手上主动关节的控制指令；

7、将所述控制指令发送至所述机器人灵巧手，所述控制指令用于控制所述机器人灵巧手各关节执行相应动作。

8、结合第一方面，在一种可能的实施方式中，将所述标定后的位姿参数进行角度转换，并根据转换后的角度提取对应方向上的旋转角度作为机器人灵巧手上主动关节的活动角度，包括：

9、将所述标定后的位姿参数转换为在x、y、z三轴方向上的一组欧拉角；在所述x、y、z三轴方向上，从所述一组欧拉角中提取每个手指对应方向上的旋转角度作为机器人灵巧手上主动关节的活动角度。

10、结合第一方面，在另一种可能的实施方式中，所述活动角度包括手部5个手指中每个手指在至少一个轴向上的活动角度；

11、所述根据预设约束范围对所述主动关节的活动角度进行修正，将修正后的活动角度通过分段线性映射处理，生成所述机器人灵巧手上主动关节的控制指令，包括：

12、获取每个手指在至少一个方向维度上可运动的约束范围，并作为所述预设约束范围；

13、根据所述每个手指在至少一个方向维度上可运动的约束范围，对所述活动角度中每个手指的角度值进行修正，得到所述修正后的活动角度；

14、根据所述修正后的活动角度和所述分段线性映射，生成对应于所述机器人灵巧手的至少一个目标角度，其中所述分段线性映射为动捕设备采集的用户手部的手势姿态与所述机器人灵巧手上的主动关节控制手指达到目标角度之间的对应关系；

15、根据所述机器人灵巧手的至少一个目标角度，在映射关系库中查找每个所述目标角度对应的控制指令，得到所述机器人灵巧手上主动关节的控制指令。

16、结合第一方面，在又一种可能的实施方式中，所述根据所述每个手指在至少一个方向维度上可运动的约束范围，对所述活动角度的5个手指中每个手指的角度值进行修正，得到所述修正后的活动角度，包括：

17、判断第一活动角度是否在第一约束范围之内，所述第一活动角度是当前待修正的一个角度值，所述第一约束范围为与所述第一活动角度对应的目标手指的一个方向维度上的约束范围；

18、如果否，则将所述第一活动角度修正为所述第一约束范围中的最大值或最小值，其中，在所述第一活动角度超过所述第一约束范围中的最大值时，将所述最大值作为所述修正后的活动角度；在所述第一活动角度小于所述第一约束范围中的最小值时，将所述最小值作为所述修正后的活动角度。

19、结合第一方面，在又一种可能的实施方式中，所述根据预设约束范围对所述主动关节的活动角度进行修正，将修正后的活动角度通过分段线性映射处理之前，还包括：

20、获取所述机器人灵巧手在完全打开姿态、捏握手势姿态和完全合拢姿态下的三组控制指令；

21、建立所述三组控制指令中每一组控制指令与所述机器人灵巧手的每个目标角度之间的对应关系，并将所述对应关系存储在所述映射关系库中。

22、结合第一方面，在又一种可能的实施方式中，所述根据所述用户的手部尺寸和操作习惯，对每个所述手指可活动的主动关节所在坐标系相对于手背坐标系的位姿参数进行标定，生成标定后的位姿参数，包括：

23、根据所述用户的手部尺寸和操作习惯，对每个所述手指可活动的主动关节所在坐标系相对于手背坐标系的位姿参数进行标定，得到所述动捕设备的至少一种手势姿态和至少一个位姿参数的对应关系；所述至少一个手势姿态包括：完全打开姿态、捏握手势姿态和完全合拢姿态；

24、所述方法还包括：

25、根据所述至少一种手势姿态和至少一个位姿参数的对应关系和所述机器人灵巧手在完全打开姿态、捏握手势姿态和完全合拢姿态三种姿态下的至少一个目标角度，生成所述分段线性映射。

26、第二方面，本发明还提供了一种机器人灵巧手的遥操作控制装置，所述装置包括：

27、接收模块，用于接收由用户穿戴动捕设备后采集的手部的位姿参数，所述位姿参数包括至少一个手指可活动的主动关节所在坐标系相对于手背坐标系的位姿参数；

28、标定模块，用于根据所述用户的手部尺寸和操作习惯，对每个所述手指可活动的主动关节所在坐标系相对于手背坐标系的位姿参数进行标定，生成标定后的位姿参数；

29、转换模块，用于将所述标定后的位姿参数进行角度转换，并根据转换后的角度提取对应方向上的旋转角度作为机器人灵巧手上主动关节的活动角度；

30、处理模块，用于根据预设约束范围对所述主动关节的活动角度进行修正，将修正后的活动角度通过分段线性映射处理，生成所述机器人灵巧手上主动关节的控制指令；

31、发送模块，用于将所述控制指令发送至所述机器人灵巧手，所述控制指令用于控制所述机器人灵巧手各关节执行相应动作。

32、第三方面，本发明提供了一种电子设备，包括存储器和处理器，所述存储器和所述处理器相连接；

33、所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述第一方面或其对应的任一实施方式所述的机器人灵巧手的遥操作控制方法。

34、第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令；计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式所述的机器人灵巧手的遥操作控制方法。

35、另外，本技术还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或其对应的任一实施方式所述的机器人灵巧手的遥操作控制方法。

36、第五方面，本发明提供了一种遥操作控制系统，所述系统包括：动捕设备、终端设备和机器人灵巧手，其中所述动捕设备上设置有至少一个惯性测量单元，用于采集手部的位姿参数；

37、所述动捕设备用于在被用户穿戴后采集用户手部的位姿参数，并将所述位姿参数发送给所述终端设备；

38、所述终端设备用于执行上述第一方面或其对应的任一实施方式所述的机器人灵巧手的遥操作控制方法；

39、所述机器人灵巧手用于接收所述终端设备发送的控制指令，并根据所述控制指令控制所述机器人灵巧手各关节执行相应动作。

40、本发明实施例提供的机器人灵巧手的遥操作控制方法、装置、系统及介质，先接收安装imu的动捕设备采集的操作员/用户的手部位姿参数，然后根据用户的手部尺寸和操作习惯对该位姿参数进行标定，再通过角度转换、提取、修正以及分段线性映射处理将位姿参数转换为机器人灵巧手各关节的控制指令，最后发送给机器人灵巧手，实现从操作员/用户的手部运动到机器人灵巧手运动的遥操作，整个遥操作过程无需相机采集图像数据，所以不受相机视野限制，也不受光线和遮挡影响，且动捕设备采集的位姿参数转换修正后的活动角度与机器人灵巧手的控制指令一一对应，不再受限于只能匹配开、合两种手势姿态，增加了遥操作控制灵巧手的手势姿态，满足用户对机器人灵巧手多姿态的控制需求。

41、此外，本方法还可以根据不同用户的手部尺寸和操作习惯进行标定，从而生成的控制指令可以精准地控制机器人灵巧手达到与操作员或用户相同的手势姿态，有效解决了不同人手部尺寸和操作习惯不同的对机器人灵巧手捏合动作的影响。