灵巧手控制方法、装置、系统及电子设备与流程

本技术涉及机器人，特别涉及灵巧手控制方法、装置、系统及电子设备。

背景技术：

1、目前，基于深度学习的经验法能够对简单夹持器比如夹爪的抓取进行规划，以实现夹爪对目标对象的抓取，然而，这种抓取规划以及控制方法无法直接应用在更加复杂的多指灵巧手的抓取规划以及控制方法中，导致多指灵巧手的抓取规划及控制实现较为复杂。

技术实现思路

1、有鉴于此，本技术提供灵巧手控制方法、装置、系统及电子设备，将夹爪的抓取规划及控制方法应用于灵巧手中，以简化对灵巧手的抓取规划及控制。

2、本技术提供的技术方案如下：

3、根据本技术第一方面的实施例，提出了一种灵巧手控制方法，该方法包括：

4、将目标对象的深度图输入预先建立的夹爪抓取预测模型，确定所述夹爪抓取姿态以及夹爪位置；

5、根据获得的灵巧手的尺寸参数、所述夹爪抓取姿态以及夹爪位置，建立灵巧手模型；

6、基于所述目标对象的深度图以及所述灵巧手模型确定灵巧手抓取位姿；

7、根据所述灵巧手抓取位姿控制灵巧手对所述目标对象进行抓取。

8、可选的，所述将目标对象的深度图输入预先建立的夹爪抓取预测模型，确定所述夹爪抓取姿态以及夹爪位置，包括：

9、根据所述目标对象的深度图确定出所述目标对象在所述深度图中对应的参考点云；

10、根据所述夹爪抓取模型从所述参考点云中确定出第一抓取点以及第一抓取点对应的各夹爪抓取姿态的得分值；所述第一抓取点是指夹爪两爪之间连接线的中点位置；

11、根据所述第一抓取点的位置确定所述夹爪位置，并根据所述第一抓取点对应的各夹爪抓取姿态的得分值确定所述夹爪抓取姿态。

12、可选的，所述灵巧手模型包括手掌、拇指以及其他四指三个部分，每一部分通过一个长方体表示；所述根据获得的灵巧手的尺寸参数、所述夹爪抓取姿态以及夹爪位置，建立灵巧手模型，包括：

13、根据所述夹爪抓取姿态以及所述夹爪位置确定所述灵巧手模型包括的三个部分对应的长方体所在的位置；

14、根据所述灵巧手尺寸参数对所述灵巧手模型中所述灵巧手手掌以及所述其他四指对应的长方体的高度进行调整，将三个长方体进行拼接得到三指抓取模型；以及，

15、根据所述灵巧手尺寸参数对所述灵巧手模型中所述其他四指对应的长方体的宽度进行调整，将三个长方体进行拼接得到侧面抓取模型。

16、可选的，所述基于所述目标对象的深度图以及所述灵巧手模型确定灵巧手抓取位姿，包括：

17、根据所述目标对象在所述深度图中对应的参考点云以及所述灵巧手模型，确定目标点云，所述目标点云是所述参考点云在灵巧手坐标系下对应的点云；

18、根据所述目标点云以及所述灵巧手模型的位置，确定所述灵巧手模型与所述目标点云的碰撞结果；

19、根据所述灵巧手模型与所述目标点云的碰撞结果确定灵巧手抓取位姿。

20、可选的，所述根据所述目标对象在所述深度图中对应的参考点云以及所述灵巧手模型，确定目标点云，包括：

21、根据所述参考点云、所述灵巧手模型的姿态矩阵以及所述灵巧手模型的位置矩阵，确定出所述参考点云在灵巧手坐标系下对应的点云，将所述参考点云在灵巧手坐标系下对应的点云作为所述目标点云；

22、其中，所述灵巧手坐标系是以所述第一抓取点为原点的坐标系；所述灵巧手模型的姿态矩阵用于表示所述灵巧手模型与拍摄所述目标对象的深度图的相机的相对方向；所述灵巧手模型的位置矩阵用于表示所述灵巧手模型与拍摄所述目标对象的深度图的相机的相对距离。

23、可选的，所述灵巧手抓取模型包括：三指抓取模型以及侧面抓取模型；所述根据所述目标点云以及所述灵巧手模型的位置，确定所述灵巧手模型与所述目标点云的碰撞结果，包括：

24、判断所述目标点云中是否存在与所述三指抓取模型重合的点，若否，则确定三指抓取模型与所述目标点云不存在碰撞；

25、若是，则判断所述目标点云中是否存在与所述侧面抓取模型重合的点，若否，则确定侧面抓取模型与所述目标点云不存在碰撞。

26、可选的，所述根据所述灵巧手模型与所述目标点云的碰撞结果确定灵巧手抓取位姿，包括：

27、在所述三指抓取模型与所述目标点云不存在碰撞时，若确定抓取所述目标对象的平面与水平面的夹角在第一预设范围内，且抓取所述目标对象的宽度在第二预设范围内，则确定灵巧手抓取位姿为五指抓握位姿；若确定抓取所述目标对象的平面与水平面的夹角不在第一预设范围内或抓取所述目标对象的宽度不在第二预设范围内，则确定灵巧手抓取位姿为所述三指抓取位姿；

28、在所述侧面抓取模型与所述目标点云不存在碰撞时，则确定灵巧手抓取位姿为所述侧面抓取位姿。

29、可选的，所述灵巧手抓取位姿包括：三指抓取位姿、侧面抓取位姿以及五指抓握位姿；所述根据所述灵巧手抓取位姿控制灵巧手对所述目标对象进行抓取，包括：

30、当所述灵巧手抓取位姿为所述三指抓取位姿时，控制灵巧手中三指的根关节同时向指尖闭合的方向进行运动，直至完成所述目标对象的抓取；

31、当所述灵巧手抓取位姿为所述侧面抓取位姿时，控制所述灵巧手的手掌一侧贴近所述目标对象，再控制所述灵巧手的大拇指闭合，直至完成所述目标对象的抓取；

32、当所述灵巧手抓取位姿为所述五指抓握位姿时，控制所述灵巧手的手掌以及大拇指贴近所述目标对象，在控制所述灵巧手的五指弯曲包裹所述目标对象，直至完成所述目标对象的抓取。

33、根据本技术第二方面的实施例，提出了一种灵巧手控制装置，该装置包括：

34、输入单元，用于将目标对象的深度图输入预先建立的夹爪抓取预测模型，确定所述夹爪抓取姿态以及夹爪位置；

35、建模单元，用于根据获得的灵巧手的尺寸参数、所述夹爪抓取姿态以及夹爪位置，建立灵巧手模型；

36、确定单元，用于基于所述目标对象的深度图以及所述灵巧手模型确定灵巧手抓取位姿；

37、控制单元，用于根据所述灵巧手抓取位姿控制灵巧手对所述目标对象进行抓取。

38、可选的，所述输入单元具体用于：

39、根据所述目标对象的深度图确定出所述目标对象在所述深度图中对应的参考点云；

40、根据所述夹爪抓取模型从所述参考点云中确定出第一抓取点以及第一抓取点对应的各夹爪抓取姿态的得分值；所述第一抓取点是指夹爪两爪之间连接线的中点位置；

41、根据所述第一抓取点的位置确定所述夹爪位置，并根据所述第一抓取点对应的各夹爪抓取姿态的得分值确定所述夹爪抓取姿态；

42、和/或，所述灵巧手模型包括手掌、拇指以及其他四指三个部分，每一部分通过一个长方体表示；所述建模单元具体用于：

43、根据所述夹爪抓取姿态以及所述夹爪位置确定所述灵巧手模型包括的三个部分对应的长方体所在的位置；

44、根据所述灵巧手尺寸参数对所述灵巧手模型中所述灵巧手手掌以及所述其他四指对应的长方体的高度进行调整，将三个长方体进行拼接得到三指抓取模型；以及，

45、根据所述灵巧手尺寸参数对所述灵巧手模型中所述其他四指对应的长方体的宽度进行调整，将三个长方体进行拼接得到侧面抓取模型；

46、和/或，所述确定单元具体用于：

47、根据所述目标对象在所述深度图中对应的参考点云以及所述灵巧手模型，确定目标点云，所述目标点云是所述参考点云在灵巧手坐标系下对应的点云；

48、根据所述目标点云以及所述灵巧手模型的位置，确定所述灵巧手模型与所述目标点云的碰撞结果；

49、根据所述灵巧手模型与所述目标点云的碰撞结果确定灵巧手抓取位姿；

50、和/或，所述确定单元具体用于：

51、根据所述参考点云、所述灵巧手模型的姿态矩阵以及所述灵巧手模型的位置矩阵，确定出所述参考点云在灵巧手坐标系下对应的点云，将所述参考点云在灵巧手坐标系下对应的点云作为所述目标点云；

52、其中，所述灵巧手坐标系是以所述第一抓取点为原点的坐标系；所述灵巧手模型的姿态矩阵用于表示所述灵巧手模型与拍摄所述目标对象的深度图的相机的相对方向；所述灵巧手模型的位置矩阵用于表示所述灵巧手模型与拍摄所述目标对象的深度图的相机的相对距离；

53、和/或，所述灵巧手抓取模型包括：三指抓取模型以及侧面抓取模型；所述确定单元具体用于：

54、判断所述目标点云中是否存在与所述三指抓取模型重合的点，若否，则确定三指抓取模型与所述目标点云不存在碰撞；

55、若是，则判断所述目标点云中是否存在与所述侧面抓取模型重合的点，若否，则确定侧面抓取模型与所述目标点云不存在碰撞；

56、和/或，所述确定单元具体用于：

57、在所述三指抓取模型与所述目标点云不存在碰撞时，若确定抓取所述目标对象的平面与水平面的夹角在第一预设范围内，且抓取所述目标对象的宽度在第二预设范围内，则确定灵巧手抓取位姿为五指抓握位姿；若确定抓取所述目标对象的平面与水平面的夹角不在第一预设范围内或抓取所述目标对象的宽度不在第二预设范围内，则确定灵巧手抓取位姿为所述三指抓取位姿；

58、在所述侧面抓取模型与所述目标点云不存在碰撞时，则确定灵巧手抓取位姿为所述侧面抓取位姿；

59、和/或，所述灵巧手抓取位姿包括：三指抓取位姿、侧面抓取位姿以及五指抓握位姿；所述控制单元具体用于：

60、当所述灵巧手抓取位姿为所述三指抓取位姿时，控制灵巧手中三指的根关节同时向指尖闭合的方向进行运动，直至完成所述目标对象的抓取；

61、当所述灵巧手抓取位姿为所述侧面抓取位姿时，控制所述灵巧手的手掌一侧贴近所述目标对象，再控制所述灵巧手的大拇指闭合，直至完成所述目标对象的抓取；

62、当所述灵巧手抓取位姿为所述五指抓握位姿时，控制所述灵巧手的手掌以及大拇指贴近所述目标对象，在控制所述灵巧手的五指弯曲包裹所述目标对象，直至完成所述目标对象的抓取。

63、根据本技术第三方面的实施例，提出了一种灵巧手控制系统，包括：

64、处理器，集成设置于所述灵巧手上或者与所述灵巧手分离设置，用于实现如第一方面所述的方法；

65、灵巧手，用于根据所述处理器的控制，对目标对象进行抓取。

66、可选的，所述灵巧手控制系统还包括：

67、摄像设备，集成设置于所述灵巧手上或者与所述灵巧手分离设置，和所述处理器通信连接，用于获取所述目标对象的深度图。

68、根据本技术第四方面的实施例，提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。

69、由以上技术方案可见，本技术实施例根据灵巧手的尺寸参数、将目标对象的深度图输入预先建立的夹爪抓取预测模型确定出的夹爪抓取姿态以及夹爪位置，建立灵巧手模型，进一步地，基于目标对象的深度图以及灵巧手模型确定灵巧手的抓取位姿，进而根据灵巧手抓取位姿控制灵巧手对目标对象进行抓取。通过上述方法，将夹爪抓取姿态以及夹爪位置映射为灵巧手抓取位姿，能够基于夹爪抓取预测模型输出的夹爪抓取姿态以及夹爪位置实现对灵巧手的直接控制，无需对灵巧手进行单独的抓取规划，更无需单独对灵巧手进行特定的训练，极大地简化了灵巧手的抓取规划及控制方法。