一种视触觉融合显示、机器人控制方法、装置及系统与流程

本技术涉及机器人，尤其涉及一种视触觉融合显示、机器人控制方法、装置及系统。

背景技术：

1、现有技术中，在结合多模态视触觉数据进行抓取等任务时，基于触觉数据可以辅助识别末端执行器在物体上的接触点，可以通过接触点位置以及力/触觉传感器的力反馈判断抓取任务能否成功；或机器人在移动过程中，物体是否产生滑动等。

2、但是，现有的结合视触觉信息的任务，都是对视觉与触觉信息分别提取特征，这使得各项数据的融合不够充分，不能很好地利用视触觉信息。

技术实现思路

1、本技术实施例的目的在于提出一种视触觉融合显示、机器人控制方法、装置及系统，以实现在同一画面中融合显示视触觉信息。

2、第一方面，本技术实施例提供一种视触觉融合显示方法，包括如下技术方案：

3、一种视触觉融合显示方法，所述方法包括下述步骤：

4、获取物体的图像数据；

5、基于所述图像数据求取物体在预设坐标系下的物体位姿；

6、获取力/触觉传感器与物体m*n个接触点的接触点坐标；其中，m为大于等于1的整数；n为大于等于1的整数；

7、将接触点坐标转换为物体的3d模型坐标系下的接触位置；

8、分别匹配与每个所述接触点对应的最近三角面片；其中，所述最近三角面片为包括多个三角面片的贴图平面中与所述接触点距离最近的一个三角面片；所述贴图平面为基于物体的3d模型，结合所述物体位姿转换得到的贴图平面；

9、将每个所述接触点映射到对应的所述最近三角面片中，得到映射所述接触点的所述贴图平面。

10、进一步的，在一个实施例中，所述分别匹配与每个所述接触点对应的最近三角面片包括下述步骤：

11、分别匹配与每个所述接触点最近的中心点；每个所述中心点对应一个所述三角面片的中心；

12、以所述最近的中心点对应的三角面片作为所述最近三角面片。

13、进一步的，在一个实施例中，所述方法还包括下述步骤：

14、将映射到对应的所述最近三角面片的所述接触点进行聚类，得到接触点聚类；

15、生成每个所述接触点聚类的包围框。

16、进一步的，在一个实施例中，所述分别匹配与每个所述接触点对应的最近三角面片之前，所述方法还包括下述步骤：

17、获取物体的3d模型；

18、基于所述物体位姿将所述物体的3d模型转换为物体坐标系下；

19、基于转换为所述物体坐标系下的物体的3d模型生成贴图平面。

20、进一步的，在一个实施例中，所述获取物体的3d模型之后，所述基于转换为所述物体坐标系下的物体的3d模型生成贴图平面之前，所述方法还可以包括如下方法步骤：

21、发送第一探测指令，以指示末端执行器以多个不同位置探测物体不可见部分；

22、基于每个位置下力/触觉传感器与物体m*n个接触点的接触点坐标，重构物体不可见部分的点云模型；

23、将所述物体不可见部分的点云模型与所述物体的3d模型融合，以得到补全后的所述物体的3d模型；和/或，

24、基于所述物体位姿将所述物体的3d模型转换为物体坐标系下之前，所述方法还可以包括如下方法步骤：

25、发送第二探测指令，以指示末端执行器以多个不同位置探测物体可见部分；

26、基于每个位置下力/触觉传感器与物体m*n个接触点的接触点坐标，重构物体可见部分的点云模型；

27、将所述物体可见部分的点云模型与所述物体的3d模型配准；

28、基于配准结果修正所述物体位姿。

29、进一步的，在一个实施例中，所述力/触觉传感器为阵列式力/触觉传感器；所述获取力/触觉传感器与物体m*n个接触点的接触点坐标包括下述步骤：

30、获取阵列式触觉数据；

31、提取所述阵列式触觉数据中变化超过预设要求的单元触觉数据对应的触点传感单元；

32、获取触点传感单元对应的所述接触点坐标；和/或，

33、所述将接触点坐标转换为物体的3d模型坐标系下的接触位置包括下述步骤：

34、基于力/触觉传感器标定结果，结合手眼标定结果，将所述接触点坐标转换为所述物体的3d模型坐标系下的坐标。

35、第二方面，本技术实施例提供一种机器人控制方法，所述控制方法包括下述步骤：

36、上面任一项所述的视触觉融合显示方法的步骤；以及，

37、基于所述映射所述接触点的所述贴图平面，生成机器人的控制指令。

38、第三方面，本技术实施例提供一种视触觉融合显示装置，所述装置包括：

39、图像获取模块，用于获取物体的图像数据；

40、位姿求取模块，用于基于所述图像数据求取物体在预设坐标系下的物体位姿；

41、触觉获取模块，用于获取力/触觉传感器与物体m*n个接触点的接触点坐标；其中，m为大于等于1的整数；n为大于等于1的整数；

42、坐标转换模块，用于将接触点坐标转换为物体的3d模型坐标系下的接触位置；

43、面片匹配模块，用于分别匹配与每个所述接触点对应的最近三角面片；其中，所述最近三角面片为包括多个三角面片的贴图平面中与所述接触点距离最近的一个三角面片；所述贴图平面为基于物体的3d模型，结合所述物体位姿转换得到的贴图平面；

44、触点映射模块，用于将每个所述接触点映射到对应的所述最近三角面片中，得到映射所述接触点的所述贴图平面。

45、第四方面，本技术实施例提供一种机器人控制装置，所述控制装置包括：

46、上面所述的视触觉融合显示装置；以及，

47、指令生成模块，用于基于所述映射所述接触点的所述贴图平面，生成机器人的控制指令。

48、第五方面，本技术实施例提供一种机器人系统，所述机器人系统包括：机器人、图像传感器、力/触觉传感器和控制器；所述机器人的执行端设置末端执行器；所述力/触觉传感器设置于所述末端执行器；所述图像传感器设置于所述机器人或者设置于所述机器人外；

49、所述控制器分别与所述机器人、所述图像传感器和所述力/触觉传感器通信连接；

50、所述控制器，用于实现上面任一项所述的视触觉融合显示方法和/或机器人控制方法的步骤。

51、第六方面，本技术实施例提供一种控制器，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上面所述的视触觉融合显示方法和/或机器人控制方法的步骤。

52、第七方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上面所述的视触觉融合显示方法和/或机器人控制方法的步骤。

53、与现有技术相比，本技术实施例主要有以下有益效果：

54、本技术实施例在末端执行器对物体执行操作任务时，获取力/触觉传感器与物体接触的接触点精确坐标，后续基于图像数据估计该接触点在物体的3d模型坐标下的位置；从而将该接触点注册到物体的3d模型对应的贴图平面中，可以在贴图平面中同时提取到视触觉信息特征，从而实现在同一画面中融合显示视触觉信息；另外，可以从视觉上直观的了解力/触觉传感器与物体的接触点及接触点在物体的分布情况等信息。