一种基于增强现实技术的机器人在线控制系统及方法与流程

本发明属于增强现实、机器人在线控制，涉及一种基于增强现实技术的机器人在线控制系统及方法。

背景技术：

1、增强现实技术是综合利用立体显示、智能交互、场景定位、实时注册追踪等技术，将虚拟世界与现实世界融合在一起，为用户提供虚实融合的可视化交互环境，使用户可以同时虚拟世界和现实世界进行感知和交互。工业机器人是广泛应用与工业领域的多关节机械臂或者多自由度的机器装置，通常由机械部分、传感部分和控制部分组成，具有简单易用、可编程、安全性高、易于管理等优点。目前工业机器人在制造、装配、检测、物流等领域取得了十足的发展，并产生了显著的经济效益。

2、现阶段，工业机器人的控制通常是采用离线编程、机器人示教的的方式预先定义机器人的运动轨迹，然后使机器人按照一定规则执行重复运动。对于一些依赖人机协同操作的场景，需要操作人员对机器人进行控制，传统的机器人在线控制通常由操作人员直接操作机器人控制器实现，缺乏灵活性且操作难度较高。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提出一种基于增强现实技术的机器人在线控制系统及方法，实现一种交互自然、灵活的机器人在线控制新模式，并通过碰撞检测技术在机器人控制过程中进行实时预警，有利于能将机器人快速、灵活的运动到目标姿态位置，提升机器人在线控制的效率和安全性。

2、本发明解决技术的方案是：一种基于增强现实技术的机器人在线控制系统，包括增强现实交互端、机器人系统、数据服务端；

3、增强现实交互端，用于呈现数字孪生机器人，同时为操作者提供人机交互接口，包含可视化模块、虚实融合注册模块、手势控制模块、第一网络通信模块、逆运动学解算模块、碰撞检测模块；

4、可视化模块：以虚实融合的方式呈现数字孪生机器人，通过虚实姿态映射的方式实时展现实体机器人的姿态；

5、虚实融合注册模块：用于将数字孪生机器人与现实场景融合在一起，通过机器人视觉与slam技术构建现实场景的网格模型，通过平面检测算法将数字孪生机器人放置到现实场景的固定平面位置；

6、手势控制模块：实时获取操作者的手势和位姿，根据识别出的关键操作手势执行相应的操作指令；

7、第一网络通信模块：通过无线网络与数据服务端建立数据通讯，用于与实体机器人进行数据交换，根据接收到的实体机器人姿态数据更新数字孪生机器人模型的姿态，同时能够将用户的操控指令发送到实体机器人中，实现对实体机器人设备的反向控制；

8、逆运动学解算模块：用于实现对数字孪生机器人模型的逆运动学解算，用户通过手势控制抓取数字孪生机器人模型的某个轴并拖拽到某个位置，由该模块根据所抓取轴的位置实时解算机器人的姿态；

9、碰撞检测模块：对数字孪生机器人模型与现实场景网格模型进行实时碰撞检测，当数字孪生机器人模型与现实场景发生碰撞时，触发碰撞预警提示并提醒操作者调整机器人姿态，待操作者矫正数字孪生机器人位姿使其不再触发碰撞预警时，实体机器人才同步至数字孪生机器人的姿态；

10、机器人系统，包含实体机器人、机器人控制器、机器人上位机、第二网络通信模块；

11、实体机器人：为n轴机械臂，n为大于1的整数；

12、机器人控制器：是实体机器人的数据采集与控制单元；

13、机器人上位机：内置机器人数据采集与控制程序，获取实体机器人的姿态、状态，并向机器人控制器下发控制指令；

14、第二网络通信模块：通过无线网络与数据服务端建立数据通讯，用于与机器人控制器进行数据交换，将采集的机器人姿态数据发送到增强现实交互端，并接收增强现实交互端的用户控制指令；

15、数据服务端，用于实现增强现实交互端和机器人系统之间的数据交互，能够对接入的客户端类型进行区分，将实体机器人的姿态数据、状态数据转发到增强现实交互端，并将增强现实交互端发出的控制指令转发至机器人系统，数据服务端支持多个机器人系统和增强现实交互端的接入，并能够协调增强现实交互端对机器人系统的排他性，确保机器人系统在同一时刻只能被一个增强现实交互端控制。

16、进一步的，所述的手势控制模块，手势操作方式包括点击和抓取，其中点击手势用于与虚拟控制按键进行交互，抓取手势用于拖拽数字孪生机器人某个轴操纵数字孪生机器人运动，进而实现对实体机器人的控制。

17、进一步的，所述数据服务端包括第三网络通信模块、数据同步模块；

18、第三网络通信模块：通过无线通信网络在机器人系统与增强现实交互端之间建立网络通讯桥梁，实现机器人系统与增强现实交互端之间的数据交换，能够将实体机器人的状态数据和姿态数据发送到增强现实交互端，并将增强现实交互端发出的控制指令转发至机器人系统；

19、数据同步模块：用于实现多个增强现实交互端之间的数据同步，该模块能够将增强现实交互端的交互状态数据同步到其他客户端中，同时缓存各个客户端的最新状态数据，确保新的客户端接入时能快速同步其他客户端的状态数据。

20、一种基于增强现实技术的机器人在线控制方法，包括以下三种交互操作模式：

21、自由模式：通过手势拖拽数字孪生机器人的关节轴操作，操作者抓取数字孪生机器人某个关节轴拖拽运动，逆运动学解算模块对机器人进行逆运动学解算，并实时更新数字孪生机器人的姿态，同时以固定频率将数字孪生机器人的姿态数据发送到实体机器人，控制实体机人与虚拟机器人同步运动到目标姿态位置；

22、单轴模式：通过手势点击虚拟控制按键操作，控制实体机器人某个轴执行正向或反向旋转，当按键按下时碰撞检测模块计算数字孪生机器人与周围环境的最小距离，若最小距离大于所设定的碰撞预警阈值，则向实体机器人发送运动指令控制实体机器人运动，在实体机器人运动过程中实时获取实体机器人的姿态数据，同步更新数字孪生机器人的位姿，若最小距离小于或等于碰撞预警阈值，则控制实体机器人停止，并发出碰撞预警提示；

23、平移模式：通过手势点击虚拟控制按键操作，控制机器人末端在空间中执行上、下、左、右、前、后运动操作，当按键按下时碰撞检测模块计算数字孪生模型与周围环境的最小距离，若最小距离大于所设定的碰撞预警阈值，则向实体机器人发送运动指令控制实体机器人运动，在实体机器人运动过程中实时获取实体机器人的姿态数据，同步更新数字孪生机器人的位姿，若最小距离小于或等于碰撞预警阈值，则控制实体机器人停止，并发出碰撞预警提示。

24、进一步的，所述自由模式通过手势拖拽数字孪生机器人的关节轴操作，包括单手操作和双手操作两种控制方式。

25、进一步的，所述单手操作控制方式，用户通过单手抓取数字孪生机器人的某个关节轴执行操作，具体包括以下步骤：

26、s1、通过增强现实交互端识别操作者的手势，操作者食指位置和方向发射虚拟射线；

27、s2、当射线与数字孪生机器人发生碰撞时，碰撞位置高亮显示；

28、s3、射线选中第i∈(1,n]个关节轴时，可进行抓取手势操作，拖拽机器人关节轴到目标位置；

29、s4、用户在通过手势拖拽的过程中，根据用户拖拽关节轴的目标位置与姿态，通过逆运动学解算模块解算数字孪生机器人第1～i-1个关节轴的关节变量，同时更新数字孪生机器人的姿态。

30、s5、数字孪生机器人在运动过程中通过碰撞检测模块对数字孪生机器人进行碰撞检测，若触发碰撞预警，实体机器人不进行同步运动，并对操作者进行碰撞预警提示；若没有触发碰撞预警，则以固定频率向实体机器人发送更新姿态指令；

31、s6、实体机器人接收到指令后放置到姿态队列中，并根据队列中的姿态数据实时更新实体机器人运动轨迹，使实体机器人平滑运动到目标位置；

32、进一步的，所述双手操作控制方式，用户通过双手各抓取数字孪生机器人的一个关节轴进行操作，具体包含以下步骤：

33、s1、通过增强现实交互端识别操作者手势，检测操作者食指位置和方向发射虚拟射线；

34、s2、当射线与数字孪生机器人发生碰撞时，碰撞位置高亮显示；

35、s3、一只手通过射线选中第i个关节轴，i∈(1,n-1]，另一只手通过射线选中第j个关节轴，j∈(i,n]，进行抓取手势操作，各自拖拽被抓取的关节轴到目标位置；

36、s4、用户在通过手势拖拽的过程中，通过逆运动学解算模块计算第1～i-1、第i～j-1个关节轴的关节变量，同时更新数字孪生机器人的姿态；

37、s5、释放抓取手势，若触发碰撞预警，进行碰撞预警提示，实体机器人不进行同步运动操作；若没有触发碰撞预警，则以固定频率向实体机器人发送更新姿态指令；

38、s6、实体机器人接收到指令后放置到姿态队列中，并根据队列中的姿态数据实时更新实体机器人运动轨迹，使实体机器人平滑运动到目标位置。

39、进一步的，所述逆运动学解算模块的解算过程如下：

40、(1)定义数字孪生机器人当前构型下被抓取关节轴相对于基坐标系o的位置矢量和姿态矩阵分别为pc和rc＝[r1,r2,r3]，rj,j＝1,2,3分别是被抓取关节轴在当前构型下沿着关节轴局部坐标系的三个坐标轴的单位矢量；其中，单手操作模式时，基坐标系取数字孪生机器人的基坐标系oo，双手操作模式时，第一次抓取的基坐标系取数字孪生机器人的基坐标系oo，第二次抓取的基坐标系取通过手势第一次抓取数字孪生机器人关节轴的固连坐标系oi；定义手势拖拽的目标位置矢量和姿态矩阵分别为pd和rd＝[d1,d2,d3]，dj,j＝1,2,3分别是被抓取关节轴在目标位置和目标姿态下沿着关节轴局部坐标系的三个坐标轴的单位矢量；

41、(2)构建数字孪生机器人被抓取关节轴从当前位姿到目标位姿的位置误差函数，定义抓取轴的目标位置与当前位置的误差为两位置点构成矢量欧式范数：

42、δp＝||pd-pc||2

43、假设oi是当前构型下第i，i＝1,……,n个关节轴的坐标原点，yi是沿着第i个关节旋转轴的单位矢量，pic是oi指向被抓取关节轴在机器人当前姿态下的位置矢量，pid是oi指向被抓取关节轴在机器人目标姿态下的位置矢量，由于机器人每个关节旋转轴是固定的，将pic绕yi轴旋转θ度，得到新矢量pit：

44、pit(θ)＝r(yi,θ)pic

45、其中，r(yi,θ)是一个3×3的空间旋转矩阵，表示绕yi轴旋转θ度；

46、被抓取轴在数字孪生机器人当前姿态与目标姿态的位置误差函数表示为：

47、

48、将最小化δp(θ)转换成最大化pid[r(yi,θ)pic]问题，令

49、e1(θ)＝pid[r(yi,θ)pic]

50、(3)构建数字孪生机器人被抓取关节轴从当前位姿到目标位姿的姿态误差函数：

51、

52、其中，(dj·rj-1)∈[-2,0]；

53、将rj绕yi轴旋转θ度，得到新矢量rjt：

54、rjt(θ)＝r(yi,θ)rj

55、定义φj(θ)是矢量dj与rjt(θ)的夹角，φj(θ)∈[0,π]，矢量dj和rjt(θ)均为单位矢量，有djrjt(θ)＝cosφj(θ)；

56、被抓取轴在数字孪生机器人当前姿态与目标姿态的姿态误差函数表示为：

57、

58、将最小化δr(θ)转化为最大化问题，令

59、

60、(4)定义数字孪生机器人被抓取关节轴从当前位姿到目标位姿的误差函数：

61、e(θ)＝ω1e1(θ)+ω2e2(θ)

62、其中ω1与ω2分别是位姿误差与姿态误差的权重，将罗德里格斯公式带入上式得：

63、e(θ)=αcosθ+βsinθ+γ(1-cosθ)

64、其中：

65、

66、

67、

68、化简得到：g(θ)＝acosθ+bsinθ+c，其中a＝α-γ,b＝β,c＝γ；

69、将g(θ)转化成如下形式：

70、

71、其中δ∈[-π,π]；当k∈z时g(θ)取最大值，对应e(θ)取最大值；

72、(5)根据上述公式，在每次迭代中对于每个需要调整的关节轴求解得到使g(θ)取最大值的旋转值θ，依次调整每一个关节轴的关节变量直至迭代结束。

73、进一步的，逆运动学解算的迭代求解过程包括下列步骤：

74、1)获取用户当前通过手势抓取的关节轴索引，对于n轴机械臂，根据当前单手或双手操作模式以及手势抓取的关节轴位置获取需要迭代更新关节轴的范围[l,u]∈[1,n]；

75、2)初始化定义最大迭代次数hmax、最大位置误差εp、最大姿态误差εr、权重ω1、ω2、每个所需更新关节轴的当前姿态值θic、每个所需更新关节轴的关节限位范围θimin、θimax、当前迭代次数h，其中i∈[l,u]；

76、3)对于每个所需更新关节轴计算使得目标函数g(θ)最大的旋转值θi，并更新每个关节轴的当前姿态值其中：

77、若则若则

78、4)更新迭代次数h为h+1，判断迭代次数h是否大于最大迭代次数hmax，若大于则退出；

79、5)计算位置误差δp和姿态误差δr，若δp≤εp并且δr≤εr则退出，否则跳转至步骤3)继续迭代。

80、本发明与现有技术相比的有益效果是：

81、(1)本发明将增强现实技术、肢体感知技术和数字孪生技术相结合，以增强现实可视化的方式对机器人的姿态、状态进行实时可视化反馈，通过手势与数字孪生机器人进行交互进而实现对机器人的在线控制，本发明提供一种直观、灵活的机器人在线控制和机器人姿态反馈新模式，与现有机器人离线编程、示教的控制方式相比，在满足机器人控制功能的同时，提升了人机协作和控制的灵活性；此外，基于网络通讯传输，本发明提供了一种机器人远程协同控制的新模式；

82、(2)本发明通过手势控制模块实时获取操作者的手势姿态，支持通过双手各抓取一个关节轴进行拖拽运动，并通过逆运动学解算模块根据抓取位置“分段”解算机器人姿态，与现有的通过抓取机器人末端并对所有关节轴进行逆运动学解算的控制方式相比，在实现机器人逆运动学解算的前提下，解决了中间关节轴姿态不可控的问题，操作者能快速将机器人调整到期望姿态，提高了机器人控制的效率和灵活性；

83、(3)本发明通过碰撞检测模块，在对机器人进行操作的过程中，基于数字孪生机器人模型对机器人进行实时碰撞检测，从而提高机器人在线控制的安全性。