基于注意力机制的B超遥操作人机共享控制系统及方法

本发明涉及遥操作控制，具体涉及一种基于注意力机制的b超遥操作人机共享控制系统及方法。

背景技术：

1、目前，使机器人在非结构化环境中做出准确高效的决策仍然是一个艰巨的挑战。在这样的环境中，机器人往往面临着复杂的地形、障碍物以及各种变化的情况，需要具备高度的智能和灵活性才能应对。通过遥操作，操作者可以远程控制机器人执行任务，而无需直接置身于复杂或危险的环境中。这种方式可以保护操作者的安全，并且提高任务的执行效率，因为机器人可以借助操作者的智慧性优势来应对突发状况，并执行复杂的任务。

2、目前许多遥操作系统并没有很好地利用操作者的智慧性，以进一步减轻操作者的负担，提高任务完成的效率和安全性。在这些系统中，操作者往往仅仅是操作机器人的控制系统，而无法主动对机器人的感知系统进行有效控制。

3、如专利公开号为cn110815258a的基于电磁力反馈和增强现实的机器人遥操作系统和方法，该系统利用操作人员的手势和语音信息，经推理提取控制指令，引导虚拟机器人运动，真实机器人通过互联网接收数据以复制虚拟机器人的动作，然而，这个系统仅仅让操作者完成指令控制，没有利用操作者的注意力使遥操作系统更加智能化。

4、如专利公开号为cn110007601a的一种双边遥操作系统的控制装置和设备，该装置通过将目标力反馈值发送至双边遥操作系统的从机器人，并由从机器人反馈至操作者，提高了双边遥操作医疗系统机器人跟踪目标环境运动状态的精度，然而，该装置只是将机器人的目标力进行单向反馈，没有利用操作者的注意力反馈给遥操作系统，遥操作系统效率较低。

技术实现思路

1、为了克服现有技术存在的缺陷与不足，本发明提供一种基于注意力机制的b超遥操作人机共享控制系统及方法，本发明提取操作者的注意力信息，然后利用这些信息动态调整3d点云压缩的过程，实现更高的压缩效率，进而提高环境呈现的帧率，使遥操作过程更为安全流畅，智能控制模块基于操作者的位置控制指令，进行接触力和接触位置的智能调节，并扫描人体表面，本发明有效地减轻了操作者的负担，同时也保证了任务的完成效率和安全性，可以应用于机器人遥操作系统。

2、为了达到上述目的，本发明采用以下技术方案：

3、本发明提供一种基于注意力机制的b超遥操作人机共享控制系统，包括：vr眼镜、touch x操纵杆、机械臂、立体相机、点云压缩模块和智能控制模块；

4、所述立体相机用于扫描人体，获取3d点云；

5、所述vr眼镜用于渲染3d点云，提取用户的关注点位置；

6、所述点云压缩模块用于基于注意力机制进行点云压缩，将点云数据划分为高精度显示的区域a和低精度显示的区域b，根据用户的关注点位置确定区域a的中心，对区域a和区域b的点云分别使用不同的分辨率进行压缩；

7、所述touch x操纵杆与机械臂无线连接，用于远程控制机械臂运动；

8、所述机械臂与立体相机连接，所述机械臂带动立体相机执行b超扫描任务；

9、所述智能控制模块用于获取操作者的位置控制指令，根据机械臂末端与人体的接触力反馈进行实时调整。

10、作为优选的技术方案，所述区域a占有点云中较少的数据，所述区域b是在点云数据去除区域a后剩余的部分，占有大部分的点云数据，所述区域b采用线性渐变的方式，根据区域b与区域a的距离，对区域b内的点云数据进行线性调整，逐渐降低其分辨率。

11、作为优选的技术方案，所述点云压缩模块用于基于注意力机制进行点云压缩，具体包括：

12、基于vr眼镜获取眼球关注数据eyespose，获取点云数据incloud；

13、将眼球关注数据eyespose设定为区域a的圆心，基于眼球关注数据eyespose得到用户关注点位置，根据用户关注点位置调整区域a的位置及大小；

14、遍历输入点云中的所有点，对于每个点p，计算其与区域a球心的距离d，基于距离d计算点p处的分辨率，并将其转换为点p的保留概率，基于概率抽样判断是否保留点p，若保留点p则将其编码到输出点云outcloud中，否则继续遍历直到完成对整个点云的遍历。

15、作为优选的技术方案，对于每个点p，计算其与区域a球心的距离d，基于距离d计算点p处的分辨率，并将其转换为点p的保留概率，具体包括：

16、区域a的点云分辨率resa为resmax；

17、对于区域b中的任一点p(x，y，z)，点p与区域a球心的距离用下式计算，表示为：

18、

19、临时分辨率为：

20、restmp＝resmax-(resmax-resmin)*δ*d

21、点p处的分辨率为：

22、resb＝max(resmin，restmp)

23、点p的保留概率为：

24、

25、其中，pkeep表示点p保留的概率，δ表示分辨率变化率，resmin、resmax分别表示点云分辨率范围的最小值和最大值。

26、作为优选的技术方案，所述智能控制模块用于获取操作者的位置控制指令，根据机械臂末端与人体的接触力反馈进行实时调整，具体包括：

27、将touch x操纵杆的位移增量映射到机械臂末端坐标系中，表示为：

28、

29、其中，δxt表示touch x操纵杆的位移增量，δxter为机械臂末端坐标系下的位移增量，为机器人基坐标系到机械臂末端坐标系的旋转矩阵，为touch x操纵杆基坐标系到机器人基坐标系的旋转矩阵；

30、计算机械臂与环境的交互力为：

31、

32、

33、其中，fs为机械臂末端力传感器检测到的力，ftc表示工具重力在工具质心坐标系下产生的力，fre0表示机械臂与环境的交互力，为工具坐标系相对于力传感器坐标系的旋转矩阵，为机械臂末端坐标系到力传感器坐标系的旋转矩阵；

34、构建力控算法，表示为：

35、

36、其中，xd、分别为机械臂末端期望的位置、速度以及加速度，x0、分别为机械臂末端实际的位置、速度以及加速度，fred为期望的交互力，m、d、k为力控制器参数，且是对角元素为正常数的对角矩阵；

37、将touch x操纵杆的控制量与力控制器的控制量相加得到最终的控制量，表示为：

38、δx＝δxters′+δxfrs

39、

40、

41、

42、

43、其中，dt为控制时间间隔；

44、将基于机器人末端坐标系的控制量δx转换到机器人基坐标系中实现控制，具体表示为：

45、

46、其中，xcur为机械臂当前位置，为机械臂末端到机械臂基坐标系的旋转矩阵；

47、将机械臂下一步的期望位置为xd转换到相机坐标系下得到相机坐标系下该点对应的坐标为：

48、

49、通过查找xc与3d点云模型中所有点的欧氏距离的最小值的点所对应的法向量nc作为期望点的法向量，将法向量nc变换到机器人基坐标系下得到期望法向量：

50、

51、其中，为机器人基坐标系到相机坐标系的旋转矩阵；

52、基于期望法向量得到期望的机械臂末端姿态，具体表示为：

53、r＝arctan(-nr[1]，-nr[2])

54、p＝-arcsin(-nr[0])

55、γ＝0

56、其中，nr为在机器人基坐标系下，机械臂末端坐标系的期望位置所对应的待操作物体的法向量，r、p及y为机械臂末端欧拉角的期望值；

57、通过对末端的期望位置xd以及末端的期望姿态r、p及y求逆运动学得到每个关节的期望角度，控制机械臂的运动。

58、本发明还提供一种基于注意力机制的b超遥操作人机共享控制方法，包括下述步骤：

59、基于立体相机获取3d点云；

60、基于vr眼镜获取用户关注点位置；

61、基于注意力机制进行点云压缩，将点云数据划分为高精度显示的区域a和低精度显示的区域b，根据用户的关注点位置确定区域a的中心，对区域a和区域b的点云分别使用不同的分辨率进行压缩；

62、基于touch x操纵杆远程控制机械臂运动；

63、基于机械臂带动立体相机执行b超扫描任务；

64、获取操作者的位置控制指令，根据机械臂末端与人体的接触力反馈进行实时调整。

65、作为优选的技术方案，所述区域a占有点云中较少的数据，所述区域b是在点云数据去除区域a后剩余的部分，占有大部分的点云数据，所述区域b采用线性渐变的方式，根据区域b与区域a的距离，对区域b内的点云数据进行线性调整，逐渐降低其分辨率。

66、作为优选的技术方案，所述基于注意力机制进行点云压缩，具体包括：

67、基于vr眼镜获取眼球关注数据eyespose，获取点云数据incloud；

68、将眼球关注数据eyespose设定为区域a的圆心，基于眼球关注数据eyespose得到用户关注点位置，根据用户关注点位置调整区域a的位置及大小；

69、遍历输入点云中的所有点，对于每个点p，计算其与区域a球心的距离d，基于距离d计算点p处的分辨率，并将其转换为点p的保留概率，基于概率抽样判断是否保留点p，若保留点p则将其编码到输出点云outcloud中，否则继续遍历直到完成对整个点云的遍历。

70、作为优选的技术方案，对于每个点p，计算其与区域a球心的距离d，基于距离d计算点p处的分辨率，并将其转换为点p的保留概率，具体包括：

71、区域a的点云分辨率resa为resmax；

72、对于区域b中的任一点p(x，y，z)，点p与区域a球心的距离用下式计算，表示为：

73、

74、临时分辨率为：

75、restmp＝resmax-(resmax-resmin)*δ*d

76、点p处的分辨率为：

77、resb＝max(resmin，restmp)

78、点p的保留概率为：

79、

80、其中，pkeep表示点p保留的概率，δ表示分辨率变化率，resmin、resmax分别表示点云分辨率范围的最小值和最大值。

81、作为优选的技术方案，获取操作者的位置控制指令，根据机械臂末端与人体的接触力反馈进行实时调整，具体包括：

82、将touch x操纵杆的位移增量映射到机械臂末端坐标系中，表示为：

83、

84、其中，δxt表示touch x操纵杆的位移增量，δxter为机械臂末端坐标系下的位移增量，为机器人基坐标系到机械臂末端坐标系的旋转矩阵，为touch x操纵杆基坐标系到机器人基坐标系的旋转矩阵；

85、计算机械臂与环境的交互力为：

86、

87、

88、其中，fs为机械臂末端力传感器检测到的力，ftc表示工具重力在工具质心坐标系下产生的力，fre0表示机械臂与环境的交互力，为工具坐标系相对于力传感器坐标系的旋转矩阵，为机械臂末端坐标系到力传感器坐标系的旋转矩阵；

89、构建力控算法，表示为：

90、

91、其中，xd、分别为机械臂末端期望的位置、速度以及加速度，x0、分别为机械臂末端实际的位置、速度以及加速度，fred为期望的交互力，m、d、k为力控制器参数，且是对角元素为正常数的对角矩阵；

92、将touch x操纵杆的控制量与力控制器的控制量相加得到最终的控制量，表示为：

93、δx＝δxters′+δxfrs

94、

95、

96、

97、

98、其中，dt为控制时间间隔；

99、将基于机器人末端坐标系的控制量δx转换到机器人基坐标系中实现控制，具体表示为：

100、

101、其中，xcur为机械臂当前位置，为机械臂末端到机械臂基坐标系的旋转矩阵；

102、将机械臂下一步的期望位置为xd转换到相机坐标系下得到相机坐标系下该点对应的坐标为：

103、

104、通过查找xc与3d点云模型中所有点的欧氏距离的最小值的点所对应的法向量nc作为期望点的法向量，将法向量nc变换到机器人基坐标系下得到期望法向量：

105、

106、其中，为机器人基坐标系到相机坐标系的旋转矩阵；

107、基于期望法向量得到期望的机械臂末端姿态，具体表示为：

108、r＝arctan(-nr[1]，-nr[2])

109、p＝-arcsin(-nr[0])

110、y＝0

111、其中，nr为在机器人基坐标系下，机械臂末端坐标系的期望位置所对应的待操作物体的法向量，r、p及y为机械臂末端欧拉角的期望值；

112、通过对末端的期望位置xd以及末端的期望姿态r、p及y求逆运动学得到每个关节的期望角度，控制机械臂的运动。

113、本发明与现有技术相比，具有如下优点和有益效果：

114、(1)本发明通过提取操作者的注意力信息动态调整机器人的感知行为，能够更加智能地响应操作者的需求，提高了远程操作的效率和安全性。

115、(2)本发明基于人机共享控制方式，将机器人的高精度优势与操作者的智慧性优势相结合，能够充分发挥操作者主观意识和决策能力，使得系统在执行任务时更加灵活和智能。

116、(3)本发明利用操作者的注意力信息动态调整3d点云的压缩过程，实现了更高的压缩效率，进而提高了远程显示的帧率。