一种实现机器人与人之间物品传递的人机协作方法及装置与流程

技术特征：
1.一种实现机器人与人之间物品传递的人机协作方法，其特征在于，包括以下步骤：1)操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统；2)机械臂运动规划与控制系统根据接收到的操作人员手持的指定容器的位姿，结合机械臂末端的当前位姿以及交接策略，得到机械臂末端的目标位姿，然后根据机械臂末端的目标位姿和当前位姿生成机械臂关节速度控制指令，控制机械臂末端到达目标位姿。2.根据权利要求1所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的视觉观测系统的观测范围指相机视野，所述的视觉信息包括rgb图像和深度图像；所述的视觉观测系统包括以下模块：图像采集模块、语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块；所述的图像采集模块用于采集相机视野中的rgb图像和深度图像，语义分割模块用于标注rgb图像中每个像素点所属的语义类别，所述的语义类别包括两类，一类是操作人员手持的指定容器，另一类是除操作人员手持的指定容器外的其他所有物体，语义分割优化模块用于优化语义分割模块产生的语义分割结果，区域提取模块用于根据语义分割优化模块优化之后的语义分割结果提取rgb图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，位姿估计模块用于估计操作人员手持的指定容器的位姿。3.根据权利要求1所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的机械臂运动规划与控制系统包括以下模块：目标位姿计算模块、人工势场建立模块以及导纳控制模块；所述的目标位姿计算模块用于根据操作人员手持的指定容器的位姿、机械臂末端的当前位姿以及交接策略得到机械臂末端的目标位姿，人工势场建立模块用于根据机械臂末端目标位姿建立虚拟引力势场并计算机械臂末端所受到的虚拟力和力矩，导纳控制模块用于根据机械臂末端受到的虚拟力和力矩计算机械臂关节速度指令。4.如权利要求2所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的语义分割模块使用的算法包括但不限于fast
‑
scnn；所述的位姿估计模块使用的算法包括但不限于rede。5.如权利要求2所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的语义分割结果的初始值由视觉观测系统中语义分割模块得到，该结果会将rgb图像边缘的一些像素点误分类为操作人员手持的指定容器，视觉观测系统中语义分割优化模块通过分析该结果中被标记为操作人员手持的指定容器的连通区域，当有多个这样的连通区域时，去除在边缘且像素点数量较少的连通区域，从而优化语义分割结果。6.如权利要求1或2中所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的交接策略以及机械臂末端的目标位姿的确定方法具体为：若机械臂末端与操作人员手持的指定容器的位置偏差较小，且操作人员手持的指定容器的姿态是杯口朝上，则使机械臂末端跟随操作人员手持的指定容器，同时进行倾倒，否则，使机械臂末端跟随操作人员手持的指定容器，同时保持机械臂末端夹爪所持容器杯口朝上。7.如权利要求3中所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，
所述的虚拟引力势场的建立具体为，根据下式建立以机械臂末端的目标位姿为中心的虚拟引力势场：其中，x为待评估处的位姿，x
t
为机械臂末端的目标位姿，k
a
为系数，d
a
为距离阈值，u
att
(x)为x处的虚拟势能；机械臂末端所受到的虚拟力和力矩的计算具体为，根据下式计算机械臂末端在虚拟引力势场中受到的虚拟力和力矩：其中，x
e
为机械臂末端的当前位姿，x
t
为机械臂末端的目标位姿，k
a
为系数，d
a
为距离阈值，f
att
(x
e
)为机械臂末端受到的虚拟力和力矩；机械臂末端的当前位置和目标位置的偏差的具体计算为，机械臂末端的当前位置(x
e
，y
e
，z
e
)
t
，机械臂末端的目标位置(x
t
，y
t
，z
t
)
t
，偏差根据下式进行计算：e
d
＝(x
e
‑
x
t
，y
e
‑
y
t
，z
e
‑
z
t
)
t
#(3)机械臂末端的当前姿态和目标姿态的偏差的具体计算为，机械臂末端的当前姿态对应的旋转矩阵r
e
＝[n
e s
e a
e
]，机械臂末端的目标姿态对应的旋转矩阵r
t
＝[n
t s
t a
t
]，偏差根据下式进行计算：机械臂末端的当前位姿和目标位姿的偏差为：8.如权利要求3或7中所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的机械臂关节速度指令的计算具体为，首先根据下式计算机械臂末端在虚拟力和力矩作用下的期望速度：力矩作用下的期望速度：其中，m为期望的惯性特性，d为期望的阻尼特性，f
att
为机械臂末端受到的虚拟力和力矩，为k时刻机械臂末端的期望线加速度和角加速度，为k时刻机械臂末端的期望线速度和角速度，然后根据下式计算机械臂的关节速度：
其中，为机械臂的期望关节速度，j(θ)为雅可比矩阵，v为机械臂末端的期望线速度，ω为机械臂末端的期望角速度。9.一种实现如权利要求1或2或3或4或5或7机器人与人之间物品传递的人机协作方法的装置，其特征在于，所述的装置如下：视觉观测系统中使用的装置包括rgb
‑
d相机以及第一计算模块，所述的rgb
‑
d相机用于获取rgb图像和深度图像，所述的第一计算模块用于运行语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块中的算法；机械臂运动规划与控制系统中使用的装置包括机械臂和第二计算模块，机械臂用于执行速度控制指令以及反馈机械臂末端位姿，第二计算模块根据视觉观测系统得到的操作人员手持的指定容器的位姿，结合机械臂反馈的末端位姿和设计好的交接策略，建立虚拟引力势场，计算机械臂末端受到的虚拟力和力矩、机械臂末端在虚拟力和力矩作用下的期望速度以及机械臂的期望关节速度。10.根据权利要求9所述的实现机器人与人之间物品传递的人机协作方法的装置，其特征在于，所述的视觉观测系统使用的rgb
‑
d相机包括但不限于intel realsense l515，机械臂运动规划与控制系统使用的机械臂包括但不限于ur5，所述的rgb
‑
d相机用于获取rgb
‑
d图像，所述的机械臂用于执行速度控制指令和反馈机械臂末端位姿；所述相机与机械臂之间的位姿相对关系已经事先标定得知。

技术总结
本发明公开了一种实现机器人与人之间物品传递的人机协作方法及装置，包括操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统等步骤，机械臂可以柔顺、灵敏地跟随操作人员手持的指定容器运动，且在跟随操作人员手持的指定容器运动的过程中，机械臂始终保持末端夹爪所持容器的杯口朝上，以避免盛装在其中的物品掉落，当操作人员手持的指定容器位置稳定且杯口朝上时，机械臂可以迅速、准确地在该位置进行物品交接。准确地在该位置进行物品交接。准确地在该位置进行物品交接。


技术研发人员：杨逸飞 林隆中 章一凡 熊蓉 周忠祥 王越
受保护的技术使用者：浙江大学
技术研发日：2021.09.08
技术公布日：2021/11/24