基于鳍条效应结构的柔性视触觉手指、手爪及传感方法

本发明属于柔性机械手和传感器，特别提出一种基于鳍条效应结构的柔性视触觉机械手及其传感方法。

背景技术：

1、机械手是智能机器人产业的核心技术之一，被广泛应用于代替人力执行分拣、挖掘等重复性或危险性的工作，显著提升了生产效率与安全性。然而，传统机械手的刚性结构极易在操纵过程中对工件和环境造成损伤，为生产埋下了安全隐患。柔性手爪是一类使用柔性材料制成或拥有柔性结构的机械手爪，能有效缓冲误触造成的冲击，在环境适应性上比刚性机械手更具优势，具有极高的应用价值。触觉传感器是能反馈接触的位置、力度和表面形态等触觉信息的传感器，能允许机械手实时地调整工作状态，已经成为了实现机械手反馈控制不可或缺的一环。

2、基于鳍条效应(fin ray effect)结构的手指(鱼鳍手)的手爪是一类有极强柔顺性的仿生结构柔性手爪，已广泛应用到物体抓取和操纵领域。然而，这类手爪在工作时允许显著的变形，在与常见的接触式触觉传感器集成时对结构设计要求较高，这限制了鱼鳍手的推广应用。各类触觉传感器中，基于视觉的触觉传感器分辨率高，原理结构简单，传感元件不依赖接触，且得益于深度学习技术的发展，传感能力有了极大提高，在医疗影像处理等领域有广阔的应用前景，在与柔性手爪结合上也有极大的潜力。将鱼鳍手与视触觉传感器结合，能够使手爪实时根据触觉反馈调整工作状态，实现更为稳定的抓取。然而，现有的鱼鳍手大多设计缺乏触觉感知功能，或者只能感知特定区域的接触，因此亟待设计出一款具有更全面触觉感知能力的鱼鳍手。

技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本公开提出一种鳍条效应结构的柔性视触觉手指、手爪及传感方法，本发明提出的柔性手爪有全方向触觉传感能力，并且简化了结构设计和制作方法，其照明要求低，制作方便，适用场景多，有较高的应用价值。

3、为了实现上述目的，本公开采用如下技术方案：

4、本公开第一方面提供的一种基于鳍条效应结构的柔性视触觉手指，包括：

5、指体，为采用柔性透明材料制成的鳍条效应结构，在所述指体正对物体的一侧表面上设有柔性半透明的感知层，在与所述感知层相接的所述指体两侧面分别设有标记点阵列，在所述感知层的表面及所述指体的其余侧表面均设有柔性遮光层；

6、指体底座，与所述指体的根部连接，所述指体底座具有透明底板；

7、图像采集单元，包括固定于所述指体底座底部的不透光外壳以及设置于所述外壳内的光源和相机，所述相机位于设有所述感知层的指体一侧正下方，所述光源设置在所述相机的镜头周围。

8、在一些实施例中，设有所述感知层一侧的所述指体的壁厚随着位置靠近指根逐渐变大。

9、在一些实施例中，所述感知层使用硬度为5a的柔软材料制成。

10、在一些实施例中，所述标记点阵列内的标记点遵循标记点的半径和间距随着与所述相机的距离成比例增加的规律，以确保图像中各标记点之间的间距和大小趋近一致。

11、在一些实施例中，所述光源的颜色为单白色，在所述相机和所述光源之间还安装有隔离环，用于防止所述相机拍摄的图像中出现光斑。

12、本公开第二方面提供的一种柔性手爪，包括：

13、若干手指，所述手指采用根据本公开第一方面任一实施例所述的视触觉手指；

14、驱动机构，与各手指的所述外壳连接，用于为各视触觉手指提供驱动力，实现对物体的抓取和释放。

15、一种基于本公开第一方面任一实施例所述视触觉手指的传感方法，包括：

16、步骤1)接触面整体变形重建：

17、将与物体接触发生变形的所述遮光层定义为接触面，利用所述相机获取物体按压所述视触觉手指表面的实时图像，对所述实时图像结合无畸变针孔相机模型、物体按压视触觉手指时接触面各处等宽的几何约束和对所述实时图像中的标记点特征追踪得到无局部变形的接触面整体变形的三维空间坐标，实现对接触面整体变形的重建，将所述无局部变形的接触面定义为未局部变形面；

18、步骤2)接触面局部变形重建：

19、步骤2-1)利用所述相机录制接触面发生尽可能多不同变形时的影像作为参考视频，以追踪各种变形下的标记点位置；

20、步骤2-2)将半径已知的标定球按压到接触面上，利用所述相机获得标定图像，并从所述参考视频中筛选出与所述标定图像中标记点位置最为接近的一帧作为标定参考图像，计算所述标定图像与所述标定参考图像的归一化亮度差；根据所述标定图像中由所述标定球按压所述接触面所产生的阴影区求取所述标定图像中所述标定球的球心位置，利用所述球心位置和无畸变针孔相机模型得到阴影区变形后对应的局部变形三维空间坐标，利用该坐标和按照步骤1)得到的阴影区对应的接触面整体变形的三维空间坐标计算阴影区内各点对应的按压深度，利用阴影区各点对应的按压深度和归一化亮度差拟合得到归一化亮度差与按压深度的映射，完成标定；

21、步骤2-3)从所述参考视频中筛选出与所述实时图像中标记点位置最为接近的一帧作为实时参考图像，计算所述实时参考图像与所述实时图像的归一化亮度差，利用所述映射获取所述接触面各点的实时按压深度，实现对所述接触面局部变形的重建；

22、步骤3)接触面完整变形重建：

23、将所述接触面整体变形的三维空间坐标减去所述接触面各点的实时按压深度得到所述接触面各点的完整变形，实现对所述接触面完整变形的重建。

24、在一些实施例中，步骤1)具体包括以下步骤：

25、1-1)定义无畸变针孔相机模型，其表达式如下：

26、zp′＝kp

27、其中是相机内参矩阵；p′和p分别是一帧图像上一个像素的像素坐标及其在相机坐标系中对应的三维坐标，二者定义为：

28、

29、其中，图像的u轴与相机坐标系的x轴平行，图像的v轴与相机坐标系的y轴平行，相机坐标系的原点设置在相机光心处，并规定z轴的正向向下；

30、1-2)按照手指宽度方向与v轴和y轴对齐方式组装所述视触觉手指，利用相机获取物体按压所述视触觉手指时的实时图像；将所述指体与所述感知层的交界面定义为观测面，设手指发生整体变形时满足如下几何约束：相机坐标系下，对于所述观测面左右边线上位于同一高度处的点p1和点p2的距离与手指的宽度e总是相等，因而有：

31、||p1-p2||2＝e

32、z1＝z2

33、设所述实时图像中与点p1和点p2相对应的两个像素点分别为p′1和p′2，像素点p′1和p′2满足：

34、u1＝u2

35、其中，z1、z2分别为点p1和点p2的z轴坐标，u1、u2分别为像素点p′1和像素点p′2的u轴坐标；

36、1-3)追踪由所述实时图像中观测面的左右边线，利用步骤1-2)所述表达式得到所述观测面左右边线上所有像素对应的三维空间坐标，利用线性插值得到所述观测面任一像素点的三维空间坐标pvs；

37、1-4)对所述三维空间坐标标pvs进行多项式拟合和求导，得到其各处的切线倾角θ，按照下式得到无局部变形的整体变形接触面上各像素点的三维空间坐标plus：

38、

39、

40、其中，tv为所述感知层的初始厚度，t0为所述观测面左右边线各处沿相机光轴方向的等效厚度t0。

41、在一些实施例中，步骤2-2)具体包括以下步骤：

42、2-2-1)将一个直径已知为r的标定球按压在所述接触面上，使手指发生整体和局部变形，获得标定图像；

43、2-2-2)将所述参考视频各帧中的标记点位置与所述标定图像中标记点位置比对，找出最接近的一帧作为标定参考图像，比对方法是计算所述标定图像与所述参考视频的各帧图像中标记点的距离之和取该距离之和最小的一帧参考视频作为标定参考图像，的公式表述为：

44、

45、其中，m′c和分别是标定图像和参考视频的第i帧图像中标记点的像素坐标；

46、2-2-3)按照下式求取归一化亮度差

47、

48、其中，ic和irefc分别为标定图像和标定参考图像的亮度；

49、2-2-4)在所述标定图像中圈出由所述标定球按压在所述接触面上所产生的阴影区的圆轮廓，标记其圆心所对应的像素坐标cr′和圆上一点的像素坐标pr′，两点间三维距离近似为标定球的半径r，则有：

50、||pr-cr||2＝r

51、zr＝zcr

52、其中，cr为与cr′对应的点在相机坐标系中的三维空间坐标，即球心位置，pr为与pr′对应的点在相机坐标系中的三维空间坐标，zr和zcr分别为pr和cr的z轴坐标；

53、结合上述公式和无畸变针孔相机模型的表达式即可得出球心的粗略位置；

54、2-2-5)按照下式对球心的粗略位置进行更新：

55、

56、其中，lc＝||cr||2是球心与相机光心的距离，c是球心的准确位置；

57、2-2-6)利用球心的准确位置c和无畸变针孔相机模型计算阴影区变形后各像素点对应的三维空间坐标pd，参照步骤1)所述方法得到阴影区对应的位于未局部变形面上的点的三维空间坐标plusd，并按照下式得到接触面各点的按压深度dd：

58、dd＝zd-zlus

59、其中，zd和zlus分别是pd和plusd的z轴坐标；

60、2-2-7)以为自变量对和dd进行多项式拟合得到归一化亮度差与按压深度的映射m()；

61、步骤2-3)具体包括以下步骤：

62、对所述实时图像逐帧按照步骤2-2-2)～2-2-3)的操作得到时归一化亮度差再由映射m()得到实时按压深度d以完成局部重建：

63、

64、在一些实施例中，所述传感方法还包括通过实时追踪标记点，并对标记点位置与其初始位置偏移量求和来判断手指受到的力方向，具体包括以下步骤：

65、按照下式对标记点位置与其初始位置偏移量进行求和：

66、o′＝∑(m′-m′*)

67、其中，是实时图像中标记点的整体偏移量，m′是标记点在实时图像中的像素坐标，m′*是标记点在图像中的初始像素坐标；

68、根据设定阈值ε判断手指与物体是否发生接触，当||o′||2＞ε时，判定手指与物体发生一次接触，并按照下式定义相机坐标系中手指的接触力方向：

69、

70、其中，o是表示力方向的单位矢量，o′u和o′v分别为实时图像中标记点的u轴和v轴坐标；

71、将手指所有侧面中法向量最接近o的手指侧面判定为受力面，判断接近程度的方法为向量内积。

72、本公开的特点及有益效果在于：

73、本公开将fin ray鱼鳍手与视触觉传感器结合，提出一种具有视触觉感知能力的柔性手指及具有该手指的手爪，使用视触觉传感器获得了较高的分辨率，并简化了照明配置和制作方法，克服了柔性手指和手爪缺乏触觉反馈能力的问题，可以实现手爪的反馈控制。

74、本公开还提出了适用于所提出的柔性手指的传感方法，使得该手指能重建接触面整体和局部变形和感知接触力，实现视触觉功能。

75、本公开可以应用为机械臂末端效应器，完成柔性抓取、触觉传感和反馈控制的工作，使得机械手爪可以被更好地控制和与环境交互。