基于多维度摩擦触觉信号的纹理表面识别方法

本发明涉及人机交互的触觉识别领域，具体来说，涉及一种基于多维度摩擦触觉信号的纹理表面识别方法。

背景技术：

1、纹理是一种物体表面普遍存在且具有视-触觉双重属性的基本特征，其蕴含粗糙度、硬度、摩擦等反映物体表面状态的多维信息。工业领域中，材质表面纹理是影响产品外观和性能的重要因素。人机交互、智能机器人和智能假肢等技术的飞速发展，使纹理识别技术已在计算机视觉和模式识别领域得到大量应用。然而，随着纹理识别广泛应用于复杂工作环境中，单一的基于视觉图像的纹理识别方法已不能满足人们对纹理识别的需求。触觉纹理识别根据机器与材料表面交互获得的触觉反馈信息进行纹理辨识和区分。在力触觉人机交互、机器人触觉、弱视觉特征纹理识别等领域，触觉纹理识别发挥着难以被视觉纹理识别替代的作用。因此，基于与材料表面交互时触觉反馈信息的触觉纹理识别方法的开发具有非常重要的应用价值。

2、目前已有一些纹理表面的触觉分类识别方法：专利cn114898219a使用机械手触觉压力数据，开发一种用多头编码自注意力层和前馈神经网络层提取数据特征，支持向量机(svm)分类模型的机器学习分类方法实现物体识别。专利cn117170517a将由柔性触觉传感器采集的力触觉信号映射为二维灰度图像，采用深度神经网络学习算法分类图像进而实现触觉识别。专利cn116738281a结合力触觉和声音信号，提取梅尔频率倒谱系数作为特征向量，采用svm分类模型的机器学习分类方法实现物体识别。

3、通过对已有纹理触觉分类方法的分析发现，现有方法虽已经取得了长足的发展，但是仍然存在较大局限性。如采用有监督学习特点的svm模型，需要手动设计提取与触觉相关的纹理特征，无法很好地适用未知纹理的分类，模型泛化能力弱，且整个过程繁琐复杂，智能化不足；另一方面，用于纹理识别的数据大多是单模态的力触觉信息，不能够提供丰富、准确的纹理信息且易受环境影响，抗干扰能力差，训练得到的模型应用场景适应性不强；此外，经过变换后的纹理触觉信息其时间特性和空间几何关系被忽略，得到的模型对相似纹理不敏感。因此，亟需一种基于多维度触觉信号且具备无监督学习特点的纹理表面识别方法，通过提取触觉序列信息的多尺度几何信息和时序相关性特征作为分类参考因子，提高模型泛化能力，实现智能化、高准确度的纹理表面识别。

技术实现思路

1、本发明针对现有技术的不足，提供一种基于多维度摩擦触觉信号的纹理表面识别方法，通过结合蕴含纹理空间几何形貌信息的摩擦触觉信号，如摩擦系数、接触反馈压力、摩擦诱导振动，增大纹理表面空间几何形貌的表征维度，提高纹理表面识别的准确性。结合具有无监督学习特点的长短时记忆叠加卷积神经(lstm-cnn)网络，自动提取多维度摩擦触觉信号的时域数据时间序列依赖关系和空间几何尺度特征，建立纹理表面分类模型，实现纹理表面的摩擦触觉识别。

2、本发明具体采用的技术方案包括如下步骤：

3、步骤s1，驱动模块控制仿生手指以不同的接触压力、滑动速度、接触角度扫描待测样品；

4、步骤s2，信号采集模块获取多维度摩擦触觉信号；

5、步骤s3，对所述摩擦触觉信号数据做分析处理，通过校准、滤波、整合等方法得到用于训练分类模型的样本数据库；

6、步骤s4，对数据样本进行分帧处理，实现数据扩增，通过样本数据库训练并评估后的lstm-cnn网络分类模型，对新采集的样本进行识别。

7、所述步骤s1驱动模块控制仿生手指扫描待测样品表面，具体包括：

8、控制试验机驱动装置实现仿生手指以压力fz：0.8～3n、滑动速度vx：10～40mm/s、相对位移lx：30mm、角度pj：10～70°的接触因素扫描待测样品表面。

9、所述步骤s2信号采集模块获取多维度摩擦触觉信号，具体包括：

10、置于仿生手指上方的三维力传感器，采集接触压力以及滑动方向上摩擦力信号；嵌入仿生手指柔性指尖的柔性触觉传感器，采集接触样品表面的反馈压力信号；固定在仿生手指柔性指尖上方的三轴加速度传感器，采集扫描样品表面的三维加速度信号。

11、所述步骤s3摩擦触觉信号数据的分析处理，具体包括：

12、采用一阶低通滤波器，分别将信号采集模块获取的三维力传感器数据f、柔性触觉传感器数据t、三轴加速度传感器数据k滤除系统高频干扰信号，公式如下：

13、fji＝αfji+(1-a)fj(i-1)  (1)

14、kji＝αkji+(1-α)kj(i-1)  (2)

15、ti＝αti+(1-α)ti-1  (3)

16、α＝1/[1+(1/2πhcp)]  (4)

17、式中，fji为滤波后三维力数据的第i个值，kji为滤波后三轴加速度数据的第i个值，j代指滤波后x、y、z轴的数据，ti为滤波后接触反馈压力数据的第i个值，fji为原始三维力数据的第i个值，kji为原始三轴加速度数据的第i个值，j代指原始x、y、z轴的数据，ti为第i个原始接触反馈压力数值，其中将原始数据的第一个值作为滤波的初始值；α为滤波器因数，hc为截止频率，p为采样周期；

18、将滤波后的三维力学数据转换为摩擦系数μ，公式如下：

19、

20、式中，μi表示第i个摩擦系数值，fxi、fyi、fzi分别为滤波后三维力传感器x、y、z轴数据的第i个值，a、b、c分别为x、y、z轴力的零位偏差均值；

21、将滤波后的接触反馈力学数据做基线校准得到接触反馈压力q，公式如下：

22、qi＝ti-d  (6)

23、式中，qi为第i个柔性触觉传感器接触反馈压力值，d为柔性触觉传感器的零位形变偏差均值；

24、将滤波后的三轴加速度数据转换为仿生指尖的竖直振动s，公式如下：

25、

26、式中，si为振动数据的第i个值，kxi、kyi、kzi分别为滤波后三轴加速度传感器x、y、z轴数据的第i个值；

27、将待测样品种类作为标签与摩擦系数、反馈压力、振动数据整合成四维数组，作为练分类模型的数据样本库。

28、所述步骤s4数据分帧处理，具体包括：

29、通过滑动窗口的数据采样方法进行样本的分帧处理，实现样本数据扩增，扩增样本数n计算公式如下：

30、

31、式中，l为样本数据长度，q为采样窗口长度，w为滑动步长。

32、所述步骤s4分类模型的训练评估，具体包括：

33、对数据进行标准化处理，将摩擦触觉数据映射到0～1之间；对样品种类标签进行独热编码，数据集以7:3的比例划分为训练数据和测试数据；

34、通过训练数据训练lstm-cnn网络分类模型，该模型包括输入层、lstm-cnn网络并行组合层、特征融合层、全连接层、softmax分类层，采用梯度下降adam算法训练，用交叉熵和精确度评估模型；通过测试数据评估优化模型后，采集新样品数据进行分类识别。

35、与现有技术比较，本发明的有益效果是：

36、1.使用摩擦系数、接触反馈压力、摩擦诱导振动等蕴含纹理空间几何形貌信息的摩擦触觉信号，从多维度表征纹理表面空间几何形貌，为纹理表面识别提供多元特征，提高分类模型的抗干扰能力和应用场景适应性。

37、2.考虑指尖与物体接触时不同接触因素对触觉信号的影响，如接触压力、滑动速度、接触角，增加样本数据的多样性，提高分类模型的泛化能力。

38、3.使用具有无监督学习特点的深度学习模型，由神经网络自主提取摩擦触觉信号的几何形貌特征，省略手动提取信号特征的步骤，大大提高了识别方法的智能化水平，缩减了分类模型开发时间。

39、4.使用具有提取信号的时域数据时间序列依赖关系和空间几何尺度特征的复合神经网络模型，相较于手动提取触觉信号中几何特征的方法，更多的特征被用于模型训练，对空间相似纹理的识别率达到90％以上，有效提高分类模型纹理识别的准确率。