一种基于生物可解释性的触觉纹理识别方法、系统及终端

本发明涉及触觉纹理识别，尤其涉及一种基于生物可解释性的触觉纹理识别方法、系统、终端及计算机可读存储介质。

背景技术：

1、目前，机器人技术在提高社会生产力方面起到了不可或缺的作用，而仿生触觉传感系统是机器人感知外部物理环境并进行反馈调节的重要组成部分，包含该系统模仿生物对外部环境感知能力的关键技术，为模仿生物外周与中枢以人工神经网络神经系统的运作，以人工神经网络（artificial neural network，ann）为代表的仿生分类器被广泛应用于模式识别领域。

2、然而，传统的ann不能很好地模仿生物大脑的非线性以及时空特性，在生物学上是不精确的，其信号模式是连续的模拟信号，而不是神经脉冲的信号，因此，与人类触觉感知过程的低功耗相反，使用传统的ann及以误差反向传播（error backpropagation，bp）为代表的训练算法将会产生很大的计算开销以及能耗。

3、此外，与ann不同，snn（spiking neural network，脉冲神经网络）中的脉冲神经元仅有在发送或接收脉冲时才被激活，这大大降低了snn在推理预测中的计算能耗，且其能耗可通过调整膜电位阈值进行动态调整。然而，由于数据集转换成脉冲信号的长度很长，尤其是对于事件信号这种高密度信号，训练好一个snn的计算成本要远高于ann。

4、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于生物可解释性的触觉纹理识别方法、系统、终端及计算机可读存储介质，旨在解决现有技术中由不规则连接感受器获取触觉数据进行预处理导致的触觉纹理识别准确率低、计算能效低，以及训练好一个snn导致的训练成本过高的问题。

2、为实现上述目的，本发明提供一种基于生物可解释性的触觉纹理识别方法，所述基于生物可解释性的触觉纹理识别方法包括如下步骤：

3、获取目标生物传感器的分布信息，根据所述分布信息将已构建的多个触觉传感器按照特定拓扑结构连接，并接收多个所述触觉传感器采集的多个触觉数据；

4、构建简易神经元模型，将多个所述触觉数据输入所述简易神经元模型，输出多个稀疏脉冲信号；

5、构建自适应卷积网络，将多个所述稀疏脉冲信号输入所述自适应卷积网络进行特征提取，输出多个对应的带有期望标签的期望稀疏脉冲信号；

6、构建脉冲神经网络模型，将多个所述期望稀疏脉冲信号输入所述脉冲神经网络模型，输出多个对应的带有实际标签的目标稀疏脉冲信号；

7、将多个所述期望稀疏脉冲信号和多个所述目标稀疏脉冲信号输入所述脉冲神经网络模型进行迭代反向训练，直到所述脉冲神经网络模型的权重参数在预设阈值范围内，得到优化后的目标脉冲神经网络模型；

8、获取识别任务中的任务触觉数据，将所述任务触觉数据转换为任务稀疏脉冲信号，将所述任务稀疏脉冲信号输入到所述目标脉冲神经网络模型，输出识别结果。

9、可选地，所述的基于生物可解释性的触觉纹理识别方法，其中，所述分布信息包括：多个节点信息和多个节点连接信息；

10、所述获取目标生物传感器的分布信息，根据所述分布信息将已构建的多个触觉传感器按照特定拓扑结构连接，并接收多个所述触觉传感器采集的多个触觉数据，具体包括：

11、获取目标生物传感器的多个所述节点信息和多个所述节点连接信息，根据多个所述节点信息和多个所述节点连接信息确定所述特定拓扑结构；

12、根据所述特定拓扑结构连接已构建的多个触觉传感器，并接收由多个所述触觉传感器采集的多个通道的多个触觉数据。

13、可选地，所述的基于生物可解释性的触觉纹理识别方法，其中，所述构建简易神经元模型，将多个所述触觉数据输入所述简易神经元模型，输出多个稀疏脉冲信号，具体包括：

14、构建简易神经元模型，将所有所述触觉数据输入所述简易神经元模型，输出每个所述触觉数据对应的膜电位：

15、；

16、；

17、若；

18、其中，表示在时刻的膜电位，表示在当前时刻的膜电位，表示在时刻的恢复变量，表示膜电位在当前时刻的恢复变量，表示膜电位恢复速度，表示在时刻的输入电流，表示在当前时刻的输入电流，表示单位毫伏；

19、若存在多个所述膜电位不低于阈值，则释放多个脉冲，得到多个所述膜电位对应的多个稀疏脉冲信号。

20、可选地，所述的基于生物可解释性的触觉纹理识别方法，其中，所述构建自适应卷积网络，将多个所述稀疏脉冲信号输入所述自适应卷积网络进行特征提取，输出多个对应的带有期望标签的期望稀疏脉冲信号，具体包括：

21、构建自适应卷积网络，将多个所述稀疏脉冲信号和所述特定拓扑结构的信息输入所述自适应卷积网络；

22、根据所述特定拓扑结构，在所述自适应卷积网络中对所有所述稀疏脉冲信号进行特征提取，得到特征提取结果：

23、；

24、；

25、其中，表示第个输出特征图，表示第层每个顶点输入的特征数，表示第个自适应卷积核的操作定义，表示第层所有节点的第个输入特征，表示可学习的偏差向量，表示所采取的多项式的近似次数，表示第个自适应卷积核次多项式滤波的系数，表示所述多项式的最高次幂，表示标准化邻接矩阵，表示的次幂；

26、根据所述特征提取结果，在所述自适应卷积网络中对多个所述稀疏脉冲信号进行标注，输出多个对应的带有期望分类标签的期望稀疏脉冲信号。

27、可选地，所述的基于生物可解释性的触觉纹理识别方法，其中，所述构建脉冲神经网络模型，将多个所述期望稀疏脉冲信号输入所述脉冲神经网络模型，输出多个对应的带有实际标签的目标稀疏脉冲信号，具体包括：

28、构建脉冲神经网络模型，其中，所述脉冲神经网络模型包含预设数量层数的全连接层网络，在所有所述全连接层网络上创建多个学习窗口；

29、将多个所述期望稀疏脉冲信号输入所述脉冲神经网络模型，输出多个对应的带有实际标签的目标稀疏脉冲信号；

30、其中，所述脉冲神经网络模型中的每个所述学习窗口一次处理一个所述期望稀疏脉冲信号。

31、可选地，所述的基于生物可解释性的触觉纹理识别方法，其中，所述将多个所述期望稀疏脉冲信号和多个所述目标稀疏脉冲信号输入所述脉冲神经网络模型进行迭代反向训练，直到所述脉冲神经网络模型的权重参数在预设阈值范围内，得到优化后的目标脉冲神经网络模型，具体包括：

32、确定多个所述期望稀疏脉冲信号和多个对应的所述目标稀疏脉冲信号之间的差异信息；

33、将所述差异信息多次输入所述脉冲神经网络模型进行反向传播，以对所述脉冲神经网络模型进行迭代训练，多次输出所述脉冲神经网络模型的权重参数，直到所述权重参数在预设阈值范围内，得到权重变化参数：

34、；

35、；

36、；

37、其中，表示第层网络层中第个神经元与前一层网络层中第个神经元之间的权重变化参数，表示学习效率，表示偏差信号，表示第层网络层中神经元的数目，表示第层的前一层网络层中第个神经元的实际脉冲到达时间，表示第层的前一层网络层中第个神经元的期望脉冲到达时间，表示在不同情况下的取值，表示第层的前一层网络层中脉冲发放的平均时间，表示输出层神经元的数目，表示区分目标与非目标神经元的间隔，表示输出实际标签的神经元；

38、；

39、；

40、；

41、其中，表示全连接层中的输出层误差反向传播的梯度，表示突触后脉冲发放时间与权重之间的关系，和分别表示控制增强、抑制的比例因子，和分别表示突触前、后脉冲发放时间，表示控制权重更新的第一参数，表示权重更新的时间间隔系数，和分别表示对权重约束的最大权重和当前权重，表示控制权重更新的第二参数；

42、；

43、；

44、其中，表示全连接层中的隐藏层误差反向传播梯度的递推公式，表示第层的前一层网络层中第个神经元的实际脉冲到达时间，表示第层的前一层网络层中第个神经元的实际脉冲到达时间；

45、根据所述权重变化参数对所述脉冲神经网络模型进行实时更新，得到优化后的目标脉冲神经网络模型。

46、可选地，所述的基于生物可解释性的触觉纹理识别方法，其中，所述获取识别任务中的任务触觉数据，将所述任务触觉数据转换为任务稀疏脉冲信号，将所述任务稀疏脉冲信号输入到所述目标脉冲神经网络模型，输出识别结果，具体包括：

47、接收由所述触觉传感器采集的多个任务触觉数据，将多个所述任务触觉数据依次输入所述简易神经元模型和所述自适应卷积网络，输出多个带有期望标签的任务稀疏脉冲信号；

48、将所有所述带有期望标签的任务稀疏脉冲信号输入所述目标脉冲神经网络模型进行正向传播，输出所述识别任务的识别结果。

49、此外，为实现上述目的，本发明还提供一种基于生物可解释性的触觉纹理识别系统，其中，所述基于生物可解释性的触觉纹理识别系统包括：

50、触觉数据采集模块，用于获取目标生物传感器的分布信息，根据所述分布信息将已构建的多个触觉传感器按照特定拓扑结构连接，并接收多个所述触觉传感器采集的多个触觉数据；

51、第一脉冲信号生成模块，用于构建简易神经元模型，将多个所述触觉数据输入所述简易神经元模型，输出多个稀疏脉冲信号；

52、第二脉冲信号生成模块，用于构建自适应卷积网络，将多个所述稀疏脉冲信号输入所述自适应卷积网络进行特征提取，输出多个对应的带有期望标签的期望稀疏脉冲信号；

53、第三脉冲信号生成模块，用于构建脉冲神经网络模型，将多个所述期望稀疏脉冲信号输入所述脉冲神经网络模型，输出多个对应的带有实际标签的目标稀疏脉冲信号；

54、模型优化模块，用于将多个所述期望稀疏脉冲信号和多个所述目标稀疏脉冲信号输入所述脉冲神经网络模型进行迭代反向训练，直到所述脉冲神经网络模型的权重参数在预设阈值范围内，得到优化后的目标脉冲神经网络模型；

55、触觉纹理识别模块，用于获取识别任务中的任务触觉数据，将所述任务触觉数据转换为任务稀疏脉冲信号，将所述任务稀疏脉冲信号输入到所述目标脉冲神经网络模型，输出识别结果。

56、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于生物可解释性的触觉纹理识别程序，所述基于生物可解释性的触觉纹理识别程序被所述处理器执行时实现如上所述的基于生物可解释性的触觉纹理识别方法的步骤。

57、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于生物可解释性的触觉纹理识别程序，所述基于生物可解释性的触觉纹理识别程序被处理器执行时实现如上所述的基于生物可解释性的触觉纹理识别方法的步骤。

58、本发明中，获取目标生物传感器的分布信息，根据所述分布信息将已构建的多个触觉传感器按照特定拓扑结构连接，并接收多个所述触觉传感器采集的多个触觉数据；构建简易神经元模型，将多个所述触觉数据输入所述简易神经元模型，输出多个稀疏脉冲信号；构建自适应卷积网络，将多个所述稀疏脉冲信号输入所述自适应卷积网络进行特征提取，输出多个对应的带有期望标签的期望稀疏脉冲信号；构建脉冲神经网络模型，将多个所述期望稀疏脉冲信号输入所述脉冲神经网络模型，输出多个对应的带有实际标签的目标稀疏脉冲信号；将多个所述期望稀疏脉冲信号和多个所述目标稀疏脉冲信号输入所述脉冲神经网络模型进行迭代反向训练，直到所述脉冲神经网络模型的权重参数在预设阈值范围内，得到优化后的目标脉冲神经网络模型；获取识别任务中的任务触觉数据，将所述任务触觉数据转换为任务稀疏脉冲信号，将所述任务稀疏脉冲信号输入到所述目标脉冲神经网络模型，输出识别结果。本发明通过自适应图拓扑卷积核对多通道触觉数据进行特征提取，得到带有不同标签的脉冲信号，并根据两者的差别以及预设监督学习规则训练脉冲神经网络模型，对脉冲神经网络模型的权重参数进行迭代收敛，最终以便捷、高效的方式得到用于触觉纹理识别任务的网络模型。