基于深度学习的机械臂识别交互方法及机械臂

本技术涉及深度学习领域，特别涉及一种基于深度学习的机械臂识别交互方法及机械臂。

背景技术：

1、随着科技的飞速发展，人机交互系统已成为科研和工业领域的热点话题，尤其是在智能设备、虚拟现实、医疗康复等应用场景中的需求日益增长。机器人技术和人工智能在飞速发展，机械臂系统已经成为了制造业、医疗、服务业以及研究领域中不可或缺的一部分。尤其是在高精度操作、复杂任务执行以及危险环境作业等场景中，机械臂展现出了其独特的价值和广泛的应用潜力。然而，应用需求也日益增长且呈现复杂化的趋势，传统的机械臂控制技术面临着灵活性不足、交互效率低下以及用户友好度不高等挑战。

2、相关技术中，大多机械臂都是通过在其机器夹爪上布置的压力传感器以获取相关压力信息，只能简单地测试机械臂传感区域所受到的压力数据，不具备模拟触觉功能，无法用于对复杂动作的识别或是多动作的精细分类。另外，目前的机械臂通常通过遥控方式控制，根据触发指令执行对应作业，如搬运、升降或施加压力，遥控方式控制能够满足在工业中的需求，但在医疗康复或临床手术中，机械臂所需要执行的作业的都是微小变化的，且具备特定的运动轨迹，遥控方式难以实现机械臂的精确控制。因此，如何研制出一种具备识别分类功能的机械臂以及对应的控制方法来实现对机械臂的精准控制是当前的迫切需求。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术实施例提供了一种基于深度学习的机械臂识别交互方法及机械臂，使得机械臂具备触觉功能从而能够识别物体，通过肌电动作控制信号控制机械臂执行对应的手势动作，实现对机械臂的精准控制，同时提高了机械臂的交互性。

2、第一方面，本技术实施例提供了一种基于深度学习的机械臂识别交互方法，所述机械臂对应人体前臂肌肉的位置处设置有柔性电极传感阵列，所述柔性电极传感阵列用于获取肌电信号，所述机械臂的夹爪上设置有柔性压力传感阵列，所述柔性压力传感阵列用于获取触觉信号，所述机械臂识别交互方法包括：

3、获取肌电信号，并对所述肌电信号进行滤波预处理，以提取有效肌电信号；

4、将所述有效肌电信号输入至训练好的肌电动作识别神经网络模型进行分析和处理，得到与所述肌电信号对应的手势动作分类结果；

5、根据所述手势动作分类结果生成对应的肌电动作控制信号；

6、根据所述肌电动作控制信号控制所述机械臂的夹爪执行对应的手势动作；

7、获取触觉信号，并对所述触觉信号进行滤波预处理，以提取有效触觉信号；

8、将所述有效触觉信号输入至训练好的物体识别神经网络模型进行分析和处理，得到与所述触觉信号对应的物体识别结果。

9、本技术上述第一方面的技术方案至少具备如下的优点或有益效果之一：机械臂对应人体前臂肌肉的位置处设置有柔性电极传感阵列，柔性电极传感阵列用于获取肌电信号，机械臂的夹爪上设置有柔性压力传感阵列，柔性压力传感阵列用于获取触觉信号，机械臂识别交互方法包括：首先获取柔性电极传感阵列采集到的肌电信号，并对肌电信号进行滤波预处理以减少噪音干扰并提取有效肌电信号；将有效肌电信号输入至训练好的肌电动作识别神经网络模型进行分析和处理，肌电动作识别神经网络模型进能够自动从输入的有效肌电信号数据中提取特征，实现对机械臂模拟受试者肌肉活动发出的肌电信号所对应的动作意图的高精度识别，从而得到与肌电信号对应的手势动作分类结果。根据手势动作分类结果生成对应的肌电动作控制信号，并根据肌电动作控制信号控制机械臂的夹爪执行对应的手势动作，实现了通过肌电信号对机械制执行高度精细的动作控制，提高了机械臂的交互性。获取机械臂的夹爪上设置的柔性压力传感阵列采集到的触觉信号，并对触觉信号进行滤波处理，以减少噪音干扰并提取有效触觉信号；将有效触觉信号输入至训练好的物体识别神经网络模型进行分析和处理，物体识别神经网络模型使用深度学习处理有效触觉信号数据可以加强识别分类的准确度，以精准识别出与有效触觉信号对应的物体，得到与触觉信号对应的物体识别结果，从而使得机械臂具备触觉功能从而能够识别物体。触觉功能传感技术的应用于机械臂，不仅能够增强虚拟现实和远程操作的体验，也能在医疗康复等领域提供重要的辅助功能。

10、根据本技术的一些实施例，所述肌电动作识别神经网络模型为cnn神经网络结构，所述肌电动作识别神经网络模型包括第一输入层、第一卷积层、第二卷积层、第一池化层、第二池化层、第一全连接层、第二全连接层和第一输出层；所述第一输入层用于接收数据结构为6×6的二维数据，所述第一卷积层的深度为512，卷积核为3×3；所述第二卷积层的深度为128，卷积核为1×1；所述第一全连接层包括512个节点，所述第二全连接层包括128个节点；所述第一池化层的输入端和所述第一卷积层的输出端连接，所述第二池化层的输入端和所述第二卷积层的输出端连接，所述第一池化层用于对所述第一卷积层输出的数据进行压缩，所述第二池化层用于对所述第二卷积层输出的数据进行压缩；所述第一输出层用于输出手势动作分类结果。

11、根据本技术的一些实施例，所述物体识别神经网络模型为cnn神经网络结构，所述物体识别神经网络模型包括第二输入层、第三卷积层、第四卷积层、第三池化层、第四池化层、第三全连接层、第四全连接层和第二输出层；所述第二输入层用于接收数据结构为32×32的二维数据；所述第三卷积层的深度为32，卷积核为5×5；所述第四卷积层的深度为8，卷积核为3×3；所述第三全连接处包括200个节点，所述第四全连接层包括80个节点；所述第三池化层的输入端和所述第三卷积层的输出端连接，所述第四池化层的输入端和所述第四卷积层的输出端连接，所述第三池化层用于对所述第三卷积层输出的数据进行压缩，所述第四池化层用于对所述第四卷积层输出的数据进行压缩；所述第二输出层用于输出物体识别结果。

12、根据本技术的一些实施例，所述获取肌电信号，并对所述肌电信号进行滤波预处理，以提取有效肌电信号，包括：

13、以第一预设采样率采集第一预设数量的第一通道的肌电信号，所述第一通道的数据长度为第一预设长度，所述第一通道包括第一数量的样本点；

14、将采集到的所述肌电信号保存为第一csv文件，并将所述第一csv文件输入到matlab的脚本文件中进行滤波预处理，以使得所述matlab的脚本文件对所述肌电信号进行第一预设频率的带通滤波处理以及以第二预设频率的工频带阻的滤波处理，得到与所述第一csv文件对应的波形文件；

15、将所述波形文件内存储的肌电信号作为有效肌电信号。

16、根据本技术的一些实施例，所述获取触觉信号，并对所述触觉信号进行滤波预处理，以提取有效触觉信号，包括：

17、以第二预设采样率采集第二预设数量的第二通道的触觉信号，所述第二通道的数据长度为第二预设长度，所述第二通道包括第二数量的样本点；

18、将采集到的所述触觉信号保存为第二csv文件，并将所述第二csv文件输入到matlab的脚本文件中进行滤波预处理，以使得所述matlab的脚本文件对所述触觉信号进行中值滤波处理，得到与所述第二csv文件对应的数据文件；

19、将所述数据文件内存储的触觉信号作为有效触觉信号。

20、根据本技术的一些实施例，将所述波形文件输入至所述训练好的肌电动作识别神经网络模型，并调用第一tranform函数对所述波形文件内存储的有效肌电信号进行归一化处理；

21、将所述数据文件输入至所述训练好的物体识别神经网络模型，并调用第二tranform函数对所述数据文件内存储的有效触觉信号进行归一化处理。

22、根据本技术的一些实施例，所述肌电动作识别神经网络模型经过如下方法训练得到：

23、采集若干个不同手势动作对应的肌电信号，并将所述肌电信号作为训练样本，所述手势动作包括抓握、手掌伸展、前臂移动；

24、将32通道的所述肌电信号保存为第三csv文件，所述第三csv文件的横坐标为通道序号，纵坐标为时间轴，记录的数据为经放大器放大后的电压值；

25、对所述第三csv文件进行预处理，以平均间隔时间为基准提取所述肌电信号，共提取50个时刻的肌电信号数据，以构成数据结构为6×6×50的肌电信号输入数据，并对所述肌电信号输入数据进行归一化处理；

26、将经归一化处理且格式为csv的肌电信号输入数据作为输入、将与所述肌电信号输入数据对应的手势动作作为输出放入tensor数据格式中，以构建成第一训练集；

27、初始化所述肌电动作识别神经网络模型，调整所述肌电动作识别神经网络模型的学习率为第一预设值，并配置优化器对所述第一训练集进行预设次数的迭代训练，得到训练好的肌电动作识别神经网络模型。

28、根据本技术的一些实施例，所述物体识别神经网络模型经过如下方法训练得到：

29、采集若干个不同形状的物体按压对应的触觉信号，并将所述触觉信号作为训练样本；

30、将32个通道的所述触觉信号保存为第四csv文件，所述第四csv文件的横坐标为通道序号，纵坐标为时间轴，记录的数据为经放大器放大后的电压值；

31、对所述第四csv文件进行预处理，对所述触觉信号进行均值化处理，以构成数据结构为32x32x1的触觉信号输入数据，并对所述触觉信号输入数据进行归一化处理；

32、将经归一化处理且格式为csv的触觉信号输入数据作为输入、将与所述触觉信号输入数据对应的物体形状作为输出放入tensor数据格式中，以构建成第二训练集；

33、初始化所述物体识别神经网络模型，调整所述物体识别神经网络模型的学习率为第二预设值，并配置优化器对所述第二训练集进行预设次数的迭代训练，得到训练好的物体识别神经网络模型。

34、根据本技术的一些实施例，所述机械臂包括信号采集模块和无线通信模块，所述信号采集模块和所述柔性电极传感阵列连接，所述信号采集模块还和所述无线通信模块通信连接，以使得所述采集模块通过所述无线通信模块将采集到的受试者不同手势动作所产生的肌电信号传输至上位机，所述受试者不同手势动作所产生的肌电信号用于被所述上位机保存为csv文件或用于当训练样本。

35、第二方面，本技术实施例提供了一种机械臂，应用如上述第一方面的技术方案中所述的基于深度学习的机械臂识别交互方法。

36、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。