一种脑控手部外骨骼方法和设备

本发明属于人工智能，尤其涉及一种脑控手部外骨骼方法和设备。

背景技术：

1、手部功能障碍是由于多种原因引起的，其中包括脑卒中、脊髓损伤以及其他神经系统疾病。这些疾病导致了手部运动功能的丧失，严重损害了患者进行日常生活活动的能力。这种功能丧失不仅对患者的身体健康产生负面影响，还对他们的社交参与和生活满意度构成了重大障碍。因此，开发新的康复方法和设备对于改善手部功能障碍患者的生活质量至关重要。

2、有研究表明，使手功能障碍的患者的参与到手部运动中，可以为瘫痪肢体功能的康复带来帮助。能够驱动瘫痪手部的可穿戴外骨骼机器人可以帮助这些患者进行康复和辅助。可穿戴外骨骼机器人的运动控制可以分为两种，分别是被动控制和主动控制。在被动控制方面，通常是以触摸控制、语音控制等方式，使用外骨骼带动患者受损肢体进行运动。但是，这种控制方法往往是重复和简单的动作，是无聊和单调的，且受试者不需要参与治疗过程，这可能会降低受试者参与康复治疗的积极性。主动控制是指，受试者通过产生运动意图，然后使用算法解析得到控制指令，最后驱动外骨骼带动患者受损肢体进行运动。

3、通常使用肌电图和脑电图信号来解析用户的运动意图。由于脑电信号在肌电信号之前约200ms产生，基于脑电信号的运动意图检测方法，能够更早地检测运动意图。许多研究人员已经对基于脑电信号的人类运动意图识别开展了相关的研究工作。基于脑电信号的人类运动意图识别中，应用最广泛的是稳态视觉诱发电位(ssvep)。

4、然而，传统的ssvep往往是静态刺激范式，用户在控制手部进行运动时需要分心去关注闪烁刺激，这导致用户体验不佳，从而降低康复训练效果。不仅如此，在动态ssvep中，ssvep的运动往往会导致用户产生更多的运动伪迹，最终导致脑控手部外骨骼的性能下降。

技术实现思路

1、为解决传统ssvep用户体验不佳与动态ssvep导致脑控手部外骨骼性能下降的问题，本发明提出了一种脑控手部外骨骼方法和设备用以解决上述问题，同时，本发明为手功能障碍患者提供了一种高效的康复方案，也拓展了脑机接口技术在人体增强、工业控制和远程机器人交互等领域的应用前景。

2、为了实现上述发明目的，本发明实施例提供了以下技术方案：一种脑控手部外骨骼方法和设备。其中，一种脑控手部外骨骼方法，包括以下步骤：

3、基于机器视觉试验台的摄像头实时采集视频流，并通过机器视觉算法识别手部骨骼点，基于所述手部骨骼点生成视觉融合诱发电位范式；

4、使用者通过观看所述视觉融合诱发电位范式诱发出相应的大脑活动后，获取带有特征的脑电信号，基于tcp/ip协议将所述脑电信号转发到局域网中；

5、从所述局域网中获取到预设窗长的脑电信号并通过脑电解码算法进行解码，得到机器控制指令后通过蓝牙转发出去；

6、收到蓝牙转发的机器控制指令后，根据所述机器控制指令控制电机进行运动，从而带动手部外骨骼的运行，牵引使用者的对应手指完成运动过程。

7、优选地，所述机器视觉算法基于神经网络进行设计；

8、所述神经网络包括若干个层级的卷积层，每个层级的卷积层对应不同的空间分辨率，用于提取不同尺度的特征；在不同层级之间设置横向连接，用于整合来自不同分辨率的特征信息；

9、引入自适应特征流动机制，根据输入数据动态调整特征信息在网络中的流动路径，以有效处理不同类型的手部姿态和形状；

10、所述神经网络包括若干个分支结构，每个分支专注于不同的特征类型或特定任务，并在输出阶段将分支结果合并；

11、采用多重卷积策略和深度残差学习以捕获深层次语义特征；

12、应用自适应正则化和多阶段优化策略以优化网络的训练和泛化能力；

13、结合空间和通道注意力机制，自动聚焦于图像中的关键区域和重要特征通道；

14、输出层为手部特征点的高精度定位和识别坐标值。

15、优选地，所述视觉融合诱发电位范式包括机器视觉设备、图像序列模块、手部骨骼点定位模块、动态刺激生成模块、检测模型和正弦波序列生成器；

16、基于所述手部骨骼点生成视觉融合诱发电位范式的过程包括：

17、使用摄像头实时采集得到使用者的手部图像序列，通过检测模型对每一帧图像序列进行识别得到实时骨骼点，然后得到手部骨骼点的定位结果；

18、正弦波刺激生成器根据手部骨骼点的坐标信息，分别在五根手指处标注不同的正弦波编码的闪烁刺激；

19、将所述闪烁刺激与五指进行绑定后，为用户实时呈现标注了动态刺激的显示界面；同时，为了保障用户所看到无延迟的刺激范式，将检测模型设置在一个单独的线程，动态刺激生成位于另一个线程，当用户想要控制某根手指进行运动时，注视相应的手指及相应的闪烁刺激，从而诱发出特异性的大脑响应。

20、优选地，所述闪烁刺激与五指之间的对应关系为：拇指7.0hz、食指7.4hz、中指7.8hz、无名指8.2hz和小指8.6hz；

21、所述检测模型基于所述机器视觉算法设计完成，所述检测模型的帧率保持在20-30帧/s之间，且低于显示屏刷新率。

22、优选地，通过所述脑电解码算法进行解码包括前处理阶段、分解与重建阶段和相关性分析阶段；

23、在前处理阶段，生成一个覆盖多个谐波频率带的子带sbn，所述子带sbn的高截止频率为稳态视觉诱发电位成分的上界频率，通过数字滤波分解得到xsb1、xsb2...xsbn的脑电成分；

24、基于计算延迟和准确性的平衡性，将n设置为4，则第n个频率的模板脑电信号yfk被设置为：

25、

26、其中，是模板数组，fk是第k个目标频率，δ是sbn的数量，t表示样本时间点数，对应于信号采样率。

27、优选地，通过所述脑电解码算法进行解码的分解与重建阶段包括：

28、在分解与重建阶段，首先使用主成分分析的方法对xsb1、xsb2...xsbn脑电成分进行分解得到主成分然后根据yref使用自适应信号校准模型进行校准计算得到干净的脑电信号其中参考信号是在使用前预先采集的一段脑电信号，在采集过程中让参与者尽量保持平稳状态，并且减少咬牙和眨眼动作。

29、优选地，根据yref使用自适应信号校准模型进行校准计算得到干净的脑电信号的过程包括：

30、(1)定义校准函数：

31、定义校准函数其中是经过主成分分析处理的eeg信号，yref是参考信号，θ表示神经网络的参数，所述校准函数用于输出干净的eeg信号

32、(2)构建神经网络：

33、在模型的第一层，使用自适应滤波器对输入的eeg信号进行初步的噪声减少处理；

34、随后，通过循环神经网络对信号进行深层特征提取，以捕捉信号中的复杂模式和特征；

35、接着，引入注意力机制层识别和强调信号中最重要的特征；

36、最后，模型通过输出层产生经过校准的干净eeg信号，所述输出层的维度与相同，使用线性或轻微非线性激活函数，以确保输出信号的范围；

37、(3)定义损失函数和优化：

38、损失函数定义为

39、ltotal＝αlrecon+βlreg+γlatt

40、其中，lrecon是重建损失，用于评估模型输出与理想干净信号之间差异的均方误差；lreg是正则化损失，用于防止模型过拟合，并确保权重的稳定性；latt是注意力损失，能够有效地聚焦于与去噪重要的信号特征；α、β和γ是用于平衡不同损失贡献的权重系数；

41、重建损失lrecon定义为

42、

43、其中，m是样本数量，yi和xclean,i分别是第i个样本的理想干净信号和模型输出的校准信号；

44、正则化损失lreg定义为

45、

46、其中，λ是正则化系数，θk表示模型参数，求和遍及所有模型参数；

47、注意力损失latt定义为

48、

49、其中，ai是模型对第i个样本的注意力权重，·表示逐元素乘法；

50、使用adam优化器来优化网络参数θ，以最小化损失函数；

51、(4)训练和实施：

52、在训练阶段，使用一组预先收集并清洗的eeg信号及其对应的参考信号作为训练数据；通过最小化损失函数来训练神经网络，直到达到预设的收敛标准；在实际应用中，将实时采集的eeg信号和相应的参考信号输入到训练好的神经网络中，输出校准后的干净eeg信号。

53、优选地，通过所述脑电解码算法进行解码的相关性分析阶段包括：

54、在相关性分析阶段，采用一系列的典型相关分析算法模块计算的模板脑电信号和干净的脑电信号之间的相关性，公式表达式为：

55、

56、通过所述脑电解码算法进行解码得到机器控制指令的过程包括：

57、计算所有sbn分量对应的相关性的加权平方和，表示为

58、

59、其中，a和b是常数值；

60、计算出所有的值后，比较获得最大值，所述最大值对应的频率值为最终分类结果，根据所述最终分类结果获取使用者的控制意图，从而得到相应的机器控制指令。

61、优选地，所述机器控制指令共有五种，分别对应拇指、食指、中指、无名指和小指的运动控制。

62、本发明还提供一种脑控手部外骨骼设备，包括：

63、机器视觉模块、视觉融合诱发电位范式生成模块、脑电信号处理模块、通信模块、手部外骨骼控制模块和用户反馈界面模块；

64、所述机器视觉模块用于通过机器视觉试验台的摄像头实时捕获手部图像，并通过机器视觉算法识别手部骨骼点；

65、所述视觉融合诱发电位范式生成模块用于基于所述手部骨骼点生成视觉融合诱发电位范式；

66、所述视觉融合诱发电位范式生成模块包括图像序列处理单元、动态刺激生成单元；

67、所述图像序列处理单元用于生成和调整手部图像序列；

68、所述动态刺激生成单元，用于根据手部骨骼点的坐标信息生成相应的正弦波编码闪烁刺激；

69、所述脑电信号处理模块用于捕获用户的脑电信号并通过脑电解码算法进行解码，包括前处理阶段、分解与重建阶段和相关性分析阶段，通过解码解析和转化脑电信号为机器控制指令；

70、所述通信模块内置tcp/ip协议单元和蓝牙通信单元，所述tcp/ip协议单元用于将脑电信号转发到局域网中；所述蓝牙通信单元，用于接收机器控制指令，并将所述机器控制指令发送到手部外骨骼控制模块；

71、所述手部外骨骼控制模块包含驱动单元和手部外骨骼机构，所述驱动单元包含电机和相关控制器，用于根据接收到的机器控制指令驱动手部外骨骼；所述手部外骨骼机构，设计用于牵引和支持用户手部的不同部位来模拟自然手指运动；

72、所述用户反馈界面模块用于实时展示视觉融合诱发电位范式和向用户提供关于手部外骨骼状态的实时反馈。

73、与现有技术相比，本发明的有益技术效果主要体现在以下几个方面。

74、(1)增强的用户体验：通过设计视觉融合诱发电位范式，本发明提供了一种更为直观和用户友好的交互方式。与传统ssvep相比，这种方法减少了视觉疲劳和认知负担，显著提升了用户体验。

75、(2)提高脑控性能：针对动态ssvep可能导致的性能下降问题，本发明采用先进的机器视觉算法和深度神经网络结合的方法，以提高手部动作识别的准确性。这种方法确保了外骨骼设备可以快速、准确地响应用户的意图，从而提高整体脑控性能。

76、(3)实时性和稳定性的提升：本发明在脑电信号解码算法方面采用了先进技术，确保了信号解码的实时性和稳定性，减少了系统的响应时间，提高了外骨骼的操作精准度和可靠性。

77、(4)适应性和通用性：本发明的设计兼顾了不同用户的需求，具有较强的适应性。同时，其应用场景广泛，可用于医疗康复、虚拟现实等多个领域。