基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法

本发明涉及外科，尤其涉及一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法。

背景技术：

1、脑机接口（brain-computer interface，bci）通过采集和分析大脑活动，使大脑和计算机之间可以直接沟通而无需依赖于传统的神经肌肉通路，其在康复医学、辅助技术、日常娱乐等多个领域具有广泛的应用前景。当前，脑机接口系统依据主要范式，可分为事件相关电位脑机接口系统（erp-bci）、稳态视觉诱发电位（steady-state visual evokedpotential，ssvep）脑机接口系统（ssvep-bci），以及运动想象（motor imagery，mi）脑机接口系统（mi-bci）。其中，mi-bci是一种主动式bci系统，可以在没有实际运动的情况下，采集大脑想象某一肢体动作产生的生理信号，提供相对自然的体验，减轻被试的疲劳度。mi-bci系统可以解码用户的运动意图，并转换为对外部设备的控制信号，这样可以与运动功能恢复直接关联，反映使用者自主运动意识的能力，并且可以促进大脑受损运动功能区的有效恢复。此外，mi-bci可以提供更自然的控制方式，因为它模拟了自然运动的神经过程，可以实现多自由度的控制，即用户可以通过想象不同的肢体运动来完成多个不同的动作或功能。因此，mi-bci技术特别适用于那些由于疾病或伤害而失去肢体运动能力的人，能够应用于残疾人士控制辅助设备领域，如假肢、轮椅等，或者通过思维控制游戏和虚拟现实环境进行康复训练来帮助中风或脑损伤患者恢复运动功能。

2、目前，头皮脑电信号（electroencephalography，eeg）存在高安全性、低成本和高实时等优点，是mi-bci系统常用的信号形式。经过几十年的发展，已经有多个基于eeg的mi范式被成功开发，并且逐渐以实现更为精细的肢体任务分类为目标，即同一肢体不同关节或单一关节不同自由度的mi任务，并取得了多个成就。

3、mi-bci研究具有较大的应用潜力，大多数非侵入mi-bci系统是基于eeg信号构建的。虽然eeg信号存在时间分辨率高的优势，但是由于在头皮进行测量，神经元电信号通过颅骨时造成了信号衰减，导致eeg信号信噪比较低，制约着mi-bci的解码精度提升。尤其针对运动轨迹预测研究方面，eeg信号相对较低的空间分辨率一定程度上限制了对三维自由度的连续运动轨迹任务的解码研究。

技术实现思路

1、本发明提供一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，用以解决现有技术中基于头皮脑电进行运动轨迹解码时精度较低的缺陷，实现基于具有更高空间分辨率的脑磁信号对运动想象任务进行高效解码，从而有效提高运动轨迹预测的精度。

2、本发明提供一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，包括如下步骤。

3、获取用户在运动想象时的脑磁信号；

4、调用运动轨迹预测模型基于所述脑磁信号进行轨迹预测处理，得到目标运动轨迹预测数据；

5、基于所述目标运动轨迹预测数据控制多自由度机械臂进行三维运动；

6、其中，所述运动轨迹预测模型是基于脑磁信号样本训练得到的，所述脑磁信号样本是被试者根据运动轨迹视频进行运动想象时产生的，所述运动轨迹视频是根据所述被试者的手部运动时产生的三维运动轨迹数据样本生成的。

7、根据本发明提供的一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，所述运动轨迹预测模型的训练方法包括：

8、获取被试者的手部在预设时间内运动时产生的三维运动轨迹数据样本，并基于所述三维运动轨迹数据样本生成运动轨迹视频；

9、获取所述被试者根据所述运动轨迹视频进行运动想象时的脑磁信号样本；

10、对所述脑磁信号样本进行预处理，得到预处理后的脑磁信号样本；

11、调用初始运动轨迹预测模型基于所述预处理后的脑磁信号样本进行轨迹预测处理，得到运动轨迹预测数据；

12、基于所述三维运动轨迹数据样本和所述运动轨迹预测数据对所述初始运动轨迹预测模型进行迭代训练，得到所述运动轨迹预测模型。

13、根据本发明提供的一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，所述对所述脑磁信号样本进行预处理，得到预处理后的脑磁信号样本，包括：

14、对所述脑磁信号样本进行去基线漂移处理和降采样处理，得到降采样后的脑磁信号样本；

15、对降采样后的脑磁信号样本进行带通滤波处理，得到滤波后的脑磁信号样本；

16、对滤波后的脑磁信号样本进行独立成分分析处理，得到预处理后的脑磁信号样本。

17、根据本发明提供的一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，所述脑磁信号样本包括多个通道，所述方法还包括：

18、根据预处理后的脑磁信号样本构建无向图表示，其中，所述无向图表示的节点与所述脑磁信号样本的通道一一对应；

19、分别计算在预设的两种频段下，所述无向图表示的节点对应导联的两种微分熵特征，并将所述两种微分熵特征组合为双频微分熵特征；

20、将在时间维度预设数量的连续的无向图表示进行拼接处理，得到拼接样本。

21、根据本发明提供的一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，所述初始运动轨迹预测模型包括时空注意力模块、自适应图结构学习模块和时空卷积模块；

22、所述调用初始运动轨迹预测模型基于所述预处理后的脑磁信号样本进行轨迹预测处理，得到运动轨迹预测数据，包括：

23、将所述预处理后的脑磁信号样本输入所述时空注意力模块进行注意力学习，得到时间注意力权重和空间注意力权重；

24、将所述预处理后的脑磁信号样本输入所述自适应图结构学习模块进行自适应学习，得到与所述预处理后的脑磁信号样本对应的邻接矩阵；

25、将所述时间注意力权重、空间注意力权重和所述邻接矩阵输入所述时空卷积模块进行图卷积和时域卷积处理，得到所述预处理后的脑磁信号样本的在三维空间上的卷积特征；

26、基于所述卷积特征进行轨迹预测处理，得到运动轨迹预测数据。

27、根据本发明提供的一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，所述初始运动轨迹预测模型还包括多任务交互网络，所述基于所述卷积特征进行轨迹预测处理，得到运动轨迹预测数据，包括：

28、将所述三维空间上的卷积特征分别输入所述多任务交互网络进行软注意力掩码处理，得到交互融合后的三维空间上的卷积特征；

29、将交互融合后的三维空间上的卷积特征分别输入全连接层，得到三维空间对应的三个维度上的位置信息，并将所述三个维度上的位置信息作为所述运动轨迹预测数据。

30、根据本发明提供的一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，所述基于所述三维运动轨迹数据样本和所述运动轨迹预测数据对所述初始运动轨迹预测模型进行迭代训练，得到所述运动轨迹预测模型，包括：

31、计算所述三维运动轨迹数据样本和所述运动轨迹预测数据的误差，得到损失函数；

32、基于所述损失函数，通过反向传播算法对所述初始运动轨迹预测模型进行迭代训练，得到所述运动轨迹预测模型。

33、本发明还提供一种基于脑磁信号的脑机接口连续运动轨迹控制指令下达系统，包括如下脑磁采集设备、计算设备和机械臂设备：

34、所述脑磁采集设备，用于采集用户的脑磁信号，并将所述脑磁信号发送至计算设备，其中，所述脑磁信号是所述用户在观看三维运动轨迹视频并进行运动想象时产生的；

35、所述计算设备，用于接收所述脑磁信号，并调用运动轨迹预测模型对所述脑磁信号进行运动轨迹预测处理，得到与所述运动想象对应的目标运动轨迹预测数据；将所述目标运动轨迹预测数据发送至机械臂设备；

36、所述机械臂设备，用于接收所述目标运动轨迹预测数据，并基于所述目标运动轨迹预测数据控制多自由度机械臂进行三维运动。

37、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法。

38、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法。

39、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法。

40、本发明提供的基于脑磁信号的脑机接口连续运动轨迹控制指令下达方法，通过获取用户在运动想象时的脑磁信号，然后调用运动轨迹预测模型对脑磁信号进行轨迹预测处理，得到目标运动轨迹预测数据，最后基于目标运动轨迹预测数据控制多自由度机械臂进行三维运动，由于使用了具有更高空间分辨率的脑磁信号对运动想象任务进行高效解码，从而实现了对运动轨迹的精确预测，进而构建基于脑磁信号的脑机接口连续运动轨迹控制指令，以控制机械臂进行精准运动。