一种基于脑电的多图融合增强卷积网络运动意图识别方法

本发明属于运动意图识别，更为具体地讲，涉及一种基于脑电的多图融合增强卷积网络运动意图识别方法。

背景技术：

1、偏瘫通常会导致肢体感觉和运动功能障碍，给患者的精神和生活带来巨大负担。近年来，运动图像脑机接口(mi-bci，motor imagery-brain computer interface)与外骨骼机器人的集成越来越多地应用于偏瘫患者的康复训练中，与传统方法相比，其效果明显优于传统方法。mi-bci通过mi-eeg(motor imagery-electroencephalogram)信号识别病人的运动意图，然后控制外骨骼机器人执行必要的康复训练动作。因此，开发一种精确、通用的基于mi-eeg的运动意图识别方法是mi-bci研究的首要目标。

2、近几十年的研究中，使用深度学习模型为mi-eeg的基础运动意图识别一直是人们关注的话题，因为他们可以自动从原始脑电图信号中提取潜在特征而不需要预先提供先验知识。chen等人使用卷积神经网络(cnn)在eeg数据进行特征提取后，再利用长短期记忆网络(lstm)提取空间特征间的时间相关性，实现了79.4％的四类准确率(bciciv2a)数据集。受限于cnn处理脑电图等非欧数据的能力，近期研究将图形卷积网络(gcn)引入到运动意图识别方法，在不同mi-eeg数据集上取得了最先进的结果，进一步提高了动作意图识别方法。

3、feng等人使用了5个功能连通性指标构造不同的邻接矩阵，然后组合gcn和cnn提取拓扑和时态脑电信号的特征，在四类精细上肢心肌梗死任务中准确率为83.26％。shi等使用一个频段调制模块选择响应波段的mi，并随后采用gcn模块提取响应带的空间拓扑特征，在bciciv2a数据集上，四类准确率达到81.4％。

4、然而，表现出色的mi-eeg系统的识别性能通常是在记录的数据集上进行基准测试的，与现实世界康复训练场景的数据进行比较，其控制良好的条件是保证了数据是相对干净的。因此，当这些方法在现实训练场景中遇到真实数据时，这些方法的性能明显不足，这限制了mi-bci在偏瘫康复中的应用。虽然ica-wavelet和eemd-cca等先进的研究成果已经成功地有效地去除了干扰噪声，但现实场景中噪声发生的随机性及其对信道影响的不确定性使这些方法无法实现动态在线去噪。另一个挑战是，在心肌梗死期间，不同受试者的脑电响应频率和脑激活模式不一致，这使得基于sota神经网络的运动意图识别方法难以推广到新的受试者。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于脑电的多图融合增强卷积网络运动意图识别方法，选择和屏蔽损坏的脑电信号通道(干扰脑电信号通道或缺失通道)，同时通过多图融合提取不同主体的个性化和共享的空间拓扑特征，提高运动意图识别的准确率。

2、为了实现上述发明目的，本发明基于脑电的多图融合增强卷积网络运动意图识别方法包括以下步骤：

3、s1：根据实际需要确定运动意图的类别数量k，在每类运动意图下分别采集若干个eeg数据片段，记每个eeg数据片段其中c表示eeg通道数量，t表示采样时刻数量；根据每个eeg数据片段所对应的运动意图对其标注标签y，y＝1,2,…,k，从而得到训练样本；

4、s2：构建运动意图识别模型，包括动态通道选择模块，融合增强图卷积模块，时频特征提取模块和意图识别模块，其中：

5、动态通道选择模块采用通道注意机制对eeg数据片段x中损坏的脑电信号信道进行动态选择和屏蔽，将处理得到的eeg数据片段x发送至融合增强图卷积模块；动态通道选择模块包括通道注意力模块，权重矩阵转换模块和数据加权模块，其中：

6、通道注意力模块采用通道注意力机制对eeg数据片段进行处理得到通道注意力权重矩阵并发送至权重矩阵转换模块；

7、权重矩阵转换模块将通道注意力权重矩阵mc转换为对角权重矩阵其中对角权重矩阵中第c个权重w(c,c)为通道注意力权重矩阵mc中通道c的注意力权重，然后将对角权重矩阵w发送至数据加权模块；

8、数据加权模块用于采用对角权重矩阵w对eeg数据片段x进行加权处理，得到eeg数据片段

9、融合增强图卷积模块用于对eeg数据片段x进行多图融合增强，得到通道图并提取其空间拓扑特征fs，然后将空间拓扑特征fs发送至时频特征提取模块；融合增强图卷积模块包括滤波器组，邻接矩阵计算模块，多图融合增强模块和图卷积模块，其中：

10、滤波器组包含m个滤波器，分别对eeg数据片段x进行滤波得到eeg数据片段然后将eeg数据片段xm发送至邻接矩阵计算模块；

11、邻接矩阵计算模块用于计算不同频带的图邻接矩阵和基于空间距离的图邻接矩阵并发送至多图融合增强模块；计算公式如下：

12、

13、

14、其中，i,j＝1,2,…,c，xm(i)、xm(j)分别表示eeg数据片段xm中通道i、j的数据向量，即eeg数据片段xm中对应的行向量，d()表示求取距离，μm表示eeg数据片段xm的各通道数据向量距离的均值，dij表示通道i、j所对应探头的距离，表示任意两个通道探头距离的均值，e()表示求取均值；

15、多图融合增强模块用于对m个图邻接矩阵和asd进行融合，得到图邻接矩阵并发送至图卷积模块；融合的具体方法为：

16、首先利用基于k1的top-k方法对图邻接矩阵asd进行处理，处理方法为：对于每个通道i，将邻接矩阵或asd中该通道的邻接关系值或asd(i,j)从大到小进行排列，保留前k1个邻接关系值，其余邻接关系值置为0，k1的具体取值根据实际需要设置，从而得到图邻接矩阵

17、对图邻接矩阵进行归一化，得到图邻接矩阵psd，归一化公式为：

18、

19、

20、然后采用如下公式计算得到稀疏核矩阵和bsd：

21、

22、

23、其中，nsd(i)分别表示根据图邻接矩阵和asd得到的包含通道i在内的通道i的邻居通道集合，分别表示图邻接矩阵中通道i和j的邻接关系；

24、基于图邻接矩阵psd和稀疏核矩阵bsd对图邻接矩阵asd进行归一化，得到归一化后的图邻接矩阵计算公式为：

25、

26、

27、采用如下公式计算得到初步融合图邻接矩阵a*：

28、

29、采用如下公式计算得到融合图邻接矩阵a：

30、

31、其中，α表示预设的正则化参数，f(i)、f(j)分别表示基于初步融合图邻接矩阵a*得到的通道i、j邻居集；q(i,j)表示通道i、j的关联度，其计算公式如下：

32、

33、

34、h()表示指示函数；

35、图卷积模块用于将eeg数据片段x中每个通道的数据向量作为通道的特征，基于图邻接矩阵a进行图卷积操作，提取得到空间拓扑特征fs并发送至时频特征提取模块；

36、时频特征提取模块用于从空间拓扑特征fs中提取得到时频特征ft_f，并发送至意图识别模块；

37、意图识别模块用于根据时频特征ft_f进行预测得到对应的运动意图序号；

38、s3：将步骤s1中训练样本中的eeg数据片段作为输入，对应的标签作为期望输出，对步骤s2构建的运动意图识别模型进行训练；

39、s4：当需要对用户进行运动意图识别时，采集用户eeg数据片段将其输入训练好的运动意图识别模型，得到运动意图识别结果。

40、本发明基于脑电的多图融合增强卷积网络运动意图识别方法，构建包括动态通道选择模块，融合增强图卷积模块，时频特征提取模块和意图识别模块的运动意图识别模型，由动态通道选择模块选择和屏蔽损坏的脑电信号通道，由融合增强图卷积模块融合各信道相关系数矩阵和信道空间距离矩阵构建邻接矩阵，提取个性化和共享的空间拓扑特征，再由时频特征提取模块提取时频特征输入意图识别模块进行运动意图识别，收集训练样本对运动意图识别模型进行训练，采用训练好的运动意图识别模型对待识别用户的脑电信号进行运动意图识别。

41、本发明具有以下有益效果：

42、1)本发明设置了动态通道选择模块，对损坏的脑电信号通道进行动态选择和屏蔽，通过降低扰动信道的权重来实现动态在线去噪，保证了运动意图识别模型对随机性和不确定性扰动噪声的鲁棒性，同时也增强了对于偏瘫、心梗等用户的适应性；

43、2)本发明设置了融合增强图卷积模块，通过多图融合提取不同主体在不同频带下的个性化和共享的空间拓扑特征，提高了运动意图识别模型对新对象的泛化能力。