一种基于脑电图信号的脑机接口认知状态识别方法

本技术涉及认知状态识别，尤其是涉及一种基于脑电图信号的脑机接口认知状态识别方法。

背景技术：

1、脑机接口(bci)是一种在人脑和外部设备之间建立直接连接的先进技术。脑机接口(bci)可直接从用户的大脑信号解读其意图，从而控制外部计算机或设备。目前，脑机设备已被用于帮助一些运动障碍患者通过移动甚至感觉机械臂等工具与外界互动。根据获取神经信号的方法不同，bci设备主要分为两类：侵入式和非侵入式。相比之下,具有无创性的非侵入式bci将信号采集设备置于头皮以外,更容易被健康人群所接受。在非侵入性设备中，基于脑电图的bci是最常被研究的，因为其成本低、容易招募受试者，而且脑电信号的时间分辨率高。基于非侵入式脑电图(eeg)的脑机接口(bci)近来取得了快速发展。目前，基于eeg的脑机接口已经实现了对一些复杂应用的控制，如控制轮椅、虚拟和物理四旋翼飞行器、机械臂和语音解码。

2、一些研究开始探索高级认知活动是否可以作为脑机接口新范式，如视觉想象、心算等，然而，目前的研究仍显不足，需要进一步深入探讨。bci目前使用的大脑信号数量有限，这些信号主要来自初级感觉运动皮层。为了扩大脑机接口的指令集，脑机接口还有待进一步研究，特别是涉及到记忆、推理等高级认知活动是否可以作为脑机接口新范式还不知道是否可行，个体之间是否存在差异也不知道。因为这些高级认知活动涉及到更抽象、更复杂的神经过程，如何准确捕捉和解释这些过程所产生的信号仍需进一步研究。

3、核磁共振表明一些高级认知状态(即休息、回忆、默唱、计算)是可以区分的。但是能否使用eeg头皮脑电信号进行区分目前尚未研究。认知神经科学表面这些高级认知活动涉及全脑范围的皮层活动，尤其是包括一些内部脑区(海马体等)。脑电被认为是很难获取这些深部脑区活动的，脑电一般只能观测量大脑皮层表面的电活动信号，因此用大脑皮层脑电(eeg)区分高级认知活动是具有挑战性的。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种基于脑电图信号的脑机接口认知状态识别方法，能够准确识别大脑的高级认知状态。

2、第一方面，本技术实施例提供了一种基于脑电图信号的脑机接口认知状态识别方法，所述基于脑电图信号的脑机接口认知状态识别方法包括：

3、采用多个导电极的脑电帽获取原始脑电图信号；

4、构建包含特征提取模块、通道和频率注意力模块、卷积模块和分类模块的认知状态识别网络模型；

5、对所述原始脑电图信号采用所述特征提取模块得到时频图；

6、将所述时频图输入至通道和频率注意力模块中，得到所述通道和频率注意力模块输出的特征图；其中，所述通道和频率注意力模块用于动态调整不同通道的权重；

7、将所述通道和频率注意力模块输出的特征图经过卷积模块中的多个卷积层和多个池化层，得到所述卷积模块输出的特征图；

8、将所述卷积模块输出的特征图展开为一维特征向量；

9、采用分类模块对所述一维特征向量进行分类，得到认知状态识别结果。

10、与现有技术相比，本技术第一方面具有以下有益效果：

11、本方法将时频图输入至通道和频率注意力模块中，得到通道和频率注意力模块输出的特征图采集通道特征和频率特征，通道和频率注意力模块用于动态调整不同通道的权重，通过通道和频率注意力模块综合考虑通道特征和频率特征，根据通道特征和频率特征，动态调整不同通道的权重，使得认知状态识别网络模型更专注于关键通道和频率信息，从而提高认知状态识别网络模型的性能和准确性；将通道和频率注意力模块输出的特征图经过卷积模块中的多个卷积层和多个池化层，得到卷积模块输出的特征图，通过多个卷积层增强认知状态识别网络模型的泛化能力和非线性特征表达能力，通过多个池化层降低特征维度和提取最显著的特征；最后将卷积模块输出的特征图展开为一维特征向量，采用分类模块对一维特征向量进行分类，得到认知状态识别结果，能够准确识别大脑的高级认知状态。

12、根据本技术的一些实施例，所述对所述原始脑电图信号采用特征提取模块得到时频图，包括：

13、对所述原始脑电图信号进行预处理，得到与所述多个导电极对应数量的多通道脑电数据；

14、采用连续小波变换方法将所述多通道脑电数据中每一个通道的脑电数据转化为一张彩色时频图，得到多张彩色时频图；

15、将所述多张彩色时频图在r、g、b三个通道上进行叠加，得到叠加后的时频图；其中，所述r、g、b三个通道对应不同范围的频率。

16、根据本技术的一些实施例，所述对所述原始脑电图信号进行预处理，得到与所述多个导电极对应数量的多通道脑电数据，包括：

17、将所述原始脑电图信号进行带通滤波，得到带通滤波后的脑电图信号；

18、将所述带通滤波后的脑电图信号采用全局平均参考法进行重参考；

19、采用独立成分分析将重参考后的脑电图信号中的脑电数据按照导电极数量分解成独立通道成分，得到每个独立通道的脑电数据；

20、剔除所述每个独立通道的脑电数据中的伪迹，并对剔除伪迹后的每个独立通道的脑电数据进行重组，得到重组脑电数据；

21、对所述重组脑电数据进行插值修复，并对插值修复后的脑电数据进行数据分割和基线校正，得到与所述多个导电极对应数量的多通道脑电数据。

22、根据本技术的一些实施例，所述对所述重组脑电数据进行插值修复，包括：

23、获取正常导联的数据；

24、根据所述正常导联的数据，采用球面曲线法对所述重组脑电数据中的坏导进行插值修复。

25、根据本技术的一些实施例，所述通道和频率注意力模块包括全局最大池化、全局平均池化、全连接层，所述将所述时频图输入至通道和频率注意力模块中，得到所述通道和频率注意力模块输出的特征图，包括：

26、对所述时频图进行卷积，得到卷积后的特征图；

27、将所述卷积后的特征图采用全局最大池化操作和全局平均池化操作，得到全局最大池化结果和全局平均池化结果；

28、将所述全局最大池化结果和所述全局平均池化结果经过多个全连接层和激活函数，得到全局最大池化对应的第一结果和全局平均池化对应的第二结果；

29、将所述第一结果和所述第二结果相加，得到相加结果；

30、将所述相加结果通过激活函数进行归一化处理，得到通道权重；

31、将所述通道权重和所述卷积后的特征图相乘，得到所述通道和频率注意力模块输出的特征图。

32、根据本技术的一些实施例，所述将所述全局最大池化结果和所述全局平均池化结果经过多个全连接层和激活函数，得到全局最大池化对应的第一结果和全局平均池化对应的第二结果，包括：

33、采用第一全连接层对所述全局最大池化结果和所述全局平均池化结果进行通道缩减，并采用relu激活函数进行非线性变换，得到全局最大池化对应的变换结果和全局平均池化对应的变换结果；

34、采用第二全连接层对所述全局最大池化对应的变换结果和所述全局平均池化对应的变换结果进行通道恢复，并采用relu激活函数进行非线性变换，得到全局最大池化对应的第一结果和全局平均池化对应的第二结果。

35、根据本技术的一些实施例，所述将所述通道和频率注意力模块输出的特征图经过卷积模块中的多个卷积层和多个池化层，得到所述卷积模块输出的特征图，包括：

36、将所述通道和频率注意力模块进行第一池化操作，得到第一池化结果；

37、将所述第一池化结果进行第一卷积操作，得到第一卷积结果；

38、将所述第一卷积结果进行第二池化操作，得到第二池化结果；

39、将所述第二池化结果进行第二卷积操作，得到第二卷积结果；

40、将所述第二卷积结果进行第三卷积操作，得到第三卷积结果；

41、将所述第三卷积结果进行dropout操作，得到dropout结果；

42、将所述dropout结果进行第三池化操作，得到所述卷积模块输出的特征图。

43、根据本技术的一些实施例，所述采用分类模块对所述一维特征向量进行分类，得到认知状态识别结果，包括：

44、采用全连接层构建分类模块；

45、采用所述分类模块对所述一维特征向量进行分类，得到认知状态识别结果。

46、根据本技术的一些实施例，通过如下方式对所述认知状态识别网络模型进行训练：

47、获取脑电图信号的数据样本集；

48、基于所述数据样本集构建训练样本集和验证样本集；

49、根据所述训练样本集和所述验证样本集，采用五折交叉验证方法对所述认知状态识别网络模型进行训练。

50、根据本技术的一些实施例，所述对所述认知状态识别网络模型进行训练，包括：

51、选择交叉熵损失函数作为所述认知状态识别网络模型的损失函数，并根据所述交叉熵损失函数对所述认知状态识别网络模型进行训练。