一种融合多尺度残差注意力网络的脑电信号情绪识别方法

本发明涉及情感识别，具体为一种融合多尺度残差注意力网络的脑电信号情绪识别方法。

背景技术：

1、情绪是人对客观事物或者自身刺激带来的生理反应，可以反映出人的心理活动，对人类精神状态、认知与决策都会产生影响，利用计算机自动识别人类情感是情感计算和模式识别领域的一个热点研究方向。情绪识别方法的研究可分为两大类，一类是基于非生理信号的研究，例如面部表情和言语语音，另一类是基于生理信号的研究，例如心电和脑电信号。脑电信号作为一种生理信号，能够更细腻地表征被试与情绪相关的大脑活动，可更加客观真实地反映个体情感状态，因此采用脑电信号进行情绪识别的研究越来越得到学术界和工业界的关注。

2、在现有基于脑电信号的情绪识别算法中，常见的做法是从eeg信号中提取时域、频域或时频域等浅层特征，并将这些特征输入到分类器中进行情绪状态的判别。然而，大多数研究仅侧重于从单一维度深入提取信息，而未考虑综合多个维度的特征。这种方法忽略了脑电信号中潜在的丰富信息，限制了识别精度和效率的提升。因此，如何有效整合和提取eeg信号中的多维特征，以更全面地捕捉与情绪状态相关的复杂模式是有必要的。

技术实现思路

1、针对现有技术存在的问题，本发明提供一种融合多尺度残差注意力网络的脑电信号情绪识别方法，该方法通过融合脑电信号时间、频率和空间信息特征的数据处理方法和基于深度学习多尺度卷积、残差网络和金字塔切分注意力(psa)模块融合的网络模型对脑电信号的特征进行提取，实现脑电信号的情绪识别任务。

2、一种融合多尺度残差注意力网络的脑电信号情绪识别方法，包括如下步骤：

3、s1)脑电数据预处理；

4、s2)提取脑电信号数据特征；

5、s3)设置模型结构及训练参数；

6、s4)将提取的特征输入到设置模型中学习特征信息；

7、s5)训练模型，实现对脑电信号的情绪识别，评估模型性能。

8、进一步的，所述步骤s1)脑电信号预处理，为了校正与刺激无关的信号随时间的变化，提取观看刺激源之前3秒的脑电信号作为基线，从试验信号中减去基线信号，得到刺激相关的信号变化。

9、进一步的，所述步骤s2)提取脑电信号数据特征，具体包括：将去除基线信号后的脑电信号，分割成不重叠的n段时长为t s的片段，对每个片段分配原始脑电信号标签。将n段时长为t s片段以通过不重叠滑动窗以0.5s进行分割，使用巴特沃斯滤波器将每个0.5s的片段分解成theta(4～8hz)、alpha(8～14hz)、beta(14～31hz)和gamma(31～45hz)四个频带，对于每个频带的分别求微分熵(de)特征，以捕捉频域信息，并根据脑电采集通道位置信息将特征映射到二维特征图上，将四个频段的二维特征图进行堆叠生成三维特征矩阵，根据分割的n段脑电信号进行对应生成四维特征矩阵，因此每个片段都可以表示为一个包含时域、频域和空间信息的4d结构。

10、进一步的，所述步骤s3)设置模型结构及训练参数，具体包括：所述网络模型包括三个模块，分别为卷积模块、psa-inception残差模块和bgru模块。所述卷积模块，通过cnn网络从每个时间切片中的四维特征矩阵提取频域和浅层空间信息，同时整合输入数据形状，传递至下一模块中。psa-inception残差模块，由两层inception为主体网络，通过残差模块串联组成网络主干，加入psa注意力机制，用于提取脑电数据的空间信息和频域信息，利用psa模块对通道进行切分之后，每一组进行不同尺度的特征提取，以获取不同尺度的感受野提取不同尺度的信息；再通过se模块，提取并重新校准不同尺度特征的注意力权重，以得到更丰富的多尺度特征信息的细化特征图；将前述模块提取的深层特征输入到bgru模块，以捕捉时序信息；使用全连接层和softmax函数对情绪进行分类。

11、进一步的，所述步骤s4)将提取的特征输入到设置的模型中学习特征信息，具体包括：构建依据上述步骤分割的多片段的多输入模型，使用五折交叉方法训练构建的网络模型，将整个数据集随机分割成五个等大的子集，确保每个子集中的数据分布与整体数据集大致一致，在每次迭代中，选择一个不同的子集作为测试集，其余的子集合并作为训练集，设置模型相关参数以优化训练结果，训练的参数有：学习率lr＝0.001，训练轮数epoch＝50，批次大小batch_size＝64；使用交叉熵损失函数来优化分类性能，使用adam进行模型参数的优化。

12、进一步的，所述步骤s5)训练模型，实现对脑电信号的情绪识别，评估模型性能，对模型性能的评估可以使用如下标准：准确率(accuracy)、精确率(precision)、召回率(recall)和f-分数(f1)，其中“tp”、“tn”、“fp”和“fn”分别表示真正例、真反例、假正例和假反例，各度量的具体计算方式如下：

13、

14、

15、与现有技术相比，本发明提供了一种融合多尺度残差注意力网络的脑电信号情绪识别方法，具备的有益效果是：本发明将原始脑电信号转换成整合了时间-频率-空间特征的四维结构，提取丰富的脑电特征信息，将多尺度卷积提取特征与注意力机制结合起来，利用融合psa模块的改进型残差inception结构有效提取脑电信号中的特征信息，使用不同大小卷积核组合的方式，从不同的空间大小中提取特征信息，解决了卷积层堆积的问题，避免冗余计算，减少参数量同时增强了网络的泛化能力和表征能力，增加了网络的非线性，大大地提高了网络的学习效率。

技术特征：

1.一种融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述step1具体为：从脑电信号数据集中获取经过下采样至128hz，去除了眼电及其他噪声的影响的脑电信号，提取观看刺激源之前的3秒脑电信号作为基线，从原始信号中减去基线信号。将经过预处理的脑电信号分成不重叠的长度为3秒的20段脑电信号，对每个分割后的片段分配原始的脑电信号标签。

3.根据权利要求1所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述step2具体为：对step1中获得的每个被试者一个视频获取的20段脑电信号提取与情绪相关的频段，通过巴特沃斯带通滤波器将每个片段的脑电信号分解成θ、α、β和γ四个频段，并通过0.5秒不重叠的滑动窗口分别从四个频段上提取微分熵特征。根据通道位置将特征映射到二维矩阵中，并将其转化为一个四维表示。

4.根据权利要求3所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述step2中微分熵特征计算公式如下：

5.根据权利要求3所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述step2中转换数据表示形式，具体为根据脑电采集电极分布图将一维的包含微分熵特征的向量转换为二维矩阵，未记录的电极填0处理，转化为二维图的形式，分别将四个频段的微分熵特征向量二维图进行叠加，最后每个片段的脑电信号特征都转换为一个四维表示形式。

6.根据权利要求1所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述step3具体为：多尺度残差注意力网络是由卷积模块、psa-inception残差模块和bgru模块组成，输入的特征层通过卷积模块提取浅层特征并整合数据结构。

7.根据权利要求6所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述残差模块中的残差单元可表示为：h(x)＝f(x)+x；式中h(x)和x是所考虑的层的输入和输出向量，f(x)是要学习的残差映射。

8.根据权利要求6所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述psa-inception结构是以改进后的降维的inception结构为主体，将金字塔切分注意力模块(psa)嵌入到残差模块后融合到inception结构中。所述psa模块首先通过spc模块对通道进行切分，具体表示为：

9.根据权利要求6所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述bgru模块提取隐藏的深层时序特征，具体为：

10.根据权利要求1所述的融合多尺度残差注意力网络的脑电信号情绪识别方法，其特征在于，所述的分类预测输出通过全连接层和softmax层，转换为一个m维的概率分布，得到每个类别预测的概率，实现情绪识别分类，具体为：

技术总结本发明公开了一种融合多尺度残差注意力网络的脑电信号情绪识别方法，属于情感识别技术领域。本发明对原始脑电数据进行预处理及转换，获得具有时域、频域和空间信息的多维特征表征，提取丰富的脑电特征信息；通过结合改进型残差Inception结构和PSA注意力模块，能有效提取脑电信号中的关键特征；利用双向门控循环单元进一步学习并捕捉深层时序特征。本发明通过多域特征融合，增强了对脑电信号的时间依赖性和空间相关性信息的挖掘能力。该情绪识别框架无需依赖专家的先验知识或人工特征提取，能够以更高的效率和准确性客观地实现情绪识别。技术研发人员：郭滨,卢穗,刘晓钦,吴锦双,马卫娇,任帅祥,孙伟恒,许清华,区嘉伟,王浩宇,房佳乐受保护的技术使用者：长春理工大学技术研发日：技术公布日：2024/10/17