一种基于时空注意力机制的多特征脑电情绪识别方法

本发明属于情绪识别、人工智能、脑机接口，具体涉及一种基于时空注意力机制的多特征脑电情绪识别方法。

背景技术：

1、情绪识别是计算机感知人类情感从而进行人机交互反馈的重要环节，脑电图通过记录大脑正常活动的电信号变化，可以反映出脑神经细胞产生的各种生理电信号在大脑皮层的变化情况；目前研究表明，脑电模式会随着生理与心理状态不同而变化，因此使用脑电图来进行情绪识别是可行的，能够真实地反映人的情绪状态。

2、在各类基于eeg的情绪识别方法中，传统的机器学习方法包括支持向量机、决策树和随机森林等，这些方法主要基于手工提取的特征，如时域特征、频域特征和时频特征，然后使用浅层模型进行分类；这些传统方法的缺点是它们对非线性关系的建模能力有限，难以处理复杂的情感识别任务；近年来主要使用卷积神经网络和循环神经网络等深度学习模型进行脑电情绪识别，卷积神经网络能够有效地学习局部特征和空间关系，循环神经网络可以捕捉时间序列上的上下文信息，但这些深度学习模型仍然存在一些挑战。

3、传统深度学习模型在处理脑电情绪识别时面临着领域偏移的问题，即模型在从一个个体到另一个个体的情绪分类上的泛化能力较差，这是因为不同个体之间的脑电信号存在差异，导致数据分布的变化；传统模型难以适应不同个体之间的差异，从而限制了情绪识别的准确性；其次，传统模型往往忽视了局部脑电信号的变化对情绪状态的影响；脑电信号具有非平稳性和时变性的特点，不同情绪状态下的局部空间特征和时间序列特征可能存在微小但重要的变化，传统模型无法很好地捕捉这些细小的特征变化，从而限制了情绪识别的性能；深度神经网络能够对脑电分类进行端到端的自动学习，却忽略了脑电特征和情绪之间的内在关系，导致深度学习模型自动提取情绪特征的可解释性不如人工设计的情绪特征；因此，如何将传统的脑电特征提取方式与深度学习算法相结合，提高模型的可解释性和跨被试情绪识别性能是目前存在的挑战。

技术实现思路

1、本发明的目的在于提供一种基于时空注意力机制的多特征脑电情绪识别方法，避免了复杂的特征工程问题；有利于在脑电信号中发现不同受试者的相似情绪模式，可以提高跨主体情绪识别的准确率。

2、为实现上述目的，本发明提供如下技术方案：一种基于时空注意力机制的多特征脑电情绪识别方法，包括如下步骤：

3、预处理脑电图源数据，提取时域特征、频域特征和空间域特征，生成多个人工脑电图特征；

4、将提取的时域、频域、空间域脑电图特征在另一个维度上叠加组合成四维脑电图特征数据；

5、将组合特征通过时空注意力编码器进行编码，以消除冗余信息，并保留有用信息；

6、将编码后的特征输入至基于swin transformer的情绪识别模型中，进行特征提取和情感分类；

7、在swin transformer模型中使用块分区、线性嵌入、块合并，以处理输入的脑电图特征，并输出情感分类结果。

8、作为本发明的一种优选的技术方案，将提取的时域、频域、空间域脑电图特征在另一个维度上叠加组合成四维脑电图特征数据，四个维度包括单通道特征、多通道脑电图、单特征维度和多特征组合。

9、作为本发明的一种优选的技术方案，所述时域特征包括一阶差分、二阶差分、hjorth移动性、hjorth复杂性和非静态指数；所述频域特征包括差分熵de和功率谱密度psd；所述空间域特征包括不对称差dasm、不对称商rasm和不对称指数asi。

10、作为本发明的一种优选的技术方案，在选择代表情绪的人工特征时，分别在seed数据集上对每个特征进行了情绪识别测试。

11、作为本发明的一种优选的技术方案，编码器连接人工特征和深度学习特征，使模型先通过人工特征提取通用情感特征，再通过深度学习模型获得脑电信号中的深层的相似情绪模式。

12、作为本发明的一种优选的技术方案，所述swin transformer模型利用自注意机制捕捉不同通道脑电信号之间的微小局部特征，通过缩小图像块的大小，增强模型的局部感受野。

13、作为本发明的一种优选的技术方案，对源数据的通道和持续时间进行选择和处理，使脑电图数据符合swin transformer模型的输入大小。

14、作为本发明的一种优选的技术方案，将编码后的特征输入至基于swintransformer的情绪识别模型中包括

15、输入特征大小为一组56个脑电图通道，单通道特征长度为56，特征深度由组合的原始特征维度决定；经过块分区分割成28×28×4n大小的不同区块，以及线性嵌入层得到适合输入进transformer的数据格式。

16、与现有技术相比，本发明的有益效果是：

17、提出了基于时空注意力的脑电特征编码器，通过多层时空注意力关注输入的重要信息，起到消除冗余信息的目的；该编码器连接了人工特征和深度学习特征，使得模型能够先通过人工特征提取通用情感特征，再通过深度学习模型获得脑电信号中的深层的相似情绪模式；

18、该方法使用swin transformer模型作为骨干网络，利用其自注意机制捕捉不同通道脑电信号之间的微小局部特征；通过缩小图像块的大小，增强了模型的局部感受野，并减少了模型参数的数量，具有高精度和实时性；

19、该方法先提取人工脑电图特征，再使用深度学习模型提取脑电的深层特征进行情绪分类；这不同于以往的人工特征+分类器或是端对端的深度学习脑电情绪分类，而是在情感脑机接口的情感识别任务中，将传统机器学习人工提取特征与深度学习特征分类相结合，提高多特征脑电情绪识别的准确率。

技术特征：

1.一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：将提取的时域、频域、空间域脑电图特征在另一个维度上叠加组合成四维脑电图特征数据，四个维度包括单通道特征、多通道脑电图、单特征维度和多特征组合。

3.根据权利要求1所述的一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：所述时域特征包括一阶差分、二阶差分、hjorth移动性、hjorth复杂性和非静态指数；所述频域特征包括差分熵de和功率谱密度psd；所述空间域特征包括不对称差dasm、不对称商rasm和不对称指数asi。

4.根据权利要求1所述的一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：根据频域特征，脑电图被分为五个频段：δ(0.5-4hz)、θ(4-8hz)、α(8-13hz)、β(13-30hz)和γ(30-47hz)，de值、psd值和asi值的计算公式如下：

5.根据权利要求1所述的一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：在选择代表情绪的人工特征时，分别在seed数据集上对每个特征进行了情绪识别测试。

6.根据权利要求1所述的一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：编码器连接人工特征和深度学习特征，使模型先通过人工特征提取通用情感特征，再通过深度学习模型获得脑电信号中的深层的相似情绪模式。

7.根据权利要求1所述的一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：所述swin transformer模型利用自注意机制捕捉不同通道脑电信号之间的微小局部特征，通过缩小图像块的大小，增强模型的局部感受野。

8.根据权利要求1所述的一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：对源数据的通道和持续时间进行选择和处理，使脑电图数据符合swintransformer模型的输入大小。

9.根据权利要求1所述的一种基于时空注意力机制的多特征脑电情绪识别方法，其特征在于：将编码后的特征输入至基于swin transformer的情绪识别模型中包括

技术总结本发明公开了一种基于时空注意力机制的多特征脑电情绪识别方法，包括如下步骤：预处理脑电图源数据，提取时域特征、频域特征和空间域特征，生成多个人工脑电图特征；将提取的时域、频域、空间域脑电图特征在另一个维度上叠加组合成四维脑电图特征数据；将组合特征通过时空注意力编码器进行编码，以消除冗余信息，并保留有用信息；本发明的有益效果是：提出了基于时空注意力的脑电特征编码器，通过多层时空注意力关注输入的重要信息，起到消除冗余信息的目的；该编码器连接了人工特征和深度学习特征，使得模型能够先通过人工特征提取通用情感特征，再通过深度学习模型获得脑电信号中的深层的相似情绪模式。技术研发人员：潘家辉,陈宗楠,金家瑞受保护的技术使用者：华南师范大学技术研发日：技术公布日：2024/12/12