基于注意力机制及动态可解释卷积的脑电信号处理方法及装置

本文属于脑电，具体涉及基于注意力机制及动态可解释卷积的脑电信号处理方法及装置。

背景技术：

1、脑电图(eeg)是一种常用的估测神经生理活动的技术，因为它具有高流动性和时间分辨率。它已被广泛应用于各种领域，例如临床治疗，包括精神状态检测、脑机接口系统、穿戴设备等。

2、为了确保应用的准确性和有效性，有必要提取脑电信号的鉴别特征。在之前的研究中，主要是利用卷积神经网络(cnn)提取情绪视频分类的有效特征。其中一种方案是构建三种不同的脑电图特征矩阵，作为cnn的搜索方向，以提取更具区分度的特征。另一种方案是基于注意力的卷积递归神经网络(acrnn)，以从脑电信号中提取更具区分性的特征。毫无疑问，由于其特征提取能力和端到端结构，cnn已被视为脑电图多类分类的卓越工具。然而，令人遗憾的是，所使用的卷积核与网络输入无关，导致难以捕捉eeg信号的时间动态。

技术实现思路

1、针对现有技术的上述问题，本文的目的在于，提供一种基于注意力机制及动态可解释卷积的脑电信号处理方法及装置，提高脑电信号分类的准确性。

2、为了解决上述技术问题，本文的具体技术方案如下：

3、一方面，本文提供一种基于注意力机制及动态可解释卷积的脑电信号处理方法，所述方法包括：

4、获取多个脑电图通道的脑电信号，并利用滑动窗口将所述脑电信号划分成多个预设长度的脑电图时间片；

5、对所述脑电图时间片进行归一化处理，并对归一化处理后的脑电图时间片进行格拉姆角场转换得到脑电信号特征图像；

6、构建包括可解释分支和动态卷积分支的多级分类模型；

7、将所述脑电信号特征图像输入到所述多级分类模型中，以通过可解释分支和动态卷积分支对所述脑电信号特征图像进行交叉处理，得到所述脑电信号的分类结果。

8、进一步地，对所述脑电图时间片进行归一化处理，并对归一化处理后的脑电图时间片进行格拉姆角场转换得到脑电信号特征图像，包括：

9、根据所述脑电图时间片的时间序列，确定归一化后的脑电图时间片的时间序列；

10、根据所述归一化后的脑电图时间片的时间序列，将其映射到极坐标系，表示为：其中，振幅编码为角余弦，时间轴编码为半径；

11、将每个脑电图时间片的格兰矩阵沿脑电图通道的通道方向进行串联，得到每个通道的脑电信号特征图像，表示为：

12、进一步地，所述可解释分支包括通道注意力模块、空间注意力模块和注意机制输出模块；

13、所述通道注意力模块用于通过多头注意力和卷积层提取模型对脑电信号特征图像的注意力权重，再将最大池化和平均池化拼接得到注意图；

14、所述空间注意力模块用于通过空间注意力对所述注意图进行权重分配得到特征图；

15、所述注意机制输出模块用于根据特征图和脑电信号特征图像得到生成注意力可视图。

16、进一步地，所述动态卷积分支包括局部特征获取模块、全局特征获取模块、注意力模块和卷积模块；

17、所述局部特征获取模块用于将全局平均池化层处理脑电信号特征图像的信息分别通过1×1卷积层和前馈层进行处理和拼接，并对拼接后的数据进行卷积提取局部脑电特征信息；

18、所述全局特征获取模块用于将局部脑电特征信息作为query，经前馈层处理后，以key-value对的形式输入到多头注意机制中，提取全局脑电特征信息；

19、所述注意力模块用于利用带有温度参数的softmax函数对全局脑电特征信息进行处理，得到每个卷积核的注意力权重；

20、所述卷积模块用于将所述注意力权重和k个卷积核进行聚合得到动态卷积核，并将可解释分支输出的生成注意力可视图应用于所述动态卷积核，得到脑电信号的特征向量。

21、进一步地，所述注意力权重通过如下公式表示：

22、

23、

24、其中，πk(x)是第k个卷积核的注意力权重，ap为第k个通道图像的全局脑电特征信息，为温度参数；

25、所述特征向量通过如下公式表示：

26、

27、

28、其中，和分别为对应的动态权重矩阵和动态偏差向量；y表示动态卷积分支输出的特征向量，其大小取决于动态卷积核的大小。

29、进一步地，在获得每个卷积核的注意力权重之后，还包括：

30、对每个卷积核的注意力权重进行归一化处理。

31、进一步地，所述多级分类模型还包括分类模块；

32、所述分类模块用于通过全连接层对所述特征向量进行聚合处理，并利用softmax函数对聚合后的数据进行分类处理，得到所述脑电信号的分类结果。

33、另一方面，本文还提供一种基于注意力机制及动态可解释卷积的脑电信号处理装置，所述装置包括：

34、获取单元，用于获取多个脑电图通道的脑电信号，并利用滑动窗口将所述脑电信号划分成多个预设长度的脑电图时间片；

35、脑电信号特征图像获取单元，用于对所述脑电图时间片进行归一化处理，并对归一化处理后的脑电图时间片进行格拉姆角场转换得到脑电信号特征图像；

36、构建单元，用于构建包括可解释分支和动态卷积分支的多级分类模型；

37、分类单元，用于将所述脑电信号特征图像输入到所述多级分类模型中，以通过可解释分支和动态卷积分支对所述脑电信号特征图像进行交叉处理，得到所述脑电信号的分类结果。

38、另一方面，本文还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述的方法。

39、最后，本文还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的方法。

40、采用上述技术方案，本文所述的一种基于注意力机制及动态可解释卷积的脑电信号处理方法及装置，所述方法包括：获取多个脑电图通道的脑电信号，并利用滑动窗口将所述脑电信号划分成多个预设长度的脑电图时间片；对所述脑电图时间片进行归一化处理，并对归一化处理后的脑电图时间片进行格拉姆角场转换得到脑电信号特征图像；构建包括可解释分支和动态卷积分支的多级分类模型；将所述脑电信号特征图像输入到所述多级分类模型中，以通过可解释分支和动态卷积分支对所述脑电信号特征图像进行交叉处理，得到所述脑电信号的分类结果，本文通过层次注意力机制和动态可解释卷积核的设计，能够更准确地捕捉脑电信号的时序和通道特征，从而显著提高脑电图多类分类的准确性。

41、为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

技术特征：

1.一种基于注意力机制及动态可解释卷积的脑电信号处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，对所述脑电图时间片进行归一化处理，并对归一化处理后的脑电图时间片进行格拉姆角场转换得到脑电信号特征图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述可解释分支包括通道注意力模块、空间注意力模块和注意机制输出模块；

4.根据权利要求3所述的方法，其特征在于，所述动态卷积分支包括局部特征获取模块、全局特征获取模块、注意力模块和卷积模块；

5.根据权利要求4所述的方法，其特征在于，

6.根据权利要求4所述的方法，其特征在于，在获得每个卷积核的注意力权重之后，还包括：

7.根据权利要求4所述的方法，其特征在于，所述多级分类模型还包括分类模块；

8.一种基于注意力机制及动态可解释卷积的脑电信号处理装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结本文提供了一种基于注意力机制及动态可解释卷积的脑电信号处理方法及装置，所述方法包括：获取多个脑电图通道的脑电信号，并利用滑动窗口将所述脑电信号划分成多个预设长度的脑电图时间片；对所述脑电图时间片进行归一化处理，并对归一化处理后的脑电图时间片进行格拉姆角场转换得到脑电信号特征图像；构建包括可解释分支和动态卷积分支的多级分类模型；将所述脑电信号特征图像输入到所述多级分类模型中，以通过可解释分支和动态卷积分支对所述脑电信号特征图像进行交叉处理，得到所述脑电信号的分类结果，本文通过层次注意力机制和动态可解释卷积核的设计，能够更准确地捕捉脑电信号的时序和通道特征，从而显著提高脑电图多类分类的准确性。技术研发人员：夏立坤,何成受保护的技术使用者：首都师范大学技术研发日：技术公布日：2024/8/27