一种基于大脑偏侧化理论的听觉注意方向检测方法与流程

本发明属于脑机接口，涉及听觉注意的解码，具体涉及一种基于大脑偏侧化理论的听觉注意方向检测方法。

背景技术：

1、世界卫生组织(who)2019年的数据显示，全球约有4.66亿人患有听力损伤，而预计到2050年，这一数字将增长至9亿。在我国，“全国听力障碍与耳病调查(2016)”数据显示，15.84％的人患有听力损伤。随着我国人口老龄化加剧，听力损伤患病率有进一步升高的趋势。

2、在临床检测中，逾85％的听力损伤属于感音神经性听力损伤，而助听器是感音神经性听力损伤目前最为常见的听力补偿方式。然而，在当前的技术中，助听设备并没有与用户的注意状态建立关联，无法像人的听觉信息加工那样对注意对象进行针对性增强。这使得这些设备虽然在安静环境下能让使用者获得较满意的言语可懂度，但在日常复杂场景中对言语可懂度的改善非常有限。因此，实现听觉注意解码(auditory attention decoding，aad)变得尤为重要，即确定听者注意对象。集成aad算法，助听器能够选择性地对注意语音进行放大。这对提升现有的听力补偿技术具有重要的应用前景，是未来助听设备的发展趋势。这种助听器被称为神经导向助听器。

3、前人研究发现，可以从脑电信号(electro-encephalogram，eeg)中重构语音包络。相比于原始刺激中非注意语音包络，重构包络与注意语音包络的相关系数显著更高，并且可以依赖这样的方法检测听者的注意对象。重建包络和注意语音包络之间的相关性通常很弱(r<0.1)，获得较高解码准确率(>80％)通常需要20s以上的解码窗长。除此之外，重构包络的aad方法需要干净的语音刺激作为输入，这在现实复杂场景中可能并不可行：进行多声源的语音分离、增强将给助听器带来额外开销，并且语音分离、增强的质量可能会进一步影响aad的解码准确率。

4、近年来，受到听觉注意方位神经编码的启发，研究人员开始对听觉空间注意检测(auditory spatial attention detection,asad)进行研究。这种方法可以仅从eeg信号中解码被注意说话者的空间位置，而不需要干净的语音刺激作为输入，这对于神经导向助听器来说非常理想，因为干净的语音刺激并不总是容易获得的。除此之外，asad方法的理论依据基于大脑偏侧化：即刺激同向的功率显著大于刺激异向的功率。偏侧化是一种实时特征，而低频语音包络需要合理大小的时间观察窗口。因此，在解码窗口较短，也就是低延迟配置中，asad方法会比aad方法执行得更准确。

5、虽然众多asad模型都是建立在大脑偏侧化的神经理论上设计的，但是这些方法并没有充分利用偏侧化的特点。偏侧化是一种空间上的拓扑表征，相邻通道具有明确的联系，然而现有绝大部分模型都将记录的电极通道直接输入模型，致使空间拓扑信息丢失；偏侧化在脑中是稳定存在的，因此在不同的时刻，特征是应当是较为一致的，然而现有模型都将脑电的时间维度也输入到了模型。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于大脑偏侧化理论的听觉注意方向检测方法，以解决上述技术问题。

2、为达上述目的，提供一种基于大脑偏侧化理论的听觉注意方向检测方法，所述方法包括如下步骤：

3、s1：对脑电数据进行预处理，其包括降采样、带通滤波和采样时刻归一化；

4、s2：对每个采样时刻的预处理后的脑电数据进行二维化处理，将预处理后的脑电数据转化为二维矩阵；

5、s3：根据所述二维矩阵构建深度卷积神经网络模型，根据所述深度卷积神经网络模型分类每个采样时刻的脑电图；

6、s4：训练验证和测试所述深度卷积神经网络模型，将二维化处理完的脑电数据划分训练验证集和测试集，划分后每段训练数据或测试数据长度都为1秒，对应n个采样时刻，并且通过投票法确定1秒决策窗下听者的注意方向。

7、在一些可能的实施方式中，步骤s1具体包括：

8、提供两个脑电数据集，其中第一个数据集为kuleuven数据集，第二个数据集为超高密度脑电数据集；

9、从所述超高密度脑电数据集中选择与所述kuleuven数据集中的64通道对应的64通道；

10、对所述两个脑电数据集中的脑电信号进行降采样处理，以将脑电信号的采样率降至128hz；

11、对所述降采样处理后的脑电信号进行带通滤波处理，以通过14hz至31hz的频率范围；

12、对所述带通滤波后的脑电信号进行采样时刻归一化处理，所述采样时刻归一化包括：将每个采样时刻的64通道数据减去均值并除以方差，使得每个采样时刻下64通道数据均值为0且方差为1。

13、在一些可能的实施方式中，步骤s2具体包括：

14、获取采样时刻的脑电信号，所述脑电信号为64x1的脑电向量数据；其中，所述的脑电信号是通过脑电电极采集得到的；

15、根据脑电电极的空间拓扑位置，将64x1的脑电向量数据进行二维化处理，转化为10x11的二维矩阵；其中，所述的二维化处理是通过将64x1的脑电向量数据按照脑电电极的空间拓扑位置映射到10x11的二维矩阵中实现的；所述的映射是按照脑电电极在脑电帽上的位置进行的，其中每个脑电电极对应二维矩阵中的一个元素；

16、在映射过程中，若二维矩阵中存在空余位置，则在所述二维矩阵中的空余位置补零。

17、在一些可能的实施方式中，步骤s3具体包括：

18、获取每个采样时刻的10x11脑电图，其作为二维矩阵；

19、将所述脑电图输入到预先构建的深度卷积神经网络模型中；

20、通过所述深度卷积神经网络模型对输入的脑电图进行特征提取和学习，输出分类结果，将每张脑电图分类为注意左侧或注意右侧。

21、在一些可能的实施方式中，所述深度卷积神经网络模型包括densenet-36网络，所述densenet-36网络包括：卷积层、第一池化层、4个稠密块、3个转移层、第二池化层和交叉熵分类器；

22、所述densenet-36模型的构建过程包括：

23、在所述densenet-36模型中，将除了第一个池化层之外的所有池化层的步幅设置为1，并取消填充操作，使得所述转移层不再将脑电图片的宽和高除以2，而是每层减少1；

24、在所述densenet-36网络中，将每个稠密块修改为包含4层卷积操作，以减小模型至36层；

25、根据修改后的网络架构，构建densenet-36模型。

26、在一些可能的实施方式中，所述卷积层使用1个1x1卷积和1个3x3卷积进行特征提取，输出64个10x11的特征图；

27、所述第一池化层为3x3最大池化层，步幅为2，零填充为1，输出64个5x6的特征图；

28、所述稠密块包括连续的1x1卷积和3x3卷积，每个稠密块重复4次，以增加网络深度；

29、所述转移层包括1x1卷积和2x2均值池化，用于特征图尺寸的减小和特征通道数的调整；

30、所述第二池化层为2x3均值池化层，用于将最后一个稠密块的输出特征图尺寸减小至1x1；

31、所述交叉熵分类器，用于将提取的特征映射至两个类别，实现脑电图的分类；

32、所述densenet-36网络的输出层利用前面所有层的特征图进行预测，以提高分类的准确性。

33、在一些可能的实施方式中，所述步骤s4具体包括：

34、采样脑电信号，所述脑电信号被降采样至128hz；

35、将降采样后的脑电信号分割为长度为1秒的数据段，每个数据段对应128个采样时刻；

36、采用5-折交叉验证的方式，将所述数据段划分为训练验证集和测试集；

37、训练时将所述训练验证集的数据进一步划分为训练集和验证集；

38、舍弃训练验证集的数据的时间维度，将1秒长度的数据重新组织为128份的10x 11的脑电图；

39、训练一个densenet模型，使得每张脑电图输出对应采样时刻的注意力方向；

40、在测试阶段，将1秒决策窗的测试数据分128次输入至所述densenet模型，获取128个解码结果；

41、应用投票法，基于所述128个解码结果确定该1秒决策窗口内听者的注意力方向。

42、在一些可能的实施方式中，所述投票法包括统计128个解码结果中出现频率最高的注意力方向作为最终决策。

43、在一些可能的实施方式中，所述5-折交叉验证包括将数据集随机分为五个互斥的子集，每次使用其中四个子集进行训练，剩余的一个子集用于验证，重复此过程五次，每次选择不同的验证子集。

44、在一些可能的实施方式中，所述决策窗的投票法对应的投票规则如下：

45、

46、其中，n为采样时刻的决策窗，每个采样时刻i获得一个解码结果mi∈{0,1}，所述决策窗的最终结果为y。

47、第二方面，提供一种电子设备，其包括：

48、一个或多个处理器；

49、存储装置，用于存储一个或多个程序，

50、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任意一种所述的方法。

51、第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任意一种所述的方法。

52、上述技术方案具有如下有益技术效果：

53、本发明将每个采样时刻的脑电图二维(2d)处理，可以保留通道与通道之间的拓扑关系，从而让模型更容易学到大脑偏侧化的特点。

54、本发明为每个采样时刻的2d脑电图输出解码结果，在同样的数据集条件下，模型大小将变为类似模型的1/(n*w)(n为脑电数据预处理后的采样率，w为模型解码窗长)，而模型的训练数据也将变为类似模型的n*w倍。数据量更多将使得模型更不容易过拟合，从而获得更好的解码结果，而更小的模型将使得其更容易部署到助听器等小型设备上。

55、本发明使用深度卷积神经网络densenet提取2d脑电图的特点，进一步提高了解码准确率。