基于64通道脑电采集设备的语音交流系统

本发明涉及一种语音交流系统。特别是涉及基于64通道脑电采集设备的语音交流系统。

背景技术：

1、语言能力障碍通常表现为“言语不清”或“不会讲话”，这种现象的背后，是语言能力相关的神经机制的复杂性。在临床上，语言能力障碍有着广泛的意义，指的是从大脑皮层语言中枢及其相关结构到控制发音器官的神经和肌肉的通路上的任何一个部位的病变都可能造成语言障碍。

2、具体的语言障碍类型有很多种，其中有一些病症患者仍具有一定的主动语言能力，例如：

3、失语症：在神志清楚、意识正常、发音和构音没有障碍的情况下，由于神经中枢病损、大脑皮质语言功能区病变，导致的言语交流能力障碍，包括语言表达或理解障碍。失语症患者往往表现出抽象信号思维障碍，同时丧失口语、文字的表达和领悟能力。不同的大脑语言功能区受损，会有不同的临床表现。

4、构音障碍：由发音器官肌肉的功能障碍所导致，具体原因包括发声部位肌肉病变(如咽喉部神经、肌肉病变)、共济失调(如小脑病变或小脑与脑干、半球的联系纤维受损)或肌张力增高(如累及基底节的某些疾病)。这类病症的患者会表现出发音不清但用词准确的特点，与失语有着本质的区别。

5、在此背景下，脑机接口(brain-computer interface,bci)成为一种可用于语言能力障碍患者的解决方案。由于脑机接口能够在人脑神经与外部设备间建立直接连接通路来实现神经系统和外部设备间信息交互与功能整合，利用语音想象脑电信号成为一种可行的方案。作为一种用于大脑仍具语言理解能力的语言能力障碍患者的语音交流系统，基于语音想象的bci的实验范式更直观，因为用户可以更简单地想到与系统检测的输出命令相关联的单词。

6、核心子波段在脑电信号eeg解码中起着至关重要的作用，由于人脑的复杂性，各频段间通常包含大量非线性联系，因而多频段分析成为提高eeg信号解码准确率提升的重要手段。例如，当受试者想象说话时，大脑语言区域的α和β节律频段会出现明显振荡，针对语音相关频段的分析能更好实现对患者语言意图的识别。

7、因此，对于语言能力障碍患者来说，利用脑机接口技术实现基于语音想象的交流系统是一种具有潜力的解决方案。这种方案能够直接利用大脑的语言功能信息，通过解读大脑的电信号来理解和生成语言，从而帮助患者更有效地进行语言交流。

技术实现思路

1、本发明所要解决的技术问题是利用语音相关核心子波段特征，提出基于语音想象的多频段特征融合网络(mbfnet)以提高语音想象脑电信号解码效果，本发明的目的在于实现基于64通道脑电采集设备的语音交流系统。

2、本发明所采用的技术方案是基于64通道脑电采集设备的语音交流系统，由脑电采集设备、mbfnet模块以及主动交流模块组成。脑电采集设备采集被试者根据常用交流词语表进行语音想象的脑电信号，并传递至mbfnet模块，实现信号的预处理、特征提取与融合、分类，将分类结果传输至主动交流模块，实现文字或声音的交流形式，帮助被试者实现基础交流。

3、所述脑电采集设备由上位机、采集模块和脑电帽组成。上位机用于实验程序的运行以及设备供电；采集模块包括虚拟串口通讯模块、数字电源模块与stm32h743iit6主控模块等数字模块以及ads1299采集模块、模拟电源模块等模拟模块；脑电帽电极分布的位置为依据10-20国际标准导联电极分布的fp1，fpz,fp2，af7，af3，af4，af8，f7，f5，f3，f1，fz，f2，f4，f6，f8，ft9,，ft7，fc5，fc3，fcz，fc2，fc4，fc6，ft8，ft10，t7，c5，c3，c1，cz，c2，c4，c6，t8，tp9，tp7，cp5，cp3，cp1，cpz，cp2，cp4，cp6，tp8，tp10，p7，p5，p3，p1，pz，p2，p4，p6，p8，po7，po5，po3，poz，po4，po6，po8，o1，oz，o2的64通道电极排布，采集大脑主要语言处理功能区的脑电信号，通过软排线与采集模块相连接，用于脑电信号的采集和传输。

4、所述脑电采集设备的具体工作流程如下：上位机运行相应的实验程序，对受试者进行相应范式的eeg诱发。受试者产生的eeg信号被脑电极帽采集，经过采集前端处理后以模拟信号的形式进入ads1299采集模块。ads1299采集模块将模拟信号转换为相应的数字信号，携带相应的设置字符串发送给stm32h743iit6主控模块。stm32h743iit6主控模块对数字信号进行排序与裁剪后，将处理后的数据通过虚拟串口模块发送给上位机。整个采集模块由上位机进行供电。spi隔离模块与电源隔离模块对数字模块与模拟模块之间的信号通讯与电源传输进行隔离，防止数字模块噪声对模拟信号采集造成影响。

5、所述mbfnet模块，具体方法是所提出的基于语音想象的多频段特征融合网络(mbfnet)，由预处理模块、特征提取模块、特征映射与融合模块和分类器模块构成，其中，预处理模块用于信号预处理，特征提取模块用于学习特定频段运语音想象eeg信号所包含的时空特征，特征映射与融合模块被用于全频段和α和β节律频段空间特征的交互，分类器模块被用于三个频段特征提取结果的分类。

6、所述语音想象脑电信号预处理过程如下：

7、通过五阶巴特沃斯带通滤波器对原始脑电信号进行带通滤波，下限频率是1hz，上限频率是45hz；对滤波后的脑电信号进行降采样，由500hz降至250hz，得到全频段脑电信号；信号频带分解过程，即利用带通滤波器对预处理后的脑电信号进行滤波分解，得到α频带(8-12hz)、β频带(12-30hz)脑电信号。

8、所述特征提取分支主要包含时间平滑、通道融合、特征提取三部分，其具体信息如下：

9、时间平滑模块以c个电极采集到的t个时间点的单次mi任务x∈rc×t作为输入，通过多尺度时域卷积对输入eeg信号进行平滑处理，避免了单一尺度平滑处理带来的信息损失，该模块描述如下：

10、fts＝bn(conv1(x)+conv2(x)+conv3(x))

11、其中，x为输入eeg信号，fts为时间平滑模块的输出特征图，conv(·)代表卷积操作，时间平滑模块中卷积核数目设置为16，卷积核大小分别为1×5、1×15和1×25。bn(·)表示批归一化，通过批归一化加速模型训练并避免过拟合。

12、通道融合模块以时间平滑模块的特征图fts为输入，采用可分离卷积提取多通道eeg信号中不同通道对应脑区位置的空间特征，该模块描述如下：

13、fcf＝bn(f(dconv(fts)))

14、其中，fcf为通道融合模块的输出特征图，f(·)代表rectified linear unit(relu)，dconv(·)代表深度卷积，时间平滑模块中卷积核数目设置为64，卷积核大小分别为c×1，c为eeg信号的通道数，本项目中c为16。

15、时间特征提取模块以通道融合模块的特征图fcf为输入，采用分组扩张卷积提取eeg信号中包含的丰富时域特征，该模块描述如下：

16、ftf＝p(cat(f(gdconv4(fcf)),f(gdconv5(fcf)),f(gdconv6(fcf))))

17、其中gdconv4(·)、gdconv5(·)和gdconv6(·)为分组扩张卷积，卷积核数目设置为80，分组数设置为4，输入特征图将被分为4组，每个分组卷积只对组内信息进行学习，卷积核大小为1×125，并行结构，考虑大脑在运动想象时的短期和长期表现，cat(·)代表拼接函数，p(·)代表平均池化，通过大小为1×5的平均池化操作以减小特征图的大小，设置0.5的dropout以缓解过拟合。

18、所述特征映射与融合模块以特征提取分支输出特征图x∈rn×3*d×1×t′为输入，在模块中使用三个尺度的分组卷积，每组卷积只需要对部分特征图进行学习，不同频段的特征图将进入同一组卷积进行学习，实现多频段特征之间的融合，通过改变输入特征图的排列方式，即可实现三频段特征之间的融合。三个不同尺度的卷积核大小分别为8、16和32，扩张率设置为3，以充分提取大脑在执行语音想象任务时的时间特征。在进行特征融合以后，执行批归一化和池化操作，设置0.5的dropout以缓解过拟合。

19、所述分类器模块中，首先将特征图进行展平，然后通过线性层和softmax得到每个频段的输出。此外，将三个频段的输出加在一起以促进三个频段的深入交互，提高模型的分类性能。由于语音想象任务与α和β频带密切相关，因此在分类任务中考虑了三个频带，即全频带、α和β频带。对于这三个波段中的每一个，都使用上述分频特征提取网络模型学习波段特定信息。然后将三个模型组合成一个集成模型用于集成多频带信息并提高整体性能。最后，使用softmax激活函数来进行分类。所述softmax的计算公式如下：

20、

21、其中，为每一类的预测概率，fi为线性层最后一层中第i个神经元的输出。

22、所述主动交流模块，是一款自主研发的可实现语音(发声)与文字(无声)交流的软件。具体的，患者可利用该程序查看语音想象实验词库中的设定词汇，产生的语音想象脑电信号由便携式脑电帽实时采集、处理并分析，最后再将解码结果通过蓝牙无线传输到交流软件实现对外交互。患者同样可在软件中查看对应词汇的识别率，从而进行专项训练。

23、本发明的基于64通道脑电采集设备的语音交流系统，能够实现对语音想象脑电信号的采集、处理和准确解码，通过分析使用者的语音想象脑电信号，解码得到使用者的语音意图，并通过主动交流软件实现主动语音、文字交互。本发明通过语音想象脑-机接口提供了一种更自然的交互方式，为语言能力障碍患者提供一种高效便捷的交流系统。