一种基于脑机接口的聋哑人辅助系统及方法与流程

1.本发明涉及脑机接口技术领域，具体涉及一种基于脑机接口的聋哑人辅助系统及方法。


背景技术：

2.随着科学技术发展，当前的脑机接口，语音识别，语音生成等技术已经实现迅猛发展。这为聋哑人群的听觉和发声辅助设备提供了很好的技术基础与支持，也为智能辅助设备方面提供了智能化辅助控制机遇。


技术实现要素：

3.本发明的目的在于提供一种基于脑机接口的聋哑人辅助系统及方法，解决了聋哑人难以与外界沟通交流的问题。
4.本发明通过下述技术方案实现：
5.第一方面，本发明提供一种基于脑机接口的聋哑人辅助系统，包括：脑电信号采集帽，用于采集用户的脑部电信号信息，并将外部合成的脑部电信号信息传递至用户；脑电信号处理模块，用于处理由上述脑电信号采集帽所采集的脑部电信号信息，并将外部其他形式的信号合成为脑部电信号信息传递至上述脑电信号采集帽；声音处理模块，用于接收、处理由上述脑电信号处理模块发送的脑电信号，并接收、处理外部语音信息，且将处理后的外部语音信息发送至上述脑电信号处理模块；外设接口模块，与上述声音处理模块连接，用于获取上述外部语音信息或通过语音的方式向外部传达用户的意图；主处理器模块，用于支持系统的控制与执行，控制各模块的启动与关闭；总线模块，用于连接各模块，并控制各模块间的数据传递；快速暂存模块，用于暂存各个模块执行运算的中间数据以及输入输出数据。
6.基于第一方面，在本发明一些实施例中，上述脑电信号处理模块包括：脑电信号采集模块，用于从上述脑电信号采集帽所采集的脑部电信号信息中提取脑电信号，并提取脑电频域特征；脑电信号预处理模块，用于对上述脑电信号采集模块提取的脑电频域特征进行预处理；脑电信号生成模块，用于对上述外部语音信息执行频域转换操作、生成对应的脑部电信号信息。
7.基于第一方面，在本发明一些实施例中，上述脑电信号预处理模块对上述脑电频域特征进行预处理包括：对上述脑电频域特征进行时域转换，并依据声学输入特征要求进行预处理计算操作。
8.基于第一方面，在本发明一些实施例中，上述声音处理模块包括：语音识别模块，用于对接收的外部语音信息执行噪声消除以及声学特征提取操作；语音生成模块，用于将上述脑电信号处理模块处理后的脑电信号转换成语音信号并传送至外设接口模块进行语音播报。
9.基于第一方面，在本发明一些实施例中，还包括：语义分析模块，用于对上述外部
语音信息或上述语音信号进行神经网络语义信息处理操作，以消除语句之间存在的词义分歧问题。
10.基于第一方面，在本发明一些实施例中，还包括：情感分析模块，用于对上述外部语音信息或上述语音信号所表达的情绪以及正负面情感倾向进行判断。
11.基于第一方面，在本发明一些实施例中，上述外设接口模块包括传声器和扬声器。
12.第二方面，本发明提供一种基于脑机接口的聋哑人辅助方法，应用于上述系统，替代发声功能的执行步骤包括：s101、由上述脑电信号采集帽采集用户的脑部电信号信息，并传递至脑电信号处理模块；s102、上述脑电信号处理模块对采集的脑部电信号信息执行提取、预处理操作；上述预处理包括噪声信号处理、频域信号转换；s103、将步骤s102中经预处理后的脑部电信号信息传递至声音处理模块，经上述声音处理模块处理后生成符合用户意图的语音信号；s104、将步骤s103生成的语音信号通过上述外设接口模块中的扬声器进行语音播报。
13.第三方面，本发明提供一种基于脑机接口的聋哑人辅助方法，应用于上述系统，替代听觉功能的执行步骤包括：s201、由上述外设接口模块中的传声器收集外部语音信息；s202、将收集的外部语音信息传送至上述声音处理模块，由上述声音处理模块对收集的外部语音信息进行提取，生成关键语音信息，并将上述关键语音信息传递至上述脑电信号处理模块；s203、上述脑电信号处理模块将上述关键语音信息转换成脑电波信息，并通过上述脑电信号采集帽传递至大脑，辅助听觉神经进行听觉外部干预。
14.本发明与现有技术相比，具有如下的优点和有益效果：
15.第一方面，本发明提供一种基于脑机接口的聋哑人辅助系统，包括：脑电信号采集帽，脑电信号处理模块，声音处理模块，外设接口模块，主处理器模块，总线模块，快速暂存模块。可帮助聋哑人群能够更加方便地表达自己的想法、并获取外界的声音，提高聋哑人群的交流效率。
16.第二方面，本发明提供一种基于脑机接口的聋哑人辅助方法，由上述脑电信号采集帽采集用户的脑部电信号信息，并传递至脑电信号处理模块；上述脑电信号处理模块对采集的脑部电信号信息执行提取、预处理操作；上述预处理包括噪声信号处理、频域信号转换；经预处理后的脑部电信号信息传递至声音处理模块，经上述声音处理模块处理后生成符合用户意图的语音信号；将生成的语音信号通过上述外设接口模块中的扬声器进行语音播报。如此，可一定程度上代替发声功能，更加直观地通过声音向外部传达用户的意图。
17.第三方面，本发明提供一种基于脑机接口的聋哑人辅助方法，由上述外设接口模块中的传声器收集外部语音信息；将收集的外部语音信息传送至上述声音处理模块，由上述声音处理模块对收集的外部语音信息进行提取，生成关键语音信息，并将上述关键语音信息传递至上述脑电信号处理模块；上述脑电信号处理模块将上述关键语音信息转换成脑电波信息，并通过上述脑电信号采集帽传递至大脑，辅助听觉神经进行听觉外部干预。如此可一定程度上替代听觉功能，令用户能够更加准确的了解他人所传达的信息，改善用户的交流体验。
附图说明
18.为了更清楚地说明本发明示例性实施本发明提供一种基于脑机接口的聋哑人辅
助系统的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
19.图1为本发明提供的一种基于脑机接口的聋哑人辅助系统一实施例的系统结构图；
20.图2为本发明提供的一种基于脑机接口的聋哑人辅助方法一实施例的流程框图；
21.图3为本发明提供的一种基于脑机接口的聋哑人辅助方法另一实施例的流程框图。
22.附图中标记及对应的零部件名称：
[0023]1‑
脑电信号采集帽；2
‑
脑电信号处理模块；21
‑
脑电信号采集模块；22
‑
脑电信号预处理模块；23
‑
脑电信号生成模块；3
‑
声音处理模块；31
‑
语音识别模块；32
‑
语音生成模块；33
‑
语义分析模块；34
‑
情感分析模块；4
‑
外设接口模块；41
‑
扬声器；42
‑
传声器；5
‑
主处理器模块；6
‑
总线模块；7
‑
快速暂存模块。
具体实施方式
[0024]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
[0025]
实施例1
[0026]
请参照图1和图2，本发明实施例提供一种基于脑机接口的聋哑人辅助系统，其特征在于，包括：
[0027]
脑电信号采集帽1，用于采集用户的脑部电信号信息，并将外部合成的脑部电信号信息传递至用户；
[0028]
示例性的，本实施例中脑电信号采集帽1包括电极帽，可利用脑电图传感器，通过电极记录大脑的电活动，电极通常嵌入电极帽中。电极帽通常需要5分钟才能安装在用户身上，通过调节电极以获得良好的信号。脑电图实施的原理是生物电现象。脑电波(eeg)是大脑在活动时，脑皮质细胞群之间形成电位差，从而在大脑皮质的细胞外产生电流。脑电图记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
[0029]
脑电信号处理模块2，用于处理由上述脑电信号采集帽1所采集的脑部电信号信息，并将外部其他形式的信号合成为脑部电信号信息传递至上述脑电信号采集帽1；
[0030]
示例性的，脑电信号处理模块2包括脑电信号采集模块21和脑电信号预处理模块22。
[0031]
示例性的，脑电信号采集模块21可采用ads1299脑电采集芯片。当脑电信号采集模块21接收到由脑电信号采集帽1采集的脑部电信号信息后，需要从脑部电信号信息中提取所需要的脑电信号，并提取脑电信号的脑电频域特征。
[0032]
脑电信号预处理模块22则对提取的脑电频域特征进行分析处理，其中包括对上述脑电频域特征信号进行噪声信号处理、时域转换，并依据声学输入特征要求进行预处理计
算操作。
[0033]
声音处理模块3，用于接收、处理由上述脑电信号处理模块2发送的脑电信号，并接收、处理外部语音信息，且将处理后的外部语音信息发送至上述脑电信号处理模块2；
[0034]
示例性的，声音处理模块3包括语音生成模块32，用于将上述脑电信号处理模块2处理后的脑电信号转换成语音信号并传送至外设接口模块4进行语音播报。示例性的，语音生成模块32包括diva模型，diva模型是一种为了生成单词、音节和音素而控制模拟声道运动的自适应神经网络模型，其依赖的输入信号则是从人体大脑中采集的脑电信号。
[0035]
进一步的，声音处理模块3还包括语义分析模块33，diva模型输出语音信号后可通过语义分析神经网络模型分析语句是否存在语病或歧义，若存在则进行修改，以保证能够更加准确的表达用户的意图，向外界传递更加准确的信息，
[0036]
进一步的，声音处理模块3还包括情感分析模块34，示例性的，本实施例中，情感分析模块34用于对由语音生成模块32输出的语音信号所表达的情绪以及正负面情感倾向进行判断。并将所表达的情绪通过添加词句、改变语气或音量的方式表达出来。示例性的，若用户想要表达的是“我想去洗手间”，情感分析模块34分析出目前用户的情绪十分焦急，则可将之前的语句表达为“我非常想去洗手间”，或是通过焦急的语气表达“我想去洗手间”。情感分析模块34通过分析用户当前的情绪，能够帮助用户更好地表达自己的意图和需要，使得用户能够获得更好的交流体验。
[0037]
外设接口模块4，与上述声音处理模块3连接，用于获取上述外部语音信息或通过语音的方式向外部传达用户的意图；
[0038]
示例性的，外设接口模块4包括扬声器41，经上述声音处理模块3处理后生成语音信号则发送至扬声器41，由扬声器41进行播报用以代替声带，直观地通过声音向外部传达用户的意图。
[0039]
另外，系统还包括主处理器模块5，用于支持系统的控制与执行，控制各模块的启动与关闭；总线模块6，用于连接各模块，并控制各模块间的数据传递；快速暂存模块7，用于暂存各个模块执行运算的中间数据以及输入输出数据。
[0040]
对于聋哑用户而言，可通过令系统执行以下步骤替代发声功能：
[0041]
s101、由上述脑电信号采集帽1采集用户的脑部电信号信息，并传递至脑电信号处理模块2；
[0042]
示例性的，本实施例中脑电信号采集帽1包括电极帽，可利用脑电图传感器，通过电极记录大脑的电活动，电极通常嵌入电极帽中。脑电图实施的原理是生物电现象，脑电波(eeg)是大脑在活动时，脑皮质细胞群之间形成电位差，从而在大脑皮质的细胞外产生电流。脑电信号极其微弱，其主要频段在0.5hz～100hz，信号幅值范围为5uv～100uv，所以极易受到其他信号的干扰，由于人体的分布电容、肌肉活动以及电子元器件受外界电磁环境影响等原因，脑电信号通常都带有多种干扰信号，如基线漂移、工频干扰、肌电干扰等等。因此脑电信号经采集后需送至电信号处理模块进行处理。
[0043]
s102、上述脑电信号处理模块2对采集的脑部电信号信息执行提取、预处理操作；上述预处理包括噪声信号处理、频域信号转换；
[0044]
示例性的，脑电信号处理模块2包括脑电信号采集模块21和脑电信号预处理模块22，当脑电信号采集模块21接收到由脑电信号采集帽1采集的脑部电信号信息后，需要从脑
部电信号信息中提取所需要的脑电信号，并提取脑电信号的脑电频域特征。脑电信号预处理模块22则对提取的脑电频域特征进行分析处理，其中包括对上述脑电频域特征信号进行噪声信号处理、时域转换，并依据声学输入特征要求进行预处理计算操作。
[0045]
s103、将步骤s102中经预处理后的脑部电信号信息传递至声音处理模块3，经上述声音处理模块3处理后生成符合用户意图的语音信号；
[0046]
示例性的，声音处理模块3包括语音生成模块32，用于将上述脑电信号处理模块2处理后的脑电信号转换成语音信号并传送至外设接口模块4进行语音播报。示例性的，语音生成模块32包括diva模型，diva模型是一种为了生成单词、音节和音素而控制模拟声道运动的自适应神经网络模型，其依赖的输入信号则是从人体大脑中采集的脑电信号。
[0047]
另外，为了更加准确得表达用户的意图和情感，可将经语音生成模块32输出的语音信号输入语义分析模块33、情感分析模块34中进行进一步的分析处理，以帮助用户更好地表达自己的意图和需要，使得用户能够获得更好的交流体验。
[0048]
s104、将步骤s103生成的语音信号通过上述外设接口模块4中的扬声器41进行语音播报。
[0049]
示例性的，外设接口模块4包括扬声器41，经上述声音处理模块3处理后生成语音信号则发送至扬声器41，由扬声器41进行播报用以代替声带，直观地通过声音向外部传达用户的意图。
[0050]
实施例2
[0051]
对于聋哑人群而言，除了需要向外界表达他们的需求，获取外界的声音信息亦同样重要。
[0052]
请参照图1和图3，在上述实施例1的基础上。示例性的，上述外设接口模块4还包括传声器42，传声器42是将声音信号转换为电信号的能量转换器件，本实施中则作为采集外部语音信息的装置。
[0053]
示例性的，上述声音处理模块3还包括语音识别模块31，由于外部的语音信息极为杂乱，存在许多的干扰信息，为降低系统负担，需要由语音识别模块31从繁乱的外部语音信息提取出关键语音信息，提取的内容尽量简明扼要，然后再对提取出的外部语音信息执行噪声消除以及声学特征提取操作，进一步降低干扰、精简信息。
[0054]
进一步的，为保证能够向用户传达更加准确的信息，本实施例中，语义分析模块33，则用于对外部语音信号中的语义信息进行神经网络语义信息处理操作，消除语句之间存在的词义分歧问题；
[0055]
进一步的，为能够帮助用户更好地了解他人意图和需要，使得用户能够获得更好的交流体验。本实施例中，情感分析模块34，则用于对外部语音信号中所表达的情绪以及正负面情感倾向进行判断。
[0056]
示例性的，上述脑电信号处理模块2还包括脑电信号生成模块23。主要用于对由语音识别模块31处理后语音信息执行频域转换操作、生成对应的脑部电信号信息。脑电信号生成模块23则可将外部的声音信息生成对应的脑部电信号信息，然后通过脑电信号采集帽1将脑部电信号信息传输至用户的脑部，令用户能够更加准确的了解他人所传达的信息。
[0057]
对于聋哑用户而言，可通过令系统执行以下步骤替代听觉功能：
[0058]
s201、由上述外设接口模块4中的传声器42收集外部语音信息；
[0059]
示例性的，示例性的，上述外设接口模块4还包括传声器42，传声器42是将声音信号转换为电信号的能量转换器件，本实施中则作为采集外部语音信息的装置。
[0060]
s202、将收集的外部语音信息传送至上述声音处理模块3，由上述声音处理模块3对收集的外部语音信息进行提取，生成关键语音信息，并将上述关键语音信息传递至上述脑电信号处理模块2；
[0061]
示例性的，上述声音处理模块3还包括语音识别模块31，由于外部的语音信息极为杂乱，存在许多的干扰信息，为降低系统负担，需要由语音识别模块31从繁乱的外部语音信息提取出关键语音信息，提取的内容尽量简明扼要，然后再对提取出的外部语音信息执行噪声消除以及声学特征提取操作，生成关键语音信息，然后将关键语音信息传递至上述脑电信号处理模块2。
[0062]
s203、上述脑电信号处理模块2将上述关键语音信息转换成脑电波信息，并通过上述脑电信号采集帽1传递至大脑，辅助听觉神经进行听觉外部干预。
[0063]
示例性的，上述脑电信号处理模块2还包括脑电信号生成模块23。主要用于对由语音识别模块31处理后语音信息执行频域转换操作、生成对应的脑部电信号信息。脑电信号生成模块23则可将外部的声音信息生成对应的脑部电信号信息，然后通过脑电信号采集帽1将脑部电信号信息传输至用户的脑部，令用户能够更加准确的了解他人所传达的信息。
[0064]
实施例3
[0065]
请参照图2，本发明实施例提供一种基于脑机接口的聋哑人辅助方法，应用于上述系统，替代发声功能的执行步骤包括：s101、由上述脑电信号采集帽1采集用户的脑部电信号信息，并传递至脑电信号处理模块2；s102、上述脑电信号处理模块2对采集的脑部电信号信息执行提取、预处理操作；上述预处理包括噪声信号处理、频域信号转换；s103、将步骤s102中经预处理后的脑部电信号信息传递至声音处理模块3，经上述声音处理模块3处理后生成符合用户意图的语音信号；s104、将步骤s103生成的语音信号通过上述外设接口模块4中的扬声器41进行语音播报。
[0066]
本实施例的具体实施步骤见实施例1，在此不作赘述。
[0067]
实施例4
[0068]
请参照图3，本发明实施例提供一种基于脑机接口的聋哑人辅助方法，应用于上述系统，替代听觉功能的执行步骤包括：s201、由上述外设接口模块4中的传声器42收集外部语音信息；s202、将收集的外部语音信息传送至上述声音处理模块3，由上述声音处理模块3对收集的外部语音信息进行提取，生成关键语音信息，并将上述关键语音信息传递至上述脑电信号处理模块2；s203、上述脑电信号处理模块2将上述关键语音信息转换成脑电波信息，并通过上述脑电信号采集帽1传递至大脑，辅助听觉神经进行听觉外部干预。
[0069]
本实施例的具体实施步骤见实施例2，在此不作赘述。
[0070]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。