想象语音重构模型的生成方法、想象语音重构方法

本申请涉及脑机接口领域，特别是涉及一种想象语音重构模型的生成方法、想象语音重构方法。

背景技术：

1、想象语音是脑接口领域的一个新兴研究方向，旨在直接从脑信号合成刺激音频的信息，即想象语音重构。想象语音重构可能是打开人类交流新时代的关键，从目前的以语音或文本为基础的交流到以大脑信号为基础的交流。此外，想象语音重构技术可以帮助那些不能说话的病人，或者那些可能在未来失去声音的人。在一系列脑信号记录技术中，侵入性技术提供了神经活动的详细视图，但由于手术植入的必要性而受到限制。相比之下，脑电图作为一种无创技术，更安全以及更容易被接受。但是由于脑电信号的非平稳性以及高信噪比，以及人的生理特异性，不同受试者在进行同一想象语音任务的脑电信号差别可能很大，以及同一受试者在不同时间对于同一想象语音任务的脑电信号也可能差别很大，对于想象语音脑电信号的准确解码仍然是一个具有挑战性的问题。

2、目前大多数的方法使用卷积神经网络以及递归神经网络（作为想象语音重构模型）对想象语音时产生的脑电图信号进行处理和分类。由于目前想象语音重构模型的生成方法具有局限性，虽然使得其生成的想象语音重构模型，在单词或字母级别的语音特征重构方面取得了进展，但在精确重构连续语音特征方面，尤其是在分钟级别的长时间序列中，仍存在较低的准确率。

3、针对目前想象语音重构模型的生成方法所生成的想象语音重构模型无法较为准确地重构连续语音的问题，目前还没有提出有效的解决方案。

技术实现思路

1、在本发明中提供了一种想象语音重构模型的生成方法、想象语音重构方法，以解决目前想象语音重构模型的生成方法所生成的想象语音重构模型无法较为准确地重构连续语音的问题。

2、在本发明中提供了一种想象语音重构模型的生成方法，包括：

3、获取样本脑电信号，所述样本脑电信号为受试者在进行连续语音想象时产生的脑电信号；通过所述样本脑电信号对想象语音重构模型进行监督训练，得到训练后的想象语音重构模型；

4、其中，所述想象语音重构模型包括特征嵌入模块、特征预处理模块和状态空间模块；

5、所述特征嵌入模块包括依次连接的第一层归一化层、第一多头注意力机制块、第二层归一化层和第一前馈模块，所述第一层归一化层的输入为所述受试者的身份信息，所述第一多头注意力机制块的输入还包括所述样本脑电信号；

6、所述特征预处理模块包括依次连接的第一u网络模块和外在注意力机制块，所述第一u网络模块的输入为所述第一前馈模块的输出，所述第一u网络模块包括依次连接的第一卷积层、第二卷积层、第一目标模块、第三卷积层、第二目标模块、第三目标模块和第四卷积层，所述第三卷积层的输入还包括所述第二卷积层的输出，所述第二目标模块的输入还包括所述第一卷积层的输出，所述第三目标模块的输入还包括所述第一卷积层的输出，所述第一目标模块、所述第二目标模块和所述第三目标模块均包括多个依次连接的结构性状态空间模块；

7、所述状态空间模块包括第四目标模块、第一选择性状态空间模块、第五目标模块和第二选择性状态空间模块，所述第四目标模块的输入包括所述外在注意力机制块输出和所述第一前馈模块的输出，所述第一选择性状态空间模块的输入包括所述第四目标模块的输出和所述第一前馈模块的输出，所述第五目标模块的输入包括第一选择性状态空间模块的输出和所述第一前馈模块的输出，所述第二选择性状态空间模块的输入包括所述第五目标模块的输出和所述第一前馈模块的输出，所述第四目标模块和所述第五目标模块均包括多个依次连接的多头注意力模块，所述第二选择性状态空间模块的输出通过线性层后生成梅尔谱图。

8、第二个方面，在本发明中提供了一种想象语音重构方法，包括：

9、将用户在进行连续语音想象时产生的脑电信号输入想象语音重构模型中，通过所述想象语音重构模型得到所述用户的想象语音的梅尔谱图；

10、其中，所述想象语音重构模型通过第一个方面所述的想象语音重构模型的生成方法得到。

11、与相关技术相比，本发明将基于结构性状态空间模型的u-net网络结构应用于eeg信号处理，以捕获eeg信号的局部特征和这些特征的短期依赖性，并提出了一种新的选择性状态空间模块与多头注意力模块结合的状态空间模块，用于高效地对eeg信号的长序列进行建模，这对于想象言语的长序列数据特别有效。除此之外，由于脑电信号的受试者相关性，我们还引入了特征嵌入模块和外在注意力机制块来整合特定受试者的信息，并根据个体受试者的特征定制模型响应。这些新的结构的提出和引入，有助于精确重构连续想象语音特征，提高长序列级别想象语音重构精度。解决了目前想象语音重构模型的生成方法所生成的想象语音重构模型无法较为准确地重构连续语音的问题。

12、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种想象语音重构模型的生成方法，其特征在于，包括：

2.根据权利要求1所述的想象语音重构模型的生成方法，其特征在于，所述结构性状态空间模块包括依次连接的第一线性层、结构性状态空间模型、第一dropout层和第三层归一化层，所述第一dropout层的输入还包括所述第一线性层的输出。

3.根据权利要求2所述的想象语音重构模型的生成方法，其特征在于，所述多头注意力模块包括依次连接的第一预卷积层、第二u网络模块、第二前馈模块、第二多头注意力机制块、第一卷积模块和第三前馈模块，所述第二u网络模块与所述第一u网络模块相同，所述第二多头注意力机制块的输入还包括所述第二u网络模块的输出，所述第一卷积模块的输入还包括所述第二多头注意力机制块的输入，所述第三前馈模块的输入还包括所述第一卷积模块的输入，所述第三前馈模块的输出与输入残差连接后作为所述多头注意力模块的输出。

4.根据权利要求3所述的想象语音重构模型的生成方法，其特征在于，所述第一多头注意力机制块与所述第二多头注意力机制块的表达式均为：

5.根据权利要求1所述的想象语音重构模型的生成方法，其特征在于，所述第一选择性状态空间模块和所述第二选择性状态空间模块均包括依次连接的第二预卷积层、第三u网络模块、第四前馈模块、选择性状态空间模型、第二卷积模块和第五前馈模块，所述第三u网络模块与所述第一u网络模块相同，所述选择性状态空间模型的输入还包括所述第三u网络模块的输出，所述第二卷积模块的输入还包括所述选择性状态空间模型的输入，所述第五前馈模块的输入还包括所述第二卷积模块的输入，所述第五前馈模块的输出与输入残差连接后作为选择性状态空间模块的输出。

6.根据权利要求1所述的想象语音重构模型的生成方法，其特征在于，获取样本脑电信号包括：

7.根据权利要求5所述的想象语音重构模型的生成方法，其特征在于，所述想象语音重构模型在训练时采用的损失函数为：

8.一种想象语音重构方法，其特征在于，包括：

9.一种想象语音重构模型的生成装置，其特征在于，包括：

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的想象语音重构模型的生成方法或者权利要求8所述的想象语音重构方法。

技术总结本申请涉及一种想象语音重构模型的生成方法、想象语音重构方法，其中，该生成方法包括：获取样本脑电信号，样本脑电信号为受试者在进行连续语音想象时产生的脑电信号；通过样本脑电信号对想象语音重构模型进行监督训练，想象语音重构模型包括特征嵌入模块、特征预处理模块和状态空间模块；特征预处理模块包括依次连接的第一U网络模块和外在注意力机制块，第一U网络模块包括依次连接的第一卷积层、第二卷积层、第一目标模块、第三卷积层、第二目标模块、第三目标模块和第四卷积层，目标模块包括多个依次连接的结构性状态空间模块。解决了目前想象语音重构模型的生成方法所生成的想象语音重构模型无法较为准确地重构连续语音的问题。技术研发人员：范存航,章胜,吕钊,朱彤受保护的技术使用者：安徽大学技术研发日：技术公布日：2024/12/2