一种自适应图学习的多视图脑电言语想象意图识别方法

本发明属于脑电信号处理，具体设计一种自适应图学习的多视图脑电言语想象意图识别方法。

背景技术：

1、言语对话是人类沟通的基本形式，起到信息交换、反馈、情感表达、意图传达以及社会关系的建立和维护等重要作用。言语想象是一种心理现象，它涉及到没有实际语言输出的情况下，个体在大脑中模拟语言产生的过程。在言语想象过程中，大脑皮层会产生生理信号——脑电图(electroencephalography，eeg)。这是人脑在活动过程中自发产生的信号，即使在人无法发声的情况下，只要大脑做了言语想象任务，就会产生脑电信号。因此通过对言语想象的脑电进行识别可以有效的帮助言语障碍人群与外部进行沟通表达其意图。

2、如何从脑电信号中获取到个体的言语想象内容是言语想象意图识别研究的重要目标。在现有的大部分脑电言语想象识别研究中都采用单视图的情况，没有充分挖掘和利用脑电信号不同维度的特征数据。同时多视图下各个视图的在模型中的重要性也需要有差异。此外脑电信号的不同通道以及不同频段在个体进行言语想象的过程中的重要程度是存在差异的，在研究过程中不能简单的直接使用不同通道和频段的特征数据，应赋予其不同的权重才是合理的。在实际应用场景中，往往无法获取到所有数据的标签，半监督学习可以只使用少量的标签信息的情况下完成识别任务。在图学习领域中，基于图的半监督学习方法通常是使用样本间的相似度来构建相似度矩阵，通过相似度矩阵以达到同类别聚合的效果，由此来识别没有标记的样本标签。综合上述考虑，本发明中提出一种自适应图学习的多视图脑电言语想象意图识别模型。该模型能够充分利用言语想象脑电数据的多视图数据，并通过半监督的图学习方式学习样本间的相似性以完成言语想象的意图识别任务，同时模型还能够在图学习的过程中自适应的学习到视图的重要性以及特征的重要性，来有效提高关键视图、通道、频段的重要性。并且根据视图和特征在模型中的贡献程度，可以在脑电采集、预处理和特征提取时选取更有价值的视图、通道和频段，从而提高识别的效率。

技术实现思路

1、本发明旨在针对现有的脑电言语想象识别方法中存在的不足提出了一种自适应图学习的多视图脑电言语想象意图识别方法。本发明通过对未标记的连续标签矩阵fu、相似度矩阵s、特征权重矩阵θv及视图权重向量α进行联合迭代优化，最终模型可以有效的判别未标记样本的标签；得到很好描述样本间关联程度的相似度矩阵；得到量化的描述视图以及特征重要性的权重系数。在本发明中，一方面可以通过多视图尽可能多的挖掘并利用脑电数据，提高模型的判别能力和泛化能力；另一方面该言语想象识别方法可以在训练过程中自适应的得到特征权重矩阵θv及视图权重向量α，可以有效的提高重要的视图、频段和通道对言语想象识别的贡献度，并且可以指导脑电采集、预处理和特征提取时的通道和频段选择，从而提高识别精度和效率。

2、第一方面，本发明提供一种自适应图学习的多视图脑电言语想象意图识别方法，其包括以下步骤：

3、步骤1、在不同的言语想象任务场景下，对多名被试者的脑电数据进行采集。

4、步骤2、对步骤1采集到的脑电数据以及需要识别言语想象意图的脑电数据进行预处理，并提取预处理后的脑电数据在不同视图下的不同通道和频段的特征，得到样本集。需要识别言语想象意图的脑电数据通过被测者进行脑电信号采集得到。

5、步骤3、联合视图权重向量α，和每个视图的特征权重矩阵θv，构建目标函数如下:

6、

7、其中，xv表示样本集；样本集xv包括对应已知的离散标签矩阵yl的带标签样本子集和对应未标记的离散标签矩阵yu的无标签样本子集f＝[fl；fu]为连续的标签矩阵；fl＝yl；fu与未标记的离散标签矩阵yu对应。α＝[α1，α2，…，αp]t表示p个视图在模型中的权重向量；s是相似度矩阵；sij是第i个样本与第j个样本的相似度；表示第v个视图的第k个特征的权重；ls是拉普拉斯矩阵；dv表示第v个视图的特征的数量。

8、步骤4、根据步骤3构建的目标函数，对未标记的连续标签矩阵fu、相似度矩阵s、特征权重矩阵θv及视图权重向量α进行联合迭代优化。

9、步骤5、根据未标记的连续标签矩阵fu判断被测者在进行脑电数据采集时的言语想象类型。

10、作为优选，步骤5执行后，根据特征权重矩阵θv及视图权重向量α，对不同的通道、频段进行加权，判断对言语想象脑电识别起到关键作用的频段和通道，并调整脑电采集、预处理和特征提取时的通道和频段的选择。

11、作为优选，通道重要性ωi的表达式为其中，表示第v个视图中第mi个特征的权重。mi表示第i个通道所对应的特征在θv中的下标。频段重要性ψj的表达式为其中，表示第v个视图中第mj个特征的权重；mj表示第j个频段所对应的特征在θv中的下标。对于所有通道按照通道重要性ωi从大到小排序；对于所有频段按照频段重要性ψj从大到小排序；取通道重要性ωi最大的若干个通道作为选中的通道；取频段重要性ψj最大的若干个频段作为选中的频段。

12、作为优选，步骤2中对脑电数据进行预处理和特征提取具体过程为：将脑电数据进行下采样后通过带通滤波器滤除噪声和眼电伪影。过滤后的数据划分为5个频段，分别为delta(1-4hz)，theta(4-8hz)，alpha(8-14hz)，beta(14-31hz)和gamma(31-50hz)。在此数据的基础上提取不同通道不同频段的谱熵和功率谱密度特征作为该言语想象识别方法的两个视图。

13、作为优选，步骤3中构建自适应图学习的多视图脑电言语想象意图识别方法的具体过程为：利用欧氏距离来衡量样本之间的相似度，样本间距离和相似度之间呈负相关，考虑视图权重和特征权重可得到相似度构造模型：

14、

15、为防止相似度矩阵s和视图权重出现平凡解的情况以及加入半监督标签传播信息可以得到正则项约束，最终得到目标函数式(1)。

16、作为优选，步骤4中联合迭代优化的方法为：

17、步骤4.1、初始化相似度矩阵s，视图权重向量α、特征权重矩阵θv和未标记的连续标签矩阵fu。

18、步骤4.2、更新未标记的连续标签矩阵fu，固定相似度矩阵s、特征权重矩阵θv和视图权重向量α，得到fu的目标函数为：

19、

20、求解式(3)可以更新未标记的连续标签矩阵fu。

21、步骤4.3、更新视图权重向量α，固定相似度矩阵s、特征权重矩阵θv和未标记的连续标签矩阵fu，得到α的目标函数为：

22、

23、求解式(4)可以更新视图权重向量α。

24、步骤4.4、更新相似度矩阵s，固定视图权重向量α、特征权重矩阵θv和未标记的连续标签矩阵fu，得到s的目标函数为：

25、

26、求解式(5)可以更新相似度矩阵s。

27、步骤4.5、更新特征权重矩阵θv，固定视图权重向量α、相似度矩阵s和未标记的连续标签矩阵fu，得到θv的目标函数为：

28、

29、求解式(6)可以更新特征权重矩阵θv。

30、步骤4.6、重复迭代步骤4.2、步骤4.3、步骤4.4、步骤4.5直至目标函数收敛为止，最终完成相似度矩阵s、视图权重向量α、特征权重矩阵θv和未标记的连续标签矩阵fu的联合迭代优化。

31、作为优选，特征权重矩阵θv为一个对角阵，对角元素表示第v个视图的第k个特征的权重。

32、作为优选，拉普拉斯矩阵d是一个对角矩阵，第i的对角元素的定义为

33、第二方面，本发明提供一种计算机设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述存储器存储计算机程序；所述处理器执行前述的自适应图学习的多视图脑电言语想象意图识别方法。

34、第三方面，本发明提供一种可读存储介质，其存储有计算机程序；所述计算机程序被处理器执行时用于实现前述的自适应图学习的多视图脑电言语想象意图识别方法。

35、本发明具有以下有益效果：

36、1、本发明提出的自适应图学习的多视图脑电言语想象意图识别方法可以从多个视图中获取信息，利用多个视图中可用的互补信息来学习到更好的相似度矩阵和未标记样本标签矩阵，提高了脑电数据对言语想象任务的意图识别能力。

37、2、本发明提出的自适应图学习的多视图脑电言语想象意图识别方法不仅仅关注对脑电数据的识别任务，还重视各视图及特征对于模型识别的贡献程度。特征权重矩阵θv和视图权重向量α，在模型的迭代过程中不断地优化，自适应的去调整各个视图、特征的权重，加强关键视图、通道和频段对模型识别的贡献，从而提高识别准确率。同时视图重要性和特征重要性的结合有助于量化的去寻找到言语想象意图识别过程中起到关键作用的视图中的重要通道和重要频段，帮助在脑电采集、预处理和特征提取过程中根据得到的量化数据去有选择性的提取对应的关键通道和频段，从而优化模型识别的精度和效率。