一种基于脑电信号分析的视觉想象字符识别方法及系统

本技术涉及脑电信号分析，特别是涉及一种基于脑电信号分析的视觉想象字符识别方法及系统。

背景技术：

1、视觉是人体各种重要感觉的一种，据研究表明人们87％的外界信息依靠眼睛，并有75％-90％的人体活动是从视觉主导的，可见视觉对于人类活动的重要地位。而视觉想象(visual imagery，vi)是指人在思考时能根据需要，在大脑构造出某种图形或抽象概念、感性外观的能力。人的大脑就像长了眼睛，这些视觉想象物能移动、旋转、变化并且被分析，随着视觉想象，人的脑电波会产生不同的变化。因此，在现有技术中，多基于采集的脑电图(electro encephalo graphy，eeg)信号来进行视觉想象任务的解码。

2、如koji等人采集视觉想象6个日语单词的脑电信号，通过提取功率谱密度(powerspectral density,psd)做特征并用支持向量机(svm)分类，平均分类准确率为84.6％。ramialarai等人提出了一种基于eeg的vi任务解码方法。该方法利用choi-williams时频分布对eeg信号进行分析，并构建了多类svm分类器来解码各种vi任务。sunghan lee等人采集了7名被试者对三种图像类别(物体、数字、形状)进行vi的eeg信号，每个类别包括3个任务，采用事件相关谱摄动(event-correlation spectral perturbation,ersp)和choi-williams时频分布提取脑电特征，并将特征用到多种神经网络分类器中，其中multirocket网络在包含9个任务的3个类别中实现了70.38％的分类准确率。

3、以上提及的现有技术仅对基于vi的eeg信号进行分析处理，并未明确表明与vi任务相关的通道，存在通道定位模糊的问题；而且现有技术在处理基于vi的eeg信号时，对于信号的时序特性、频率特性以及多通道eeg信号中空间关联信息利用不足，对于eeg信号的准确识别造成了一定影响。因此，如何克服现有技术的问题，以提高基于脑电信号识别重建字符的准确度，对本领域的发展来说是至关重要的。

技术实现思路

1、本技术的目的是提供一种基于脑电信号分析的视觉想象字符识别方法及系统，可提高基于脑电信号识别重建字符的准确度。

2、为实现上述目的，本技术提供了如下方案：

3、第一方面，本技术提供了一种基于脑电信号分析的视觉想象字符识别方法，包括以下步骤：

4、获取待识别脑电信号；待识别脑电信号为具有若干个通道的脑电信号。

5、利用基于最大互信息的通道选择方法，对待识别脑电信号的通道进行筛选，得到通道筛选后的待识别脑电信号。

6、将通道筛选后的待识别脑电信号输入到视觉想象字符识别模型中，得到视觉想象字符识别结果；视觉想象字符识别模型为基于并行时空神经网络框架的模型，并行时空神经网络框架包括循环神经网络、多频带嵌套残差密集网络、并行特征融合网络和字符重建网络；循环神经网络用于从输入信号中学习字符时序特征；多频带嵌套残差密集网络用于从输入信号中学习字符空间特征；并行特征融合网络用于融合字符时序特征和字符空间特征，得到字符融合特征；字符重建网络用于根据字符融合特征，重建得到视觉想象字符识别结果。

7、可选地，视觉想象字符识别结果具体为视觉想象字符的类别；利用基于最大互信息的通道选择方法，对待识别脑电信号的通道进行筛选，得到通道筛选后的待识别脑电信号，具体包括以下步骤：

8、针对任一类别的视觉想象字符，提取得到若干个试验脑电信号；试验脑电信号为具有若干个通道的脑电信号。

9、采用z-score标准化处理算法，对试验脑电信号进行标准化处理，得到标准化后的试验脑电信号。

10、根据标准化后的试验脑电信号，计算得到类内相似度和类间相似度；类内相似度为类别相同的标准化后的试验脑电信号之间的最大互信息均值，类间相似度为类别不同的标准化后的试验脑电信号之间的最大互信息均值。

11、根据类内相似度和类间相似度，计算得到每个通道的判别分数。

12、根据各通道的判别分数，对待识别脑电信号的通道进行筛选，得到通道筛选后的待识别脑电信号。

13、可选地，根据下式对试验脑电信号进行标准化处理：

14、

15、其中，为标准化后的第h个试验脑电信号，为各类别第h个试验脑电信号的均值，xh为第h个试验脑电信号，σxh为各类别第h个试验脑电信号的标准差值，h为每个类别的试验脑电信号的数量。

16、可选地，根据下式计算类内相似度：

17、

18、其中，dw为类内相似度，mean()为求均值函数，mic()为最大互信息函数，为标准化后的第t个试验脑电信号，ch和ct分别代表第h个试验脑电信号和第t个试验脑电信号的类别。

19、根据下式计算类间相似度：

20、

21、根据下式计算通道的判别分数:

22、d＝μdw-(1-μ)di。

23、其中，d为通道的判别分数，μ为加权超参数。

24、可选地，最大互信息根据下式计算：

25、

26、其中，s为二维有限集，x和y分别为二维有限集s在x和y方向上划分的坐标，b(|s|)为网格划分x×y的上限，p(x,y)为联合概率密度，p(x)和p(y)为边概率密度。

27、可选地，循环神经网络为双向长短期记忆网络，包括前向长短期记忆网络和后向长短期记忆网络；前向长短期记忆网络用于从输入信号中提取前向隐藏状态；后向长短期记忆网络用于从输入信号中提取后向隐藏状态；字符时序特征通过将前向隐藏状态和后向隐藏状态拼接得到。

28、可选地，多频带嵌套残差密集网络为包括滤波器组、嵌套残差密集网络和通道空间注意力机制；滤波器组用于对输入信号进行多频带滤波处理，得到多频带数据；嵌套残差密集网络用于从多频带数据中学习字符空间特征；通道空间注意力机制用于增强嵌套残差密集网络的特征表征。

29、可选地，嵌套残差密集网络具体包括依次连接的第一残差密集块、第二残差密集块、第三残差密集块、标准化层、relu激活函数层和平均池化层；第一残差密集块的输出与第二残差密集块的输出进行融合后作为第三残差密集块的输入；第一残差密集块的输出、第二残差密集块的输出和第三残差密集块的输出进行融合后作为标准化层的输入。

30、通道空间注意力机制第一卷积注意力块和第二卷积注意力块包括；第一卷积注意力块连接在第二残差密集块和第三残差密集块之间，第二卷积注意力块第三残差密集块和标准化层之间。

31、可选地，并行特征融合网络用于根据学习到的通道间相关性，为不同通道分配不同的权重，以自动调整各个通道特征图的重要性，从而使模型能更有效地捕捉关键特征、减少冗余信息，并提升泛化能力。

32、第二方面，本技术提供了一种基于脑电信号分析的视觉想象字符识别系统，包括以下模块：

33、待识别脑电信号获取模块，用于获取待识别脑电信号；待识别脑电信号为具有若干个通道的脑电信号。

34、脑电信号通道筛选模块，用于利用基于最大互信息的通道选择方法，对待识别脑电信号的通道进行筛选，得到通道筛选后的待识别脑电信号。

35、视觉想象字符识别模块，用于将通道筛选后的待识别脑电信号输入到视觉想象字符识别模型中，得到视觉想象字符识别结果。视觉想象字符识别模型为基于并行时空神经网络框架的模型，并行时空神经网络框架包括循环神经网络、多频带嵌套残差密集网络、并行特征融合网络和字符重建网络；循环神经网络用于从输入信号中学习字符时序特征；多频带嵌套残差密集网络用于从输入信号中学习字符空间特征；并行特征融合网络用于融合字符时序特征和字符空间特征，得到字符融合特征；字符重建网络用于根据字符融合特征，重建得到视觉想象字符识别结果。

36、根据本技术提供的具体实施例，本技术公开了以下技术效果：

37、本技术提供了一种基于脑电信号分析的视觉想象字符识别方法及系统，方法包括：首先获取待识别脑电信号；利用基于最大互信息的通道选择方法，对待识别脑电信号的通道进行筛选，得到通道筛选后的待识别脑电信号；将通道筛选后的待识别脑电信号输入到视觉想象字符识别模型中，得到视觉想象字符识别结果。本技术通过基于最大互信息判别的通道选择算法，弥补当前对于视觉想象任务脑机接口通道定位模糊的问题，明确各脑电信号通道对视觉想象字符重建的重要性；此外，利用基于并行时空网络框架的视觉想象字符识别模型，充分利用了视觉想象任务脑电信号的时序变化规律、关键频段特性和多通道脑电信号所蕴含的丰富空间关联信息，提高了基于脑电信号识别重建字符的准确度。