一种脑力细粒度读取和解译的脑机接口装置

本发明涉及脑力负荷检测领域，尤其涉及一种脑力细粒度读取和解译的脑机接口装置。

背景技术：

1、脑力负荷脑机接口（brain-computer interface，bci）系统通过采集和处理作业人员任务时的大脑信号，对当前大脑状态进行解码，实现脑力负荷的实时评估。通过实时监测作业人员的脑力负荷，对于及时识别状态异常情况以预防人因失误具有重大意义。

2、脑力负荷研究中，受到实验诱发条件的限制，现有技术中设计的实验范式难以诱发细粒度的脑力负荷，研究人员虽然将脑力负荷分为两类（低负荷、高负荷）或三类（低负荷、中等负荷、高负荷）进行诱发和识别，但这种将脑力负荷进行二分类或三分类的方法，难以捕捉到更精细的梯度变化。而现有技术中的脑力负荷识别模型通常假设样本内的脑力负荷是稳态的，即采用静态模型去评估脑力负荷水平，但实际上人的脑力负荷是动态变化的，因此也进一步限制了脑力负荷的精确检测。

技术实现思路

1、本发明提供一种脑力细粒度读取和解译的脑机接口装置，用以解决现有技术中脑力负荷检测时，难以预测脑力负荷的精细梯度变化，忽略脑力负荷动态变化因素而导致检测精确度低的问题。

2、本发明提供一种脑力细粒度读取和解译的脑机接口装置，装置包括如下模块：脑电信号采集模块、时域传播模块、频域演变模块、信息共享导联动态选择模块、脑力负荷预测模块；

3、所述脑电信号采集模块，用于设定细粒度的目标占搜索空间比例，并在被测用户执行所述目标占搜索空间比例的快速序列视觉呈现任务时，采集被测用户的脑电信号，得到脑电信号样本；

4、所述时域传播模块，用于根据所述脑电信号样本构建时域特征动态图，并调用图卷积神经网络对所述时域特征动态图进行时域特征提取，得到所述脑电信号样本的时域传播图嵌入特征；

5、所述频域演变模块，用于根据所述脑电信号样本构建频域特征动态图，并调用图卷积神经网络组对所述频域特征动态图进行频域特征提取，得到所述脑电信号样本的频域演变汇总图嵌入特征；

6、所述信息共享导联动态选择模块，用于根据自注意力机制确定所述脑电信号样本的时域权重和频域权重，并通过所述时域权重和所述频域权重对所述时域传播图嵌入特征以及所述频域演变汇总图嵌入特征进行特征融合，得到所述脑电信号样本的融合特征；

7、所述脑力负荷预测模块，用于调用脑力负荷分类器对所述融合特征进行解码，得到被测用户的脑力负荷评估结果。

8、在一些实施例中，所述脑电信号采集模块，还用于对采集的脑电信号进行预处理，得到被测用户的脑电信号样本，所述脑电信号的预处理的过程包括：

9、对采集的脑电信号进行样本截取，并对截取的脑电信号执行基于双侧乳突点的信号重参考处理，采用固定频率范围的带通滤波器对信号重参考处理后的脑电信号进行频段滤波；

10、对经过频段滤波的脑电信号进行基于独立成分分析的去噪处理，并对去噪处理后的脑电信号进行降采样，得到被测用户的脑电信号样本。

11、在一些实施例中，在所述时域传播模块中，所述根据所述脑电信号样本构建时域特征动态图，包括：

12、将所述脑电信号样本按照时间步划分为等分的7段脑电信号；

13、针对每一段脑电信号，将所述脑电信号中的脑电导联作为时域节点，将脑电导联之间的关联关系作为时域边，其中，每个所述时域节点对应有时域节点特征，所述时域节点特征包括活动度、移动度、复杂度、高阶过零次数以及分形维数；

14、根据所述时域节点以及所述时域边构建所述脑电信号的时域特征图；

15、将7段脑电信号对应的时域特征图形成的时域特征图序列，作为时域特征动态图。

16、在一些实施例中，在所述时域传播模块中，所述调用图卷积神经网络对所述时域特征动态图进行时域特征提取，得到所述脑电信号样本的时域传播图嵌入特征，包括：

17、在所述时域特征动态图中，确定每相邻两个时域特征图之间的时域差分特征图，作为每个传播时间步的时域差分特征图；

18、将所述时域特征动态图中序列头部的初始特征图，依次与每个传播时间步的时域差分特征图逐步进行动态融合，最终得到时域传播图嵌入特征。

19、其中，在每个传播时间步进行动态融合时，将初始特征图与对应传播时间步的时域差分特征图进行特征融合，得到时域传播特征图，并调用图卷积神经网络对所述时域传播特征图进行时域特征提取，得到下一个传播时间步进行动态融合的初始特征图。

20、在一些实施例中，在所述频域演变模块，所述根据所述脑电信号样本构建频域特征动态图，包括：

21、将所述脑电信号样本按照时间步长划分为等分的3段脑电信号；

22、针对每段脑电信号分别进行傅里叶变换，得到所述脑电信号的5个脑电频带；

23、在所述脑电信号的每个脑电频带中，将所述脑电信号的脑电导联作为频域节点，将脑电导联之间的频带内关联关系作为频域边，其中，每个所述频域节点对应有频域节点特征，所述频域节点特征包括功率谱密度、微分熵、功率、样本熵以及香农信息熵；

24、针对每个脑电频带，根据所述频域节点以及所述频域边，构建频域特征图，并将5个脑电频带的频域特征图组合作为所述脑电信号的频域特征图组合；

25、将3段脑电信号对应的频域特征图组合形成的频域特征图序列，作为频域特征动态图。

26、在一些实施例中，在所述频域演变模块，所述调用图卷积神经网络组对所述频域特征动态图进行频域特征提取，得到所述脑电信号样本的频域演变汇总图嵌入特征，包括：

27、在所述频域特征动态图中，确定序列头部的初始频域特征图组合，与序列中第二个频域特征图组合的频域差分特征图组合；

28、将所述频域差分特征图组合与所述初始频域特征组合进行融合，得到频域演变特征图组合；

29、调用图卷积神经网络组对所述频域演变特征图组合进行频域特征提取，得到频域演变图嵌入特征组合；

30、针对所述频域演变图嵌入特征组合中每个脑电频带的频域演变图嵌入特征，分别确定出对应的频带注意力权重；

31、通过所述频带注意力权重对每个脑电频带的频域演变图嵌入特征进行加权，并将加权得到的结果进行频带特征融合，得到所述脑电信号样本的频域演变汇总图嵌入特征。

32、在一些实施例中，在所述信息共享导联动态选择模块中，所述脑电信号样本的时域权重和频域权重包括：脑电信号样本中每个脑电导联针对时域传播图嵌入特征的时域权重以及针对频域演变汇总图嵌入特征的频域权重，所述通过所述时域权重和所述频域权重对所述时域传播图嵌入特征以及所述频域演变汇总图嵌入特征进行特征融合，得到所述脑电信号样本的融合特征，包括：

33、针对脑电信号样本中每个脑电导联，将针对时域传播图嵌入特征的时域权重与针对频域演变汇总图嵌入特征的频域权重进行双域注意力融合，得到双域融合注意力权重；

34、将每个脑电导联对应的时域传播图嵌入特征，与频域演变汇总图嵌入特征进行双域特征拼接，得到双域特征拼接值矩阵；

35、针对脑电信号样本中每个脑电导联，通过所述双域融合注意力权重对所述双域特征拼接值矩阵进行加权处理，得到所述脑电信号样本的融合特征。

36、本发明还提供一种脑力细粒度读取和解译方法，方法包括如下步骤：

37、设定细粒度的目标占搜索空间比例，并在被测用户执行所述目标占搜索空间比例的快速序列视觉呈现任务时，采集被测用户的脑电信号，得到脑电信号样本；

38、根据所述脑电信号样本构建时域特征动态图，并调用图卷积神经网络对所述时域特征动态图进行时域特征提取，得到所述脑电信号样本的时域传播图嵌入特征；

39、根据所述脑电信号样本构建频域特征动态图，并调用图卷积神经网络组对所述频域特征动态图进行频域特征提取，得到所述脑电信号样本的频域演变汇总图嵌入特征；

40、根据自注意力机制确定所述脑电信号样本的时域权重和频域权重，并通过所述时域权重和所述频域权重对所述时域传播图嵌入特征以及所述频域演变汇总图嵌入特征进行特征融合，得到所述脑电信号样本的融合特征；

41、调用脑力负荷分类器对所述融合特征进行解码，得到被测用户的脑力负荷评估结果。

42、在一些实施例中，所述脑力负荷评估结果是调用脑力负荷评估模型，对被测用户的脑电信号样本进行预测后得到的，所述脑力负荷评估模型是通过脑电信号样本训练的，所述脑电信号样本携带有脑力负荷真实标签，所述脑力负荷评估模型的训练过程包括：

43、通过所述脑电信号样本在所述脑力负荷评估模型进行正向传播，得到所述脑电信号样本的脑力负荷预测标签；

44、基于所述脑力负荷真实标签与所述脑力负荷预测标签，构建所述脑力负荷评估模型的交叉熵损失值；

45、确定所述脑电信号样本在正向传播过程中的时域互信息损失值、频域互信息损失值；

46、基于所述交叉熵损失值、所述时域互信息损失值以及所述频域互信息损失值，构建所述脑力负荷评估模型的最终损失值，并通过所述最终损失值在所述脑力负荷评估模型中进行反向传播，以更新所述脑力负荷评估模型的参数。

47、在一些实施例中，所述确定所述脑电信号样本在正向传播过程中的时域互信息损失值、频域互信息损失值，包括：

48、在正向传播过程中，确定所述脑电信号样本的预测时域传播图嵌入特征，并基于所述预测时域传播图嵌入特征与真实时域目标特征图的互信息，构建时域互信息损失值，其中，所述真实时域目标特征图是正向传播过程中构建的时域特征动态图中，处于序列末尾的特征图；

49、在正向传播过程中，确定所述脑电信号样本的预测频域演变图嵌入特征组合，并基于所述预测频域演变图嵌入特征组合与真实频域目标特征图组合的互信息，构建频域互信息损失值，其中，所述真实频域目标特征图组合是正向传播过程中构建的频域特征动态图中，处于序列末尾的特征图组合。

50、本发明提供的脑力细粒度读取和解译的脑机接口装置，通过采集被测用户的脑电信号，形成脑电信号样本，并提取脑电信号样本的时域传播特征以及频域演变特征，在预测分类的过程中将时域传播特征以及频域演变特征进行基于注意力机制的融合处理，来对被测用户的脑力负荷进行评估。由此在脑力负荷分类时通过时域传播特征以及频域演变特征来表征脑力负荷的动态变化特征，实现了对脑力负荷的精确检测。