基于ERP-fNIRS的抑郁症状特性识别方法及装置

本发明涉及人工智能技术应用领域，尤其涉及一种基于erp-fnirs的抑郁症状特性识别方法及装置。

背景技术：

1、抑郁症作为常见的情感障碍性疾病，严重影响患者身心健康，现阶段，临床上对抑郁症的诊断主要基于量表问诊方式，而如何更佳地辅助医生辨识、判别、预测抑郁症的相关指征，探索客观指标的构建，成为辅助抑郁症诊疗的远期、重要目标。

2、传统的抑郁症症状特征辨识方法主要通过对病人的症状与行为进行观察和评估，结合临床医生的专业判断给出诊断。然而，这种诊断方法缺乏生物学标志物，主观性强，每个人对症状的感知和描述可能有差异，这可能会导致诊断结果的不一致，并且耗时较长，需要一段时间的观察和评估，不能立即得出诊断结果。同时，由于抑郁症的症状有时可能重叠于其他精神障碍，或者被患者忽视和误解，导致遗漏率和误诊率较高。因此，业内正在努力寻找更准确、更客观的抑郁症诊断方法。其中，事件相关电位（erp）、功能性磁共振成像（fmri）和功能性近红外光谱（fnirs）等神经影像技术正逐渐被证实能提供一些有用的信息。

3、例如将fnirs和erp结合属于电信号与光信号的结合，二者不会相互干扰，因此将二者结合进行同步采集与分析具有可行性。

4、然而，抑郁症患者存在“矛盾冲突处理缺陷这一核心症状”，从客观角度而言该核心症状与抑郁患者在前额叶皮层、杏仁核、海马体的神经元电活动及血流变化相关，而fnirs与erp结合的现有方案并未针对该特定疾病的上述症状如何处理、特征识别等具体场景，这就导致erp-fnirs神经成像技术在面对抑郁症病症辅助检测时，有必要思考并克服下述问题：

5、1）电极监测头皮表面电活动为神经元电活动的总和导致无法保留抑郁症前额叶皮层以及深部杏仁核特症的痛点，此外，电活动经过下丘脑-垂体-肾上腺轴和交感、副交感神经影响脑血流血红蛋白浓度具有滞后性等问题，那么，是否要选取某种适配的心理学实验范式以有效获得erp-fnirs数据中的erp数据？如何设计该心理学实验范式才能从获取的脑电数据中侧重表达出抑郁症典型病症的特性？

6、2）erp-fnirs信号具有高度非线性特点，如何从中挖掘出可以有效适用于抑郁典型症状识别的数据结构特征？

7、3）如何将erp-fnirs与人工智能、机器学习技术相结合？现有cnn利用局部平移不变性扫描不同的区域进行卷积操作可以实现高效准确的特征提取，然而，一般的cnn模型忽略了大脑区域之间的连接，限制脑结构的构建，经分析本发明认为并不适用于抑郁病症典型特性的辅助识别。

技术实现思路

1、鉴于上述，本发明旨在提供一种基于erp-fnirs的抑郁症状特性识别方法及装置，以解决前述提及的特定问题。

2、本发明采用的技术方案如下：

3、第一方面，本发明提供了一种基于erp-fnirs的抑郁症状特性识别方法，其中包括：

4、预先设置用于抑郁症病症识别的flanker范式；

5、基于所述flanker范式以及前额皮质区血流率的变化，收集同步多模态数据；

6、利用ofslle算法对所述同步多模态数据进行特征降维处理；

7、将降维后的所述同步多模态数据在欧几里得结构以及图结构下进行特征提取，并将双结构特征信息融合后，输出抑郁症病症的分类结果。

8、在其中至少一种可能的实现方式中，所述预先设置用于抑郁症病症识别的flanker范式包括：

9、采用灰色作为显示背景；

10、在灰色背景的中心处设置蓝色注视点；

11、在预设的间隔时间后，呈现中心目标箭头和左右两个侧翼箭头并持续既定时长；

12、在所述既定时长期间，记录被试对所述中心目标箭头的反馈信号;

13、以此类推，按预设不同方向的所述中心目标箭头的呈现次数持续进行试验以完成全部试次数。

14、在其中至少一种可能的实现方式中，所述收集同步多模态数据包括：

15、基于所述flanker范式执行脑电刺激，并同步采集被试的多通道脑电信号和多通道原始近红外光强度信号；

16、对脑电信号进行预处理及解析，得到n200波形的时空序列数据；利用修正比尔-朗伯定律将所述原始近红外光强度信号转化为用于表征脱氧血红蛋白浓度变化量的血红蛋白浓度变化的时空序列数据；

17、将n200波形的时空序列数据与血红蛋白浓度变化的时空序列数据进行时间序列对齐并利用空间索引匹配空间信息后，得到所述同步多模态数据。

18、在其中至少一种可能的实现方式中，所述利用ofslle算法对所述同步多模态数据进行特征降维处理包括：将用于抑郁病症识别的所述同步多模态数据的类别信息集成到lle算法并从中找到最优的投影矩阵。

19、在其中至少一种可能的实现方式中，所述将降维后的所述同步多模态数据在欧几里得结构以及图结构下进行特征提取，并将双结构特征信息融合后，输出抑郁症病症的分类结果包括：

20、预先构建包含卷积神经网络以及图卷积神经网络的双结构模型；

21、将降维后的所述同步多模态数据作为所述双结构模型的输入，将抑郁症病症的分类结果作为所述双结构模型的输出。

22、在其中至少一种可能的实现方式中，所述识别方法还包括：在所述双结构模型中的卷积神经网络引入注意力机制，并依次从通道和空间两个维度生成对应的注意力图；将注意力图与模型的输入结合后，从所述同步多模态数据中提取出抑郁患者神经通路机制和脑网络连接特性。

23、在其中至少一种可能的实现方式中：利用在冲突刺激下瞬时变化的神经元活动特征的通道间关系生成通道注意图；

24、利用抑郁症前额叶皮层、杏仁核、海马体的神经元与血流变化特点以及脑网络连接特征之间的空间关系生成空间注意图；

25、将通道注意图与模型输入按位相乘，得到通道注意输出特征；

26、将空间注意图与所述通道注意输出特征按位相乘，得到空间注意输出特征。

27、第二方面、本发明提供了一种基于erp-fnirs的抑郁症状特性识别装置，其中，预先设置用于抑郁症病症识别的flanker范式，所述识别装置包括：

28、同步多模态数据获取模块，用于基于所述flanker范式以及前额皮质区血流率的变化，收集同步多模态数据；

29、特征降维模块，用于利用ofslle算法对所述同步多模态数据进行特征降维处理；

30、抑郁症状识别模块，用于将降维后的所述同步多模态数据在欧几里得结构以及图结构下进行特征提取，并将双结构特征信息融合后，输出抑郁症病症的分类结果。

31、在其中至少一种可能的实现方式中，所述抑郁症状识别模块包括：模型构建单元，用于预先构建包含卷积神经网络以及图卷积神经网络的双结构模型；且，所述同步多模态数据作为所述双结构模型的输入，抑郁症病症的分类结果作为所述双结构模型的输出。

32、第三方面，本发明提供了一种基于erp-fnirs的抑郁症状特性识别设备，其中包括：

33、一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

34、本发明的主要设计构思在于，针对抑郁病症的核心症状识别的需求，重新设计新型erp任务范式，并联合fnirs信号同步记录脑部组织的血氧活动以有效监测脑功能状态，利用ofslles策略对高度非线性的erp-fnirs多模态数据降维后，从中提取到抑郁病症信号特征并构建特征数据样本，简化并同时充分保留全面的多模态数据信息，之后结合具有双结构的cag神经网络进行核心症状特征信息的融合，对抑郁病症实现精准分辨。本发明基于flanker范式采集的脑电波形、前额皮质区血流率变化，同步收集erp-fnirs多模态数据，并在cnn联合gcn的模型架构下进行预测，有效解决了抑郁症核心病症特性检测的痛点，极大提升了病症识别精度，从而可以智能化地辅助医生对抑郁症进行判断和评估，并提供了客观、可量化的检测指标，为抑郁症的个体化精准诊疗打开新思路。

35、进一步地，关于双结构gac神经网络病症分类的机制可以具体说明的是，一方面、在欧几里得结构中，使用cnn并定义一个全局共享卷积核，利用其局部平移不变性提取电极通道信息中相同的结构和高维特征，捕捉到抑郁患者在flanker范式刺激下瞬时变化的神经元活动特征；另一方面、在非欧几里得结构中，利用图结构表征erp-fnirs多模态信号，从而既解决平移不变性不再适用的问题，又有效地表征大脑的空间特性，通过两者结合，充分且全面地提取抑郁症前额叶皮层、杏仁核、海马体的神经元及血流变化特点以及脑网络连接的特征，并优选引入注意力机制和多层卷积来提高模型的适应性。