基于VR的多模态融合注意力评估方法、系统及存储介质与流程

技术特征：
1.一种基于vr的多模态融合注意力评估方法，其特征在于，包括下述步骤：s10，数据采集：分别采集用户在vr注意力测试场景内三个阶段的多种生理数据和行为数据，所述vr注意力测试场景中的三个阶段包括放松阶段、测试无干扰阶段、测试有干扰阶段，所述vr注意力测试场景内三个阶段的测试内容根据注意力临床诊断量表设计；s20，信号预处理：对所述多种生理数据和行为数据进行分割，并对生理数据进行滤波、去信号干扰处理；s30，特征提取：对所述预处理后的多种生理数据和行为数据进行特征提取，每一种生理数据的特征作为一个模态，行为数据的特征作为一个模态，得到多个模态，并根据临床诊断结果对所述多个模态进行标记，形成标记数据集；s40，多模态融合及评估模型建立，包括：s41，将所述多个模态进行特征融合，联合成一个特征向量，将该特征向量通过自编码器进行深度学习训练，提取各模态的深层次特征，对所述各模态的深层次特征进行联合训练提取出深层次共有特征作为一个新的模态；s42，将所述不同模态的生理数据特征和深层次共有特征使用不同类型的神经网络进行学习训练，产生每个单模态对应的评估模型，并将每个单模态对应的评估模型结果融合成一个决策向量，所述决策向量经过全连接层和softmax激活函数，输出最终的评估值，使用已标记的数据集及所述评估值，在所述不同类型的神经网络及全连接层和softmax激活函数组成的深度学习网络进行训练建模，并进行决策融合，选择最优参数，得到注意力评估模型，所述注意力评估模型用于注意力评估。2.根据权利要求1所述的方法，其特征在于，所述多种生理数据包括脑电数据、心电数据、皮肤电数据和眼动数据，所述行为数据包括任务表现数据和肢体运动数据。3.根据权利要求1所述的方法，其特征在于，所述vr注意力测试场景中放松阶段采集的生理数据为静息态生理数据，所述vr注意力测试场景中的测试无干扰阶段、测试有干扰阶段采集的生理数据为训练态生理数据，所述信号预处理中以所述静息态生理数据为基线，将所述训练态生理数据与所述基线相减后得到特征提取用的生理数据。4.根据权利要求3所述的方法，其特征在于，所述特征提取包括：s31，对vr注意力测试场景内三个阶段的多种生理数据和行为数据采用时域特征、频域特征及非线性特征进行提取；s32，将静息态生理数据和训练态生理数据，采用k-s检测法进行分布情况的检测；s33，采用signed-rank检验法对所述分布情况进行统计，检测用户在vr注意力测试场景中的测试无干扰阶段、测试有干扰阶段生理数据的自身差异；s34，选取差异显著特征作为敏感特征用于后续多模态融合。5.根据权利要求1所述的方法，其特征在于，所述步骤s42包括：s421，所述生理数据特征、深层次共有特征采用多层感知器进行训练，所述行为数据包括图像数据，所述图像数据特征采用卷积神经网络进行训练；s422，对训练后的中间特征进行维度融合；s423，将所述维度融合后的特征统一经过全连接层和softmax激活函数，输出最终的评估值；s424，对所述最终的评估值、已标记的数据集在所述多层感知器、卷积神经网络、全连
接层及softmax激活函数组成的深度学习网络进行训练建模，对训练结果进行决策融合，选择最优参数，得到注意力评估模型。6.根据权利要求1所述的方法，其特征在于，所述信号预处理中生理数据的分割包括连续记录预设时间内的脑电、心电、皮肤电和眼动四种模态的生理数据，把生理数据分为静息态数据和训练态数据，并取静息态数据的最后一分钟的数据作为基线，将训练态数据与基线相减；所述滤波包括采取滤波器将直流、市电和高频噪声滤除；所述去信号干扰包括采用ica和pca去除信号干扰。7.按照权利要求1所述的方法，其特征在于，所述vr注意力测试场景设置有选择性注意力测试、持续性注意力测试以及执行功能测试。8.按照权利要求1所述的方法，其特征在于，所述测试有干扰阶段内的干扰包括视觉干扰、听觉干扰、嗅觉干扰、综合性干扰。9.一种系统，其特征在于，所述系统包括存储器、处理器及存储在所述存储器中并被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8任一项所述的基于vr的多模态融合注意力评估方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现如权利要求1-8任一项所述的基于vr的多模态融合注意力评估方法。

技术总结
本发明公开了一种基于VR的多模态融合注意力评估方法、系统及存储介质，所述方法包括数据采集、信号预处理、特征提取及多模态融合及评估模型建立，其中数据采集包括分别采集用户在VR注意力测试场景内三个阶段的多种生理数据和行为数据，多模态融合及评估模型建立包括将每一种数据特征作为一个输入模态进行特征融合，决策融合及深度学习训练以输出注意力评估模型。本发明提高了注意力测试评估的准确性，同时采用VR场景测试，使用户获得良好的测试体验。试体验。试体验。


技术研发人员：韦亮 叶常新 陈俊玮 郭景桓
受保护的技术使用者：深圳市云长数字医疗有限公司
技术研发日：2022.08.22
技术公布日：2022/11/11