一种用于获取社交认知的多模态数据采集和分析系统

本发明属于社交认知相关数据采集和分析领域，具体涉及一种用于获取社交认知的多模态数据采集和分析系统。

背景技术：

1、孤独症谱系障碍(autismspectrumdisorder，asd)是一类先天性神经发展性障碍，以社交交往能力缺陷和行为模式狭窄为核心特征。在孤独症谱系障碍患者群体中，有一部分患儿智力正常或超常，被称为高功能孤独症谱系障碍。高功能孤独症谱系障碍是孤独症谱系障碍群体中最具有治疗价值的一部分。

2、在临床实践中，高功能孤独症谱系障碍患儿常常被误诊或忽视，因此，针对高功能孤独症谱系障碍的筛查评估是亟待解决的关键问题。

技术实现思路

1、有鉴于此，本发明提供了一种用于获取社交认知的多模态数据采集和分析系统，包括：

2、社交认知刺激呈现模块，用于向用户呈现社交认知相关的视频、图像或场景，诱发社交认知相关的脑反应；

3、脑电采集模块，用于采集用户在所述社交认知刺激下产生的脑电信号，所述脑电采集模块包括脑电信号放大电路、模数转换电路和无线传输模块；

4、功能性近红外光谱成像采集模块，用于采集用户在所述社交认知刺激下产生的功能性近红外光谱信号，所述功能性近红外光谱成像采集模块包括光源、光电探测器和数据采集电路；

5、数据分析模块，用于对所采集的脑电信号和功能性近红外光谱成像数据分别进行相关性分析和机器学习分析，得到社交认知的多模态数据的分析结果。

6、特别地，该系统还包括生理数据采集模块，用于同步采集用户的眼动、面部表情、语音作为行为数据，以辅助所述社交认知的多模态数据的分析与解释。

7、特别地，对所采集的脑电信号和功能性近红外光谱成像数据进行相关性分析具体包括：对脑电信号数据进行预处理，提取多次采集的时间序列，与血氧处理函数卷积得到特征矩阵x；对所述功能性近红外光谱成像数据进行预处理，提取血氧变化的特征矩阵y；使用相关性分析计算两个特征矩阵x和y之间的交叉相关，得到相关投影向量和相关性系数；计算所述相关性系数的平均值和标准差，并计算所述相关性分析结果的置信空间。

8、特别地，所述血氧处理函数将血氧处理分为对氧合血红蛋白和对脱氧血红蛋白两部分模型，通过如下表达式实现：

9、

10、 ri( t)表示血氧处理函数在时间t处的值；当i=1时，对应的是氧合血红蛋白的血氧处理函数模型；当i=2时，对应的是脱氧血红蛋白的血氧处理函数模型， t是时间自变量；exp表示以e为底的指数函数，c表示一个常数，在血氧处理函数中，c的值为8log2；i=1时，表示氧合血红蛋白浓度快速增加的时间常数；表示氧合血红蛋白浓度缓慢衰减的时间常数； w1，1表示氧合血红蛋白浓度快速增加时的宽度常数； w1，2表示氧合血红蛋白浓度缓慢衰减时的宽度常数；i=2时，表示脱氧血红蛋白浓度快速降低的时间常数，表示脱氧血红蛋白浓度缓慢恢复的时间常数， w2，1表示脱氧血红蛋白浓度快速降低时的宽度常数； w2，2表示脱氧血红蛋白浓度缓慢恢复时的宽度常数； ri表示氧合血红蛋白相对于脱氧血红蛋白的响应强度。

11、特别地，对功能性近红外光谱成像数据进行预处理，提取血氧变化的特征矩阵y，具体包括：

12、根据近红外光强文件，使用修正的比尔-朗伯特定律计算出氧合血红蛋白浓度变化的时间序列数据；对所述氧合血红蛋白浓度变化的时间序列数据进行去趋势和移动平均滤波的预处理操作，得到平滑的氧合血红蛋白浓度变化曲线；

13、将预处理后的氧合血红蛋白浓度的时间序列数据组成特征矩阵y。

14、特别地，对所采集的脑电信号和功能性近红外光谱成像数据进行机器学习分析包括：将脑电信号和功能性近红外光谱成像数据的特征拼接成一个高维特征向量，将用户数据划分为训练集和测试集，在训练集上训练svm分类器模型；使用训练好的svm分类器模型对测试集进行分类预测，得到测试集中每个样本属于异常类的概率，并设置svm的输出置信概率阈值。

15、特别地，对所采集的脑电信号和功能性近红外光谱成像数据分别进行相关性分析和机器学习分析还包括：根据相关性分析的置信空间和机器学习分析的置信空间建立相关性分析计算和svm分类器的融合置信度模型，通过如下表达式实现：

16、

17、其中，表示融合置信度模型，相关性分析计算结果的置信度模型，分类器分类结果的置信度模型；

18、是第j个样本的相关性系数，是相关性系数的平均值，是相关性系数的标准差，是相关性分析计算部分的置信权重系数；是第j个样本的svm分类器异常概率输出，是异常类的概率输出的平均值，是异常概率输出的标准差，是svm分类器的权重系数。

19、特别地，所述社交认知刺激呈现模块包括显示屏、音箱，所述社交认知刺激包括文字、图像、动画或语音。

20、有益效果：

21、通过本发明的技术方案：

22、1.能够建立基于多模态生理心理行为数字化表型的asd早期筛查评估模型，提高筛查评估的客观性和准确性；

23、2.采用机器学习算法，训练出具有高敏感度和高特异度的asd筛查诊断模型，为临床诊断提供辅助决策支持；

24、3.研发集成了行为量表电子化、神经心理测试数字化、生理指标采集等功能的asd数字化评估系统，提高评估效率和数据质量；

25、4.通过脑电脑氧同步检测技术，发现与asd核心症状相关的客观生理生化指标，作为asd诊断的补充依据；

26、5.建立覆盖不同年龄段、不同智力水平的asd及健康对照样本库，为asd筛查模型的训练和验证提供有力支撑；

27、6.将asd数字化筛查评估系统推广应用于临床一线，提高asd早期发现率，减轻患儿家庭和社会的负担。

技术特征：

1.一种用于获取社交认知的多模态数据采集和分析系统，其特征在于，包括：

2.根据权利要求1所述的用于获取社交认知的多模态数据采集和分析系统，其特征在于，该系统还包括生理数据采集模块，用于同步采集用户的眼动、面部表情和语音作为行为数据，以辅助所述社交认知的多模态数据的分析与解释。

3.根据权利要求1所述的用于获取社交认知的多模态数据采集和分析系统，其特征在于，对所采集的脑电信号和功能性近红外光谱成像数据进行相关性分析具体包括：对脑电信号数据进行预处理，提取多次采集的时间序列，与血氧处理函数卷积得到特征矩阵x；对所述功能性近红外光谱成像数据进行预处理，提取血氧变化的特征矩阵y；使用相关性分析计算两个特征矩阵x和y之间的交叉相关，得到相关投影向量和相关性系数；计算所述相关性系数的平均值和标准差，并计算所述相关性分析结果的置信空间。

4.根据权利要求3所述的用于获取社交认知的多模态数据采集和分析系统，其特征在于，所述血氧处理函数将血氧处理分为对氧合血红蛋白和对脱氧血红蛋白两部分模型，通过如下表达式实现：

5.根据权利要求4所述的用于获取社交认知的多模态数据采集和分析系统，其特征在于，对功能性近红外光谱成像数据进行预处理，提取血氧变化的特征矩阵y，具体包括：

6.根据权利要求1所述的用于获取社交认知的多模态数据采集和分析系统，其特征在于，对所采集的脑电信号和功能性近红外光谱成像数据进行机器学习分析包括：将脑电信号和功能性近红外光谱成像数据的特征拼接成一个高维特征向量，将用户数据划分为训练集和测试集，在训练集上训练svm分类器模型；使用训练好的svm分类器模型对测试集进行分类预测，得到测试集中每个样本属于异常类的概率，并设置svm的输出置信概率阈值。

7.根据权利要求3或6所述的用于获取社交认知的多模态数据采集和分析系统，其特征在于，对所采集的脑电信号和功能性近红外光谱成像数据分别进行相关性分析和机器学习分析还包括：根据相关性分析的置信空间和机器学习分析的置信空间建立相关性分析计算和svm分类器的融合置信度模型，通过如下表达式实现：

8.根据权利要求7所述的用于获取社交认知的多模态数据采集和分析系统，其特征在于，所述社交认知刺激呈现模块包括显示屏、音箱，所述社交认知刺激包括文字、图像、动画或语音。

技术总结本发明提供了用于获取社交认知的多模态数据采集和分析系统，属于社交认知相关数据采集和分析领域。该系统包括：社交认知刺激呈现模块，用于向用户呈现社交认知相关的视频、图像或场景，诱发社交认知相关的脑反应；脑电采集模块，用于采集用户在所述社交认知刺激下产生的脑电信号；功能性近红外光谱成像采集模块，用于采集用户在所述社交认知刺激下产生的功能性近红外光谱信号；数据分析模块，用于对所采集的脑电信号和功能性近红外光谱成像数据分别进行相关性分析和机器学习分析，得到社交认知的多模态数据的分析结果。本系统通过两种不同的分析方式更加科学地获取用户的社交认知状态。技术研发人员：张国君,崔永华,孙巍,李瑛,孙轲,郑芮受保护的技术使用者：首都医科大学附属北京儿童医院技术研发日：技术公布日：2024/11/14