基于多实例学习的心理健康评估方法、系统、介质及设备

本发明涉及心理健康评估，具体的说，是涉及基于多实例学习的心理健康评估方法、系统、介质及设备。

背景技术：

1、近年来，深度学习技术在计算机视觉领域取得了巨大的进展，也为面部视频分析技术的发展提供了新的思路。深度学习方法通过提取面部视频中的特征，可以有效地识别不同心理状态。然而，利用深度学习方法通过面部视频进行心理分析也存在一定的局限性：

2、（1）没有考虑面部视频帧图像之间的相关性，深度学习方法通常只考虑单帧图像的特征，而没有考虑多帧图像之间的相关性，这可能会影响心理健康评估模型的准确性；

3、（2）每个受试者的面部视频通常只有一个标签，但并不是所有帧图像都能够反应受试者最终的心理状态，这可能会导致心理健康评估模型的过拟合问题；

4、（3）面部帧图像的标签未知，因此，面部视频数据集通常是弱标签数据集，这会导致模型的泛化性能下降。

5、

6、

技术实现思路

1、本发明为了解决上述问题，本发明提供基于多实例学习的心理健康评估方法、系统、介质及设备，将受试者面部视频中的每个面部帧图像作为一个实例，所有实例构成受试者的包，通过多头注意力机制建立实例之间的相关性，并通过具有零填充的多个不同尺寸的卷积，提取了脸部图像的绝对空间位置，提高了心理健康评估的准确性。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供基于多实例学习的心理健康评估方法，其包括：

4、获取受试者的面部视频；

5、对面部视频进行预处理，得到若干脸部图像；

6、将一个面部视频作为一个包，将面部视频对应的一个脸部图像作为包中的一个实例，对包中的所有实例进行特征嵌入，得到包的聚合序列，并采用多头注意力机制对聚合序列进行处理后，通过具有零填充的多个不同尺寸的卷积进行特征提取，并将所有卷积的输出进行拼接后，通过全连接层和多层感知机，得到受试者的心理健康评分。

7、进一步地，所述预处理包括：将面部视频按照分帧阈值进行分割，得到若干面部帧图像。

8、进一步地，所述预处理还包括：对所述面部帧图像通过面部关键点检测、人脸区域裁剪和人脸对齐后，得到脸部图像，并通过分类模型将异常脸部图像剔除。

9、进一步地，所述分类模型包括若干卷积块、全连接层和激活函数层，且每个卷积块包括若干组由卷积层、批归一化层和激活函数层构成的卷积结构以及最大池化层。

10、进一步地，所述预处理还包括：通过计算所有脸部图像的在红、绿和蓝这三个通道的均值和方差，对所有脸部图像进行标准化。

11、进一步地，所述多头注意力机制包括若干自注意力块，所述聚合序列经过层归一化后，分别进入每个自注意力块，所有自注意力块的输出进行拼接，并与所述聚合序列融合后，进行所述特征提取。

12、进一步地，所述心理健康评分包括学习焦虑、对人焦虑、孤独倾向、自责倾向、过敏倾向、身体症状、恐惧倾向和冲动倾向这八个维度的评分。

13、本发明的第二个方面提供基于多实例学习的心理健康评估系统，其包括：

14、数据获取模块，其被配置为：获取受试者的面部视频；

15、预处理模块，其被配置为：对面部视频进行预处理，得到若干脸部图像；

16、评估模块，其被配置为：将一个面部视频作为一个包，将面部视频对应的一个脸部图像作为包中的一个实例，对包中的所有实例进行特征嵌入，得到包的聚合序列，并采用多头注意力机制对聚合序列进行处理后，通过具有零填充的多个不同尺寸的卷积进行特征提取，并将所有卷积的输出进行拼接后，通过全连接层和多层感知机，得到受试者的心理健康评分。

17、本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时实现如上述所述的基于多实例学习的心理健康评估方法中的步骤。

18、本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多实例学习的心理健康评估方法中的步骤。

19、与现有技术相比，本发明的有益效果为：

20、本发明提供了基于多实例学习的心理健康评估方法，其将受试者面部视频中的每个面部帧图像作为一个实例，所有实例构成受试者的包，通过多头注意力机制建立实例之间的相关性，通过具有零填充的多个不同尺寸的卷积提取脸部图像的绝对空间位置，提高了心理健康评估的准确性。

21、本发明通过分类模型将异常脸部图像剔除，有效改善了心理健康评估模型的过拟合问题。

22、本发明通过问卷调查的方法获取训练样本集，而且，多实例学习可以利用面部视频的弱标签数据集进行学习，提高心理健康评估模型的泛化性能。

技术特征：

1.基于多实例学习的心理健康评估方法，其特征在于，包括：

2.如权利要求1所述的基于多实例学习的心理健康评估方法，其特征在于，所述预处理包括：将面部视频按照分帧阈值进行分割，得到若干面部帧图像。

3.如权利要求2所述的基于多实例学习的心理健康评估方法，其特征在于，所述预处理还包括：对所述面部帧图像通过面部关键点检测、人脸区域裁剪和人脸对齐后，得到脸部图像，并通过分类模型将异常脸部图像剔除。

4.如权利要求3所述的基于多实例学习的心理健康评估方法，其特征在于，所述分类模型包括若干卷积块、全连接层和激活函数层，且每个卷积块包括若干组由卷积层、批归一化层和激活函数层构成的卷积结构以及最大池化层。

5.如权利要求3所述的基于多实例学习的心理健康评估方法，其特征在于，所述预处理还包括：通过计算所有脸部图像的在红、绿和蓝这三个通道的均值和方差，对所有脸部图像进行标准化。

6.如权利要求1所述的基于多实例学习的心理健康评估方法，其特征在于，所述多头注意力机制包括若干自注意力块，所述聚合序列经过层归一化后，分别进入每个自注意力块，所有自注意力块的输出进行拼接，并与所述聚合序列融合后，进行所述特征提取。

7.如权利要求1所述的基于多实例学习的心理健康评估方法，其特征在于，所述心理健康评分包括学习焦虑、对人焦虑、孤独倾向、自责倾向、过敏倾向、身体症状、恐惧倾向和冲动倾向这八个维度的评分。

8.基于多实例学习的心理健康评估系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多实例学习的心理健康评估方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多实例学习的心理健康评估方法中的步骤。

技术总结本发明涉及心理健康评估技术领域，本发明公开了基于多实例学习的心理健康评估方法、系统、介质及设备，包括：获取受试者的面部视频；对面部视频进行预处理，得到若干脸部图像；将一个面部视频作为一个包，将面部视频对应的一个脸部图像作为包中的一个实例，对包中的所有实例进行特征嵌入，得到包的聚合序列，并采用多头注意力机制对聚合序列进行处理后，通过具有零填充的多个不同尺寸的卷积进行特征提取，并将所有卷积的输出进行拼接后，通过全连接层和多层感知机，得到受试者的心理健康评分。提高了心理健康评估的准确性。技术研发人员：崔立真,刘治,王聪聪,蒋亚丽,陶可猛,郭伟受保护的技术使用者：山东大学技术研发日：技术公布日：2024/7/29