一种基于提示学习的心理健康测评方法、系统、设备及存储介质

本发明涉及一种心理健康测评方法、系统、设备及存储介质，尤其涉及一种基于提示学习的心理健康测评方法、系统、设备及存储介质，属于自然语言处理的提示工程领域和计算机视觉的多模态分析领域。

背景技术：

1、随着人工智能技术的不断进步，采用计算机技术对心理健康疾病进行多模态检测分析已成为研究热点，它涉及从多种类型的数据源中提取和整合信息，如文本、图像、音频和视频等。自然语言处理(nlp)作为人工智能的一个重要分支，专注于使计算机能够理解和生成人类语言。近年来，提示学习(prompt learning)作为一种新兴的nlp技术，已经在单模态文本处理中展现出强大的能力，其核心思想是通过设计巧妙的提示(prompts)来激发预训练语言模型(如bert、gpt等)的潜在知识，从而在不大幅修改模型的情况下完成特定的下游任务。

2、目前，针对心理健康问题的检测的主流方法分为三类：1、在工业界，使用心理健康量表、心理健康咨询等传统方式的评估方案。这些量表通常包括一系列标准化的问卷，旨在测量个体的情绪状态、压力水平和生活满意度等方面。心理健康咨询则涉及专业人士与个体之间的面对面交流，通过谈话来评估和干预心理健康问题。2、在医学界，结合问诊记录、表情动作、脑电波信息、患者自述等数据进行多维分析的诊断方案。这些数据通常不对外公开，仅供医疗专业人员用于诊断和治疗。3、在学术界，针对社交媒体数据的情感分析间接得到潜在心理问题的预测方案。学术界探索了一种基于社交媒体数据的情感分析方法，通过分析个体在社交平台上发布的文字、图片和视频等内容，间接预测潜在的心理健康问题。这种方法利用了大数据分析和机器学习技术，试图从个体的公开表达中捕捉心理健康的线索。

3、第一类方案中量表具有明确的评分标准，便于量化分析，易于实施，但依赖个体自我报告，可能受社会期望和个人认知偏差的影响，同时心理咨询覆盖面有限且专业咨询服务往往需要支付较高的费用。第二类方案能够提供更加全面准确的心理健康状况评估，医生可以根据患者的具体情况制定个性化的治疗计划，但是通常需要昂贵的设备和专业的医疗人员，成本较高，且一般只在大型医疗机构中就诊，不易普及到所有人群。第三种方案覆盖面广，可以实时监控和分析个体的社交媒体活动，但是准确性和专业性存在质疑。这些方案在在有效性、准确性、全面性、便捷性、平民性、隐私性等方面各有优劣，但是却难以做到兼顾。

技术实现思路

1、发明目的：本发明的目的是提供一种能够提高测评速度、降低测评成本和提高测评准确性的基于提示学习的心理健康测评方法、系统、设备及存储介质。

2、技术方案：本发明所述的一种基于提示学习的心理健康测评方法，包括：

3、步骤1：从公开数据集和公共网络采集心理疾病的原始图像与文本描述，进行数据整理和数据集构建，并划分为训练集、测试集和验证集；

4、步骤2：根据待测评心理疾病类别需求，选择对应的标准化心理量表，对心理量表进行解构，构建心理疾病的宏观与微观分类关系；基于提示学习对量表解构项进行重组，生成基于重组后量表评定标准的包括心理疾病全局提示与局部提示的双向提示；

5、步骤3：将双向提示和训练集的文本描述输入文本编码器，将训练集的图像输入图像编码器，冻结文本编码器和图像编码器的参数，进行相似度对比计算，之后采用加权对齐得到融合预测概率，构建网络模型，对网络模型进行训练，使用训练完的模型预测心理疾病的分类，结合标准化心理量表，完成心理健康测评。

6、进一步地，所述步骤1具体包括：

7、步骤1.1：从公开数据集和公共网络采集心理疾病的图片与对应的文本描述，生成采集数据；

8、步骤1.2：对采集数据中缺失文本描述信息的图片，采用blip-2模型进行图文生成，确定合适的文本信息，生成补全后的数据；

9、步骤1.3：对补全后的数据进行预处理，所述预处理包括去除冗余信息、纠正错误和统一格式；

10、步骤1.4：对预处理后的数据使用labelimg基于心理疾病类别标注标签，建立图文对与心理病症严重程度之间的映射关联，构建包含图像和文本描述的完整数据集；

11、步骤1.5：按照预设比例将完整数据集划分为训练集、测试集和验证集，并使各数据集中不同类别的数据分布比例保持一致，将分割好的数据集存入数据文件。

12、进一步地，所述步骤2具体包括：

13、步骤2.1：根据待测评心理疾病类别需求，选择对应的标准化心理量表，对于其中的标准化心理量表s，采用bert模型将标准化心理量表s解构为三个部分：量表所包含心理疾病类别γ＝{γ1，γ2，γ3，...，γh}、量表的测评项和量表的评分标准其中，γh为第h个类别的心理疾病，为第m个测评项，为第k个测评项中第n个评分标准；量表解构公式为：

14、γ，φ，a＝bert(s)

15、步骤2.2：将疾病类别γh与测评标准所反映的宏观维度αk映射为全局特征fg：

16、fg＝fr_global(γh，αk)

17、其中，fr_global()为全局映射；

18、将测评项所包含的微观维度组合评分标准体现为局部特征fl：

19、

20、其中，fr_local()为局部映射；

21、步骤2.3：基于提示学习领域中的范式，采用统一上下文uc和类别特定上下文csc，将uc与全局特征fg组合为全局提示tg：

22、tg＝fc_global(fg，tuc)

23、其中，tuc为统一上下文的文本嵌入，fc_global()表示全局组合；

24、将csc与局部特征fl组合为局部提示tl：

25、fl＝fc_local(fl，tcsc)

26、其中，tcsc为特定上下文的文本嵌入，fc_local()表示局部组合。

27、进一步地，所述步骤3具体包括：

28、步骤3.1：将全局提示tg、局部提示tl和训练集的文本描述d＝{d1，d2，d3，...，dk}输入文本编码器enct(·)，将训练集的图像x＝{x1，x2，x3，...，xj}输入图像编码器enci(·)，所述文本编码器采用transformer，所述图像编码器采用resnet变体，随后冻结图像和文本编码器基于预训练大型视觉语言模型训练好的参数，将全局提示tg与图像x通过相似度对比计算，进行全局概率预测：

29、

30、其中，x表示图像，exp()为以自然常数e为底数的指数函数，cg表示全局粗粒度分类，<·，·>用于计算余弦相似度，为第i个分类的全局提示，τ为调节参数；

31、将局部提示tl与文本描述d进行相似度对比计算得到局部概率：

32、

33、其中cl表示局部细粒度分类，为第i个分类的局部提示；

34、步骤3.2：将局部概率pl投影至与全局概率pg的相同维度：

35、

36、其中，fproj()为投影函数；

37、采用加权方式得到最终融合概率，完成心理疾病的分类预测：

38、

39、其中为λ超参数；结合标准化心理量表，完成心理健康测评。

40、基于相同的发明构思，本发明还提供了一种基于提示学习的心理健康测评系统，包括：

41、预处理模块，用于从公开数据集和公共网络采集心理疾病的原始图像与文本描述，进行数据整理和数据集构建，并划分为训练集、测试集和验证集；

42、提示生成模块，用于根据待测评心理疾病类别需求，选择对应的标准化心理量表，对心理量表进行解构，构建心理疾病的宏观与微观分类关系；基于提示学习对量表解构项进行重组，生成基于重组后量表评定标准的包括心理疾病全局提示与局部提示的双向提示；

43、测评模块，用于将双向提示和训练集的文本描述输入文本编码器，将训练集的图像输入图像编码器，冻结文本编码器和图像编码器的参数，进行相似度对比计算，之后采用加权对齐得到融合预测概率，构建网络模型，对网络模型进行训练，使用训练完的模型预测心理疾病的分类，结合标准化心理量表，完成心理健康测评。

44、进一步地，所述预处理模块具体实现方法为：

45、从公开数据集和公共网络采集心理疾病的图片与对应的文本描述，生成采集数据；

46、对采集数据中缺失文本描述信息的图片，采用blip-2模型进行图文生成，确定合适的文本信息，生成补全后的数据；

47、对补全后的数据进行预处理，所述预处理包括去除冗余信息、纠正错误和统一格式；

48、对预处理后的数据使用labelimg基于心理疾病类别标注标签，建立图文对与心理病症严重程度之间的映射关联，构建包含图像和文本描述的完整数据集；

49、按照预设比例将完整数据集划分为训练集、测试集和验证集，并使各数据集中不同类别的数据分布比例保持一致，将分割好的数据集存入数据文件。

50、进一步地，所述提示生成模块具体实现方法为：

51、根据待测评心理疾病类别需求，选择对应的标准化心理量表，对于其中的标准化心理量表s，采用bert模型将标准化心理量表s解构为三个部分：量表所包含心理疾病类别γ＝{γ1，γ2，γ3，...，γh}、量表的测评项和量表的评分标准其中，γh为第h个类别的心理疾病，为第m个测评项，为第k个测评项中第n个评分标准；量表解构公式为：

52、γ，φ，a＝bert(s)

53、将疾病类别γh与测评标准所反映的宏观维度αk映射为全局特征fg：

54、fg＝{fr_global(γh，αk)

55、其中，fr_global()为全局映射；

56、将测评项所包含的微观维度组合评分标准体现为局部特征fl：

57、

58、其中，fr_local()为局部映射；

59、基于提示学习领域中的范式，采用统一上下文uc和类别特定上下文csc，将uc与全局特征fg组合为全局提示tg：

60、tg＝fc_global(fg,tuc)

61、其中，tuc为统一上下文的文本嵌入，fc_global()表示全局组合；

62、将csc与局部特征fl组合为局部提示tl：

63、tl＝fc_local(fl，tcsc)

64、其中，tcsc为特定上下文的文本嵌入，fc_local()表示局部组合。

65、进一步地，所述测评模块具体实现方法为：

66、将全局提示tg、局部提示tl和训练集的文本描述d＝{d1，d2，d3，...，dk}输入文本编码器enct(·)，将训练集的图像x＝{χ1，χ2，χ3，...，χj}输入图像编码器enci(·)，所述文本编码器采用transformer，所述图像编码器采用resnet变体，随后冻结图像和文本编码器基于预训练大型视觉语言模型训练好的参数，将全局提示tg与图像x通过相似度对比计算，进行全局概率预测：

67、

68、其中，χ表示图像，exp()为以自然常数e为底数的指数函数，cg表示全局粗粒度分类，<·，·>用于计算余弦相似度，为第i个分类的全局提示，τ为调节参数；

69、将局部提示tl与文本描述d进行相似度对比计算得到局部概率：

70、

71、其中cl表示局部细粒度分类，为第i个分类的局部提示；

72、将局部概率pl投影至与全局概率pg的相同维度：

73、

74、其中，fproj()为投影函数；

75、采用加权方式得到最终融合概率，完成心理疾病的分类预测：

76、

77、其中为λ超参数；结合标准化心理量表，完成心理健康测评。

78、基于相同的发明构思，本发明还提供了一种计算设备，包括：一个或多个处理器、一个或多个存储器以及一个或多个程序，所述程序存储在存储器中并被配置为由处理器执行，所述程序被加载至处理器时实现根据上述任一项所述的基于提示学习的心理健康测评方法的步骤。

79、基于相同的发明构思，本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行根据上述任一项所述的基于提示学习的心理健康测评方法的步骤。

80、有益效果：与现有技术相比，本发明提出的方法将非形式化的心理量表解构，并基于提示学习组合成形式化的评定标准，对心理疾病从多重维度特征进行分析与提取，采用多模态数据提升对于指定心理疾病的准确判断，提高对于给定数据所反映心理状况的准确预测；本发明融合心理量表作为评定标准，既保留量表标准性与便捷性的特点，又减轻量表测量结果受社会期望和个人认知性偏差的主观性影响；本发明提出的融合特定量表的双向提示输入机制，在提取量表宏观与微观特征的同时，通过组合可学习的提示模板，量表的双维特征得到显式地增强；本发明在训练阶段进行分组相似度对比计算，相比于传统单模态与多模态数据分析，新增另一重维度的学习，预测结果模态可解释性更高；本发明提出的模型基于已有预训练大型视觉语言模型llvm，采用提示微调prompt-tuning取代原有的微调fine-tuning，大幅减少训练参数，训练时空开销小，并且可以得到比较准确的病症预测结果。