基于有向无环图的抑郁检测方法、装置、电子设备及介质

本发明涉及人工智能领域，尤其涉及一种基于有向无环图的抑郁检测方法、装置、电子设备及介质。

背景技术：

1、专业心理诊疗资源的严重短缺，使得大多数需要心理支持的个体无法及时获得专业的心理疗愈服务。为此，实现自动化的抑郁症检测模型至关重要，其可用于早期的大规模动态筛查，从而减少专业医师的工作负担，提升心理健康保健过程的整体效率。

2、目前，虽然业内已出现通过构建自动化抑郁症检测模型对临床访谈进行辅助抑郁症检测，然而此种方式存在以下缺陷：一方面，无法充分利用访谈内容，通常只能处理部分访谈元素，不能完全融合所有相关的抑郁状态线索；另一方面，由隐私顾虑和采集成本高昂引起的受访者数据稀缺，如daic-woz等常见抑郁检测语料库仅包含约100个样本，其中处于抑郁状态的参与者不足30人，数据的稀缺直接影响了检测模型的性能表现。因而，亟需对现有的自动化抑郁症检测模型进行改进。

技术实现思路

1、本发明提供一种基于有向无环图的抑郁检测方法、装置、电子设备及介质，用以解决现有技术中访谈自动评估所能够处理的数据类别较少，且样本数据的稀缺导致模型性能较差的问题，实现从多模态访谈特征中综合关键线索，提升抑郁症检测的准确性。

2、根据本发明的第一方面，本发明提供了一种基于有向无环图的抑郁检测方法，所述方法包括：

3、采集并处理目标对象的访谈问答数据，得到多个问题以及回答每个问题所形成的转录文字、音频数据和视频数据；

4、对所述访谈问答数据进行特征提取，得到分别与问题、转录文字、音频数据和视频数据对应的特征向量；

5、基于提取到的特征向量和预设节点连接关系构建用于总结特征向量的有向无环图；

6、利用预先训练的图注意力网络对有向无环图进行图学习和预测，得到用于表征所述目标对象的抑郁或非抑郁的预测结果。

7、在一些可能的实现方式中，采集并处理目标对象的访谈问答数据，得到多个问题以及回答每个问题所形成的转录文字、音频数据和视频数据，包括：

8、以问题为单位对完整访谈问答的转录文字进行分割，得到与每个问题对应的转录文字，并建立问题与转录文字的映射关系；

9、基于与每个问题对应的转录文字中记录的时间戳对完整访谈问答的音频和视频进行帧提取，得到每组转录文字对应的音频数据和视频数据；

10、根据所建立的问题与转录文字的映射关系确定每个问题对应的音频数据和视频数据。

11、在一些可能的实现方式中，对所述访谈问答数据进行特征提取，得到分别与问题、转录文字、音频数据和视频数据对应的特征向量，包括：

12、将每个问题中的每个词映射到一个预先训练的词嵌入器得到词向量，并计算每个问题中所有词向量的平均值，得到每个问题对应的特征向量；

13、将与每个问题对应的每组转录文字中的每个词映射到一个预先训练的词嵌入器得到词向量，并计算每组转录文字中所有词向量的平均值，得到每组转录文字对应的特征向量；

14、分别获取与每个问题对应的音频数据的帧平均值，得到与问题对应的音频数据的特征向量；分别获取与每个问题对应的视频数据的帧平均值，得到与问题对应的视频数据的特征向量。

15、在一些可能的实现方式中，基于提取到的特征向量和预设节点连接关系构建用于总结特征向量的有向无环图，包括：

16、将每组转录文字对应的特征向量作为中心，得到多个中心节点；

17、对每个中心节点，将对应的问题、音频数据和视频数据对应的特征向量作为辅助节点，得到与每个中心节点对应的辅助节点；

18、为每个中心节点设置一个代理节点，并利用所述代理节点将对应的辅助节点连接到所述中心节点；

19、根据各组转录文字的时间先后顺序连接相邻的中心节点，并将各个中心节点单向连接到总结节点。

20、在一些可能的实现方式中，所述利用预先训练的图注意力网络对有向无环图进行图学习和预测，得到用于表征所述目标对象的抑郁或非抑郁的预测结果，包括：

21、基于下述公式一至公式四更新所构建的有向无环图的节点表示；

22、

23、式中，表示未归一化的注意力分数，i表示被更新节点序号，j表示某一特定邻居节点的序号，k表示注意力头的序号，wt表示转换向量，w(k)表示权重矩阵，hj表示特定邻居节点j的向量表示，表示归一化后的注意力系数，表示节点i的所有邻居节点，m表示任一邻居节点的序号，表示注意力头k对应的输出向量，||表示向量拼接，k表示注意力头总数，hi表示被更新节点的输出向量，表示有向无环图中节点构成的集合；

24、将更新后总结节点的节点表示输入到前馈层，得到前馈层输出的抑郁状态值，其中，所述前馈层的输出包括两种状态值，一种状态值表示抑郁，另一种状态值表示非抑郁。

25、在一些可能的实现方式中，所述预先训练的图注意力网络通过如下步骤得到：

26、利用多个已知抑郁状态用户的访谈问答数据构造多个原始训练样本，其中，每个原始训练样本包括多个问题、回答每个问题的转录文字、音频数据和视频数据对应的特征向量；

27、为大语言模型创建包括输入指令、重述原则和人工示例的输入提示；

28、利用大语言模型根据所述输入提示对原始训练样本中各组转录文字进行表述重述，得到重述转录文字及对应的特征向量；

29、基于重述转录文字对应的特征向量、原始样本中问题、音频数据和视频数据对应的特征向量构造合成样本；

30、将所述原始训练样本与所述合成样本进行混合，得到增强训练样本；

31、基于标签监督学习和自监督对比学习方法采用增强训练样本进行训练。

32、在一些可能的实现方式中，所述标签监督学习和所述自监督对比学习方法所使用的损失函数根据下述公式五至公式七得到：

33、

34、

35、式中，表示图注意力网络的整体损失函数，表示标签监督学习的交叉熵损失，表示自监督对比学习损失，表示原始训练样本，表示合成样本，sc表示当前样本的表示，表示当前样本对应的正样本的表示，表示当前样本对应的负样本的表示，j表示所选择的负样本集合，j表示某一特定负样本的序号，y表示样本抑郁状态的真实标签，表示前馈层预测的抑郁状态，τ表示对比学习的温度参数。

36、根据本发明的第二方面，本发明还提供了一种基于有向无环图的抑郁检测装置，所述装置包括：

37、数据采集模块，用于采集并处理目标对象的访谈问答数据，得到多个问题以及回答每个问题所形成的转录文字、音频数据和视频数据；

38、特征提取模块，用于对所述访谈问答数据进行特征提取，得到分别与问题、转录文字、音频数据和视频数据对应的特征向量；

39、图构建模块，用于基于提取到的特征向量和预设节点连接关系构建用于总结特征向量的有向无环图；

40、预测模块，用于利用预先训练的图注意力网络对有向无环图进行图学习和预测，得到用于表征所述目标对象的抑郁或非抑郁的预测结果。

41、根据本发明的第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于有向无环图的抑郁检测方法。

42、根据本发明的第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于有向无环图的抑郁检测方法。

43、本发明提供的一种基于有向无环图的抑郁检测方法，通过采集并处理的目标对象的访谈问答数据得到问题以及回答每个问题的转录文字、音频数据和视频数据，接着对访谈问答数据中的各类数据进行特征向量提取，进而使用提取到的特征构建用于总结特征向量的有向无环图，最后利用预先训练的图注意力网络对有向无环图进行图学习和预测得到预测结果，能够充分利用四种类型的访谈元素，将整个访谈转化为一个有向无环图形成了结构化元素图，借助有向无环图的特定连接关系对四种类型的访谈元素进行信息传播和聚合，以保留完整的元素特征用于预测抑郁状态，实现了从多模态访谈特征中综合关键线索，提升抑郁检测的准确性和可靠性。

44、此外，本发明提供的一种基于有向无环图的抑郁检测装置、一种电子设备和一种非暂态计算机可读存储介质，同样能实现上述技术效果，这里不再赘述。