一种针对抑郁症患者的表情识别和计量跟踪方法与流程

1.本发明属于计算机视觉技术、图像识别技术领域，尤其是针对抑郁症患者监控视频的表情识别和计量跟踪方法。


背景技术：

2.抑郁症已成为全球严重的公共卫生和精神卫生问题。据who统计，全球有3.5亿抑郁症患者，每年约100万人因抑郁症自杀。最新的流行学调查显示，我国抑郁症的终生患病率为6.8%，据此推算，我国抑郁症患者已达9000余万人。
3.心理治疗对抑郁症患者的全面康复不可或缺。然而，目前我国注册的精神科医师不到4万人，注册的心理治疗师不到5000人，与之对应的却是庞大的病人群体，平均每10万人只有3.3个精神科医师，不到1个心理治疗师。抑郁症患者对心理治疗服务的需求量之大，与我国精神卫生医疗资源极其短缺形成了鲜明对比。而大数据分析与人工智能的兴起给精神科医生和患者带来了曙光。
4.表情是情绪的外部表现，针对抑郁症患者监控视频的表情，通过表情识别系统，可以监测和判断人的情绪状态，并进一步计算抑郁量得分。为此本发明利用大数据分析与人工智能技术，运用图像识别和机器学习来精确辨识表情，为精神科医师在对患者的心理治疗过程中提供一种辅助的技术工具。


技术实现要素：

5.本发明公开了一种针对抑郁症患者监控视频的表情识别和计量跟踪方法。方法首先基于前期已经标注好的七种维度表情的数据库作为训练数据集，采用多层二维卷积、全局池化、全连接的深度学习网络训练识别模型。训练好模型之后，对于采集到的患者图像或视频数据，采用人脸检测跟踪算法，识别图像或视频中静态或动态的患者人脸，利用深度学习训练后的模型进行表情识别。在此基础上，计算表情熵，并计量跟踪患者表情熵随时间的变化情况，以评估病情进展或诊疗效果。
6.本发明方法与现有技术相比，利用大数据分析与人工智能技术，全程自动跟踪计算，准确性和效率都有了进一步的提升；特别的，表情熵及其计算方式的提出和应用，可进一步计量跟踪患者随时间的变化情况，给医师提供病情进展或诊疗效果的参考依据，真正成为医生的辅助工具。本发明方法具有广阔的应用前景。
7.本发明方法的步骤如下：（1）建立表情训练数据集；（2）构建表情识别的深度学习神经网络模型；（3）基于训练数据集进行模型训练；（4）微表情识别及识别结果准确率评估；（5）对治疗过程中的表情进行跟踪，对患者进行表情衡量。
8.其中，步骤(1)的建立表情训练数据集，具体为将人脸表情简化定义为7类，包括愤
怒、厌恶、恐惧、快乐、悲伤、惊讶和中性，分别定义为标签1,2,3,4,5,6,7。之后系统地采集人脸表情，并建立图像库，对于每张人脸图像，转成灰度图，通过双线内插值算法将图像统一重塑为48*48像素，并按灰度值提取为图像向量。最后，获得了以“标签-图像向量”形式保存的数据集。
9.其中，步骤(2)的构建表情识别的深度学习神经网络模型，具体为：识别引擎包括人脸识别和表情识别两个部分。第一部分人脸识别部分采用haar级联分类器。通过提取图像的haar-like特征，利用adaboost算法组合多个harr-like特征，经过训练和迭代得到强分类器；再通过组合多个强分类器，形成haar级联分类器，以提高人脸识别算法的准确率；第二部分是搭建表情识别的深度学习神经网络模型，图像首先经过两层二维卷积（conv2d），之后经过一系列的二维卷积 全局池化操作，此时主要是采用深度可分离的卷积（depthwise separable convolution,sep-conv2d）来替换原来的卷积操作。最后通过全连接，softmax完成整个网络模型。
10.其中，步骤(3)的基于训练数据集进行模型训练，具体为：微表情的模型训练和识别流程包括四个阶段：准备数据集、设计学习模型、训练模型和验证模型。准备数据集阶段包括三个步骤，首先分时采样视频片段，截图成单独图像；其次对图像进行归一化处理；最后反复训练、验证、测试分割的人脸。在识别获取到人脸的基础上，设计学习模型进行表情识别。模型的设计过程包括：选择基本的模型框架，调整深度学习网络层次，确定损失函数，设计学习率等超参数等步骤。之后进行模型的训练过程，结合训练数据，运行模型进入迭代过程，取batch=128, epoch=50，持续输出模型的误差，并迭代优化模型的参数。经过一段时间的训练后，将模型运用于验证数据集，进一步验证模型的泛化能力。
11.其中，步骤(4)的微表情识别及识别结果准确率评估，具体为：将搭建的深度学习表情识别引擎应用在fer2013表情数据集上识别的准确率为65.14%，在对fer2013进行重新标记的fer 数据集上，识别准确率为79.71%；在ck 48数据集上，表情识别准确率可达到97.96%。
12.其中，步骤(5)的对治疗过程中的表情进行跟踪，对患者进行表情衡量，具体为：对于输入的每幅图像得到一个对应的表情概率雷达图，对于一段时间视频抽样得到的多幅图像对应的雷达图进行叠加，形成当前时间阶段的输出；患者在治疗过程中的不同阶段将对应不同的雷达图，对患者表情的动态变化过程进行跟踪。在抑郁症患者的治疗初始阶段，微表情可能比较模糊，分散在多个表情维度中；随着治疗的深入，视频期间的微表情将逐渐一致；最终当患者康复后，其微表情将相对较统一，不再飘忽不定。
13.进一步计量患者治疗过程中的表情变化，表征表情的复杂程度，采用表情熵进行表情的不确 定衡量。表情熵的计算公式为：其中xi表示第i种表情在七个维度 表情中的成分占比。通过表情熵，验证抑郁症患者在七维表情轴上是否存在某种与常人不同 的显著特征，以及这些特征在诊疗过程中，是如何随时间变化的，以此进一步识别和评估患 者的症状和病情的进展，以及诊疗的效果等。
附图说明
14.图1 是表情识别的深度学习神经网络模型。
15.图2 是微表情的模型训练和识别流程。
16.图3是表情识别结果，即所属某种表情的概率。
17.图4 是fer 数据集表情识别结果的混淆矩阵。
18.图5 是ck 48数据集表情识别结果的混淆矩阵。
19.图6 是治疗过程中，七维表情状态变化的典型示意图。
具体实施方式
20.下面结合附图和实例，对本发明进行详细的描述。
21.面部表情是面部肌肉的一个或多个动作或状态的结果。面部表情是非语言交际的一种形式。它是表达人类之间的社会信息的主要手段。人类的面部表情至少有21种，除了常见的高兴、吃惊、悲伤、愤怒、厌恶和恐惧6种，还有惊喜（高兴＋吃惊）、悲愤（悲伤＋愤怒）等15种可被区分的复合表情。
22.由于微表情持续时间短和动作幅度小两大识别难点，我们提出一种二维卷积神经网络深度学习模型，利用表情数据库训练表情分类器，识别抑郁症认知行为（cbt）治疗过程中的患者的多个维度的表情特征，定义表情熵特征变量，应用于全程治疗的影像记录中，跟踪患者的表情特征是如何随时间变化的，并进一步判断患者的情绪状态、诊疗效果等。
23.一、建立表情训练数据集。
24.首先将人脸表情简化定义为7类，包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性，分别定义为标签1,2,3,4,5,6,7。之后系统地采集人脸表情，并建立图像库，对于每张人脸图像，转成灰度图，通过双线内插值算法将图像统一重塑为48*48像素，并按灰度值提取为图像向量。最后，获得了以“标签-图像向量”形式保存的数据集。将数据集分为训练集、测试集、验证集三个部分。
25.二、构建表情识别的深度学习神经网络模型。
26.识别引擎包括人脸识别和表情识别两个部分。人脸识别部分采用haar级联分类器。通过提取图像的haar-like特征，利用adaboost算法组合多个harr-like特征，经过训练和迭代得到强分类器。进一步再通过组合多个强分类器，形成haar级联分类器以提高算法的识别准确率。
27.分类器识别出图像中的人脸后，第二部分是搭建表情识别的深度学习神经网络模型。表情识别的深度学习神经网络模型如图1所示。图像首先经过两层二维卷积（conv2d），之后经过一系列的二维卷积 全局池化操作，此时主要是采用深度可分离的卷积（depthwise separable convolution,sep-conv2d）来替换原来的卷积操作。最后通过全连接，softmax完成整个网络模型。具体模型参数如下表所示。
28.三、基于训练数据集进行模型训练。
29.在搭建人脸表情识别引擎的基础上，结合构建的训练数据集，开始进行模型训练。微表情的模型训练和识别流程如图2所示。包括四个阶段：准备数据集、设计学习模型、训练模型和验证模型。
30.准备数据集阶段包括三个步骤，首先分时采样视频片段，截图成单独图像；其次对图像进行归一化处理；最后反复训练、验证、测试分割的人脸。在识别获取到人脸的基础上，设计学习模型进行表情识别。模型的设计过程包括：选择基本的模型框架，调整深度学习网络层次，确定损失函数，设计学习率等超参数等步骤。之后进行模型的训练过程，结合训练数据，运行模型进入迭代过程，取batch=128, epoch=50，持续输出模型的误差，并迭代优化模型的参数。经过一段时间的训练后，将模型运用于验证数据集，进一步验证模型的泛化能力。
31.图3是表情识别结果的一个示例，即计算表情图像所属于某种表情的概率。需要注意的是，这里对每种表情的所属概率的总和并不为1。概率的大小用于表示表情图像属于某种表情类别的可能性，如果要定性为某种表情，仅需比较不同类别的概率值，最大值所对应的类别即为表情图像所对应的表情。
32.四、微表情识别及识别结果准确率评估。
33.将搭建的深度学习表情识别引擎应用在fer2013表情数据集上识别的准确率为65.14%，与人类在该数据集上识别的效果相当（65%
ꢀ±ꢀ
5%）。在对fer2013进行重新标记的fer 数据集上，识别准确率为79.71%。fer 数据集上，表情识别结果的混淆矩阵如图4所示。在ck 48数据集上，表情识别准确率可达到97.96%。ck 48对应的表情识别结果混淆矩阵如图5所示。
34.五、对治疗过程中的表情进行跟踪，对患者进行表情衡量。
35.对于输入的每幅图像得到一个对应的表情概率雷达图，对于一段时间视频抽样得到的多幅图像对应的雷达图进行叠加，形成当前时间阶段的输出。
36.患者在治疗过程中的不同阶段将对应不同的雷达图，对患者表情的动态变化过程进行跟踪，如图6所示，在抑郁症患者的治疗初始阶段，微表情可能比较模糊，分散在多个表情维度中，如图6(a)；随着治疗的深入，视频期间的微表情将逐渐一致，如图6(b)；最终当患者康复后，其微表情将相对较统一，不再飘忽不定，如图6(c)。
37.进一步计量患者治疗过程中的表情变化，表征表情的复杂程度，我们提出采用表情熵进行表 情的不确定衡量。表情熵的计算公式为：其中xi表示第i种表情在七个维度表情中的成分占比。通过表情熵，验证抑郁症患者在七维表 情轴上是否存在某种与常人不同的显著特征，以及这些特征在诊疗过程中，是如何随时间变 化的，以进一步识别和评估患者的症状和病情的进展，以及诊疗的效果等。
38.综上，本发明提出了一种针对抑郁症患者监控视频的表情识别和计量跟踪方法。方法基于七种维度表情训练数据集，采用多层二维卷积 全局池化 全连接的深度学习网络训练识别模型。训练好模型之后，对于采集到的患者图像或视频数据，采用人脸检测跟踪算法，识别图像或视频中静态或动态的患者人脸，利用深度学习训练后的模型进行表情识别。在此基础上，计算表情熵，并计量跟踪患者表情熵随时间的变化情况，以评估病情进展或诊疗效果。
39.本发明方法尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是不可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。当前公开的实施例在所有方面应被理解为说明性的而非对其请求保护的范围的限制。