基于微弱强度感知增强的微表情识别方法及装置

本发明涉及微表情识别技术，尤其涉及一种基于微弱强度感知增强的微表情识别方法及装置。

背景技术：

1、微表情(micro-expression)是一种短暂且微弱的面部表情，其往往在人类处于高风险情形下并试图隐藏自身真实情感时不自发得表现出来。由于此揭露真实情感的特性，微表情识别(micro-expression recognition)在刑侦谎言检测、心理障碍评估等场景中有巨大应用价值，实现准确的自动化微表情识别有着重要意义。

2、然而，微表情与日常常见的宏表情(macro-expression)相比，运动强度要低得多，其意味着微表情中的关键情感运动过于微弱以至于现有大多方法很难从中学习到可靠判别特征，导致微表情识别任务十分艰巨。针对此问题，研究者们引入视频运动放大技术来在样本层面上显示放大微表情中面部动作，使得其中判别特征更加明显以降低识别难度，提升识别效果。沿着此思想，经典物理放大方法，如欧拉运动放大emm(eulerian motionmagnification)，全局拉格朗日运动放大glmm(global lagrangian motionmagnification)等，以及基于深度学习的运动放大lmm(learning-based motionmagnification)等放大技术都被应用于微表情识别任务中，并已被证实与原始微表情样本相比，放大后样本确实能在一定程度上被更容易识别。然而，显示放大方法因其固有缺陷会引入额外噪声，从而遏制有效性。其中，由于不同微表情样本具体强度不可知且不一致，显示放大中设置的固定放大倍数将导致较低强度样本放大不够，而较高强度样本则被过度放大以至于扭曲带来噪声；同时微表情中的一些错误运动，例如眨眼等动作也会被统一放大，也引入了额外噪声，导致准确性降低。

技术实现思路

1、针对现有技术存在的问题，本发明的目的是：提供一种准确性更高的基于微弱强度感知增强的微表情识别方法及装置。

2、为了实现上述发明目的，本发明提供了如下技术方案：

3、一种基于微弱强度感知增强的微表情识别方法，包括如下步骤：

4、(1)获取微表情数据库，所述微表情数据库中包含有若干微表情视频样本和对应的微表情类别标签；

5、(2)对每个微表情视频样本进行分段处理，并从每段中随机抽取一帧组合为帧序列，并对帧序列进行预处理；

6、(3)构建强度感知神经网络，所述强度感知神经网络包括特征提取模块和微表情识别模块，所述特征提取模块用于提取帧序列中各帧的灰度图与光流图，并组合形成时空特征，所述微表情识别模块用于根据时空特征进行微表情分类，得到各帧分布在各微表情类别上的判别置信分数；

7、(4)构建链式排序损失函数，来约束强度感知神经网络对帧序列中各帧在正确微表情类别上的判别置信分数在时间上的变化趋势须符合微表情强度变化先验知识；

8、(5)构建交叉熵损失函数，所述交叉熵损失函数为视频层级上的总预测置信分数与标签之间的交叉熵损失，所述视频层级上的总预测置信分数，以帧序列中各帧在正确微表情类别上的判别置信分数在总分数的占比为权重，通过对各帧的判别置信分数进行加权得到；

9、(6)构建全局排序损失函数，来约束强度感知神经网络在视频级别的全局判别置信度分布中正确类别上分数须超过其余各错误类别上分数，所述视频级别的全局判别置信度为帧序列中各帧的判别置信分数的平均融合值；

10、(7)将链式排序损失函数、交叉熵损失函数和全局排序损失函数的加权和作为总损失函数，并通过梯度下降优化此损失函数来训练所述强度感知神经网络；

11、(8)将待识别的微表情视频按照步骤(1)和(2)进行处理后，输入训练好的强度感知神经网络，识别出微表情类别。

12、进一步的，步骤(2)中所述预处理包括人脸检测、各帧人脸区域对齐和各帧面部区域剪切。

13、进一步的，所述特征提取模块具体包括：

14、灰度图提取单元，用于对帧序列中各帧进行灰度化处理得到单通道的灰度图；

15、光流图提取单元，用于分别计算帧序列中各帧与起始帧之间的水平光流场与垂直光流场，并堆叠水平光流场与垂直光流场得到光流图；

16、堆叠单元，用于堆叠上述灰度图和光流图，得到3通道的时空特征。

17、进一步的，所述微表情识别模块具体为resnet18卷积网络。

18、进一步的，步骤(4)具体包括：

19、(4-1)根据帧序列中各帧分布在各微表情类别上的判别置信分数，以及当前帧对应的标签，计算得到各帧在正确情感类别上的预测置信分数gi,j：

20、

21、式中，si,j表示对第i个微表情视频样本对应帧序列的第j帧输入强度感知神经网络，输出的当前帧在各微表情类别上的判别置信分数，yi为第i个微表情视频样本的帧序列对应的标签向量，且其第j个元素为：

22、

23、式中，为si,j对应标签，ci为第i个微表情视频样本的正确情感类别；

24、(4-2)将帧序列中各帧在正确情感类别上的预测置信分数gi,j组合成正确类别判别分数序列gi＝[gi,1,gi,2,…,gi,k]，并选择gi中数值最高的帧，作为帧序列的微表情强度峰值处pi＝argmax(gi)；

25、(4-3)构建链式排序损失函数如下所示：

26、

27、式中，为链式排序损失，n为微表情视频样本总数，k为微表情视频样本对应的帧序列中帧的总数，和分别为和中的第j个元素，δs为分离和的边界值参数，和分别是从正确类别判别分数序列gi中筛选组合出来的两个子序列，和分别如下所示：

28、

29、

30、进一步的，步骤(5)具体包括：

31、(5-1)基于所述的正确类别判别分数序列gi，计算出帧序列中各帧的权重αi,j：

32、

33、式中，β为调节因子；

34、(5-2)基于所述权重αi,j，对si,j进行加权操作，得到视频层级上的总预测置信分数

35、

36、(5-3)构建交叉熵损失函数如下所示：

37、

38、式中，为交叉熵损失，nc为总类别数，为第i个微表情视频样本的帧序列的标签向量中，在微表情类别c上的标签值，为视频层级上的总预测置信分数在微表情类别c上的判别分数。

39、进一步的，步骤(6)具体包括：

40、(6-1)对帧序列中各帧的判别置信分数si,j平均融合，得到视频级别的全局判别置信度分布

41、

42、式中，k为帧序列中帧的总数；

43、(6-2)构建全局排序损失函数如下所示：

44、

45、式中，为全局排序损失，n为微表情视频样本总数，nc为总类别数，为在正确类别ci上的全局判别分数，是在其余各错误类别上的全局判别分数，δg为分离和的边界值参数。

46、进一步的，步骤(7)中所述总损失函数为如下所示：

47、

48、式中，为总损失，为交叉熵损失，为链式排序损失，为全局排序损失，λ,μ分别为平衡和的权重。

49、一种基于微弱强度感知增强的微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

50、一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述方法。

51、本发明与现有技术相比，其有益效果是：本发明采用微弱强度感知增强的思想，通过三个约束共同构建了模型对微表情判别确定性分布和模型对微表情强度感知分布之间的双向靠拢过程，先基于微表情发生过程中的强度变化先验知识来引导判别确定性合理化，同时又利用此合理化的判别确定性来间接驱使模型感知出相对应的真实微弱强度，从而能够凭借此增强后的强度感知能力隐式放大模型对关键情感动作的敏锐程度，在规避额外噪声的优势下实现更高准确率的微表情隐式放大识别。