基于特征旋转的微表情识别特征的确定方法、装置和系统与流程

本技术涉及图像处理，具体而言，涉及一种基于特征旋转的微表情识别特征的确定方法、装置、计算机可读存储介质和系统。

背景技术：

1、微表情识别具有丰富的应用场景，如犯罪审讯、心理分析、人机交互、谎言识别等。特征提取微表情识别的一个重点任务。与宏观表情相比，微表情的特征提取主要有两个难点：即微表情面部运动的肌肉较少，肌肉运动的振幅较小，且微表情持续时间较短。当宏观表情发生时，面部的肌肉变化明显，因此旁观者可以更清晰地推断出表情背后的情感。相反，当微表情发生时，人脸的运动稀疏而微小，因此微表情很难被检测和识别。此外，宏观表情的持续时间通常较长，而微表情的持续时间始终不超过0.5秒。为了延长微表情的持续时间，这样有利于特征的稳定提取，常用的方法是时域图像插值算法(tim算法)，这种算法通过对视频片段进行时域上的插值，增加微表情片段所包含的图像数，相当于变相延长了微表情的持续时间。然而由于对原始视频做了修改，因此会导致数据误差。

2、微表情的特征提取方式主要分为两种，即传统的手工特征提取方法和深度学习特征提取方法。对于手工特征提取，目前主流的方法包括基于局部二值模式的方法、基于微表情图像帧的光流场直方图统计的方法，还有采用四元数字典学习稀疏特征来描述微表情稀疏面部运动的方法，以及根据riesz变换，将微表情的帧序列转换成图像对的方法。然而，手工特征提取一般需要领域专家设计特征提取算法，这通常需要花费大量时间和精力，并且在其他任务或数据集上的泛化能力较差。此外，手工特征提取还需要对数据进行预处理，如光流计算、图像配准等，这增加了整个模型的复杂性和计算成本。

3、针对深度学习特征，有通过affectivenet来提取多尺度微表情的不同性质的方法。还有一些方法利用循环卷积网络从图像级别和几何角度提取微表情的时空特征。然而，深度学习特征通常提取高维特征用于微表情识别，这会增加计算成本和存储需求，并可能导致维度灾难问题的出现。

4、即现有方案对于微表情的特征点的识别的计算成本和存储需求较高。

技术实现思路

1、本技术的主要目的在于提供一种基于特征旋转的微表情识别特征的确定方法、装置、计算机可读存储介质和系统，以至少解决现有方案对于微表情的特征点的识别的计算成本和存储需求较高的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种基于特征旋转的微表情识别特征的确定方法，该方法包括：

3、获取样本图像集，并采用时间一致差分能量图像算法，对所述样本图像集进行处理，得到像素平均变化量，所述样本图像集包括多帧样本图像，所述像素平均变化量为所述样本图像集在单位时间间隔内的相邻像素矩阵的平均变化量；

4、采用积分投影法，对所述像素平均变化量进行处理，得到拼合矩阵，并对所述拼合矩阵进行四元数转换处理，得到四元数向量，并基于四元数向量矩阵中的不动点，对所述四元数向量矩阵进行旋转，确定特征点，所述拼合矩阵表征所有的所述样本图像的所有的像素的运动信息，所述四元数向量矩阵包括所有的所述四元数向量；

5、采用损失函数算法，对所述特征点进行优化，确定目标特征点。

6、可选地，基于四元数向量矩阵中的不动点，对所述四元数向量矩阵进行旋转，确定特征点，包括：

7、根据确定所述特征点；

8、其中，b为所述特征点，im(·)表示提取四元数向量的三个虚部，依次作为三维空间的坐标，rp为不动点旋转算子，q'r为归一化处理后的所述四元数向量矩阵，ω为四元数向量的实部。

9、可选地，采用损失函数算法，对所述特征点进行优化，确定目标特征点，包括：

10、构建损失函数为loss＝-λ1l1+λ2l2+λ3l3；

11、其中，loss为所述损失函数的损失值，λ1、λ2、λ3为分别为l1、l2、l3的权重，l1为同一特征中不同标签的点集之间的欧氏距离，l2为同一标签下第α个特征与其之前的α－1个特征之间的最大欧式距离，l3为同一类别、同一特征下不同点之间的最大欧氏距离；

12、确定与所述损失函数的损失值的最小值对应的四元数向量的实部为目标四元数向量实部；

13、根据所述目标四元数向量实部的绝对值所处的范围，对所述特征点进行优化，确定目标特征点。

14、可选地，在采用损失函数算法，对所述特征点进行优化，确定目标特征点之前，所述方法2还包括：

15、根据确定同一特征中不同标签的点集之间的欧氏距离；

16、其中，g为标签种类总数，分别表示标签g、标签k的第α个特征的子矩阵的质心。

17、可选地，在采用损失函数算法，对所述特征点进行优化，确定目标特征点之前，所述方法还包括：

18、根据确定同一标签下第α个特征与其之前的α－1个特征之间的最大欧式距离；

19、其中，g为标签种类总数，分别表示标签g的第α个特征的子矩阵的质心、第β个特征的子矩阵的质心。

20、可选地，在采用损失函数算法，对所述特征点进行优化，确定目标特征点之前，所述方法还包括：

21、根据确定同一类别、同一特征下不同点之间的最大欧氏距离；

22、其中，和分别表示标签g的第α个特征的子矩阵中第i个和第j个样本的子矩阵，ng表示属于标签g的样本个数，g为标签种类总数。

23、可选地，在根据所述目标四元数向量实部的绝对值所处的范围，对所述特征点进行优化，确定目标特征点的过程中，所述方法还包括：

24、在所述目标四元数向量实部的绝对值小于或者等于实部阈值的情况下，基于四元数向量矩阵中的不动点，采用第一旋转角度对所述四元数向量矩阵进行旋转，确定所述目标特征点；

25、在所述目标四元数向量实部的绝对值大于所述实部阈值的情况下，根据确定同一标签下第α个特征与其之前的α－1个特征之间的最大欧式距离，g为标签种类总数，fs(β)为根据所述目标四元数向量实部的绝对值所处的范围确定的特征值，分别表示标签g的第α个特征的子矩阵的质心、第β个特征的子矩阵的质心。

26、根据本技术的另一方面，提供了一种基于特征旋转的微表情识别特征的确定装置，该装置包括：

27、获取单元，用于获取样本图像集，并采用时间一致差分能量图像算法，对所述样本图像集进行处理，得到像素平均变化量，所述样本图像集包括多帧样本图像，所述像素平均变化量为所述样本图像集在单位时间间隔内的相邻像素矩阵的平均变化量；

28、第一处理单元，用于采用积分投影法，对所述像素平均变化量进行处理，得到拼合矩阵，并对所述拼合矩阵进行四元数转换处理，得到四元数向量，并基于四元数向量矩阵中的不动点，对所述四元数向量矩阵进行旋转，确定特征点，所述拼合矩阵表征所有的所述样本图像的所有的像素的运动信息，所述四元数向量矩阵包括所有的所述四元数向量；

29、第二处理单元，用于采用损失函数算法，对所述特征点进行优化，确定目标特征点。

30、根据本技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的基于特征旋转的微表情识别特征的确定方法。

31、根据本技术的另一方面，提供了一种基于特征旋转的微表情识别特征的确定系统，该系统包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的基于特征旋转的微表情识别特征的确定方法。

32、应用本技术的技术方案，采用时间一致差分能量图像算法，得以利用了每一帧样本中的信息，没有对原始数据进行增减，减少了误差和数据损失，此外，时间一致差分能量图像算法还考虑了摄像机fps的影响，使得提取的特征更具鲁棒性，其次，采用积分投影方法增加了信息密度并降低了特征维度，可以提取较低维特征，降低计算成本和存储需求，并且可以避免维度灾难问题的出现，基于不动点旋转的方法进行特征选择，并同时采用损失函数算法，对所述特征点进行优化，确定目标特征点，得以在保证高精度的情况下提取微表情的低维特征，从而解决了现有方案对于微表情的特征点的识别的计算成本和存储需求较高的问题。