一种面部表情识别及其模型训练方法

本申请属于面部表情识别，更具体地，涉及一种面部表情识别及其模型训练方法。

背景技术：

1、面部表情识别是一项利用计算机视觉、模式识别和人工智能技术来自动识别和解释人类面部表情的技术。随着智能设备的广泛应用，人脸表情识别技术正在逐渐成为一项重要的应用技术。例如，在人机交互领域，智能家居、客户服务机器人和虚拟助理等应用通过识别用户表情，能够提供更加个性化和情感化的交互体验；在自动驾驶领域，车内监控系统利用此技术识别驾驶员的疲劳或分心状态，提高驾驶安全性；在教育领域，面部表情识别技术利用表情识别评估学生对课程内容的反应，帮助教师调整教学方法。

2、传统的面部表情识别方法主要采用图像处理技术，对人脸图像进行特征提取和分类。但是现有面部表情识别方法对于复杂的表情识别效果不够理想。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本申请提供了一种面部表情识别及其模型训练方法，其目的在于解决现有面部表情识别方法对复杂表情识别率低的技术问题。

2、为实现上述目的，第一方面，本申请提供了一种面部表情识别模型训练方法，所述方法包括：

3、获取带表情标签的面部图像，对面部图像进行预处理后进行水平翻转；

4、将水平翻转前后的图像作为训练数据，将水平翻转前后图像空间注意力图之间的重平衡一致性损失、每个训练样本的重平衡焦点损失和交叉熵损失融入损失函数约束面部表情识别模型的训练，得到训练好的面部表情识别模型。

5、优选的，所述水平翻转前后的图像空间注意力图之间的重平衡一致性损失具体为：

6、将翻转前图像的特征图在通道维度上求和后得到注意力图；将注意力图和重平衡权重相乘，得到重平衡注意力图；

7、将翻转后图像的特征图在通道维度上求和后得到翻转注意力图；将翻转注意力图和重平衡权重相乘，得到翻转重平衡注意力图；

8、计算重平衡注意力图和翻转重平衡注意力图之间的均方误差得到所述重平衡一致性损失。

9、优选的，所述水平翻转前后的图像空间注意力图之间的重平衡一致性损失具体为：

10、

11、其中，lrbc为重平衡一致性损失，i,l,c,h,w分别表示训练样本，表情类别，通道，高度和宽度；n,l,c,h,w分别表示总训练样本数，总表情类别数，总通道数，总高度和总宽度；m(i,l,h,w)表示重平衡注意力图；表示翻转重平衡注意力图；a(i,l,h,w)表示注意力图；表示翻转注意力图；bl表示重平衡权重；f(i,c,h,w)表示翻转前图像的特征映射；表示翻转后图像的特征映射；w(l,c)表示每个表情类别的权重。

12、优选的，所述训练样本的重平衡焦点损失具体为：

13、将训练样本的特征图经过全局平均池化层并进行特征整合，再经过分类头预测获得所属表情类别的预测概率分布；

14、预测概率分布通过logsoftmax获取每个训练样本的交叉熵损失；在交叉熵损失中引入系数因子得到训练样本的焦点损失；

15、将所述焦点损失和重平衡权重相乘得到所述重平衡焦点损失。

16、优选的，所述训练样本的重平衡焦点损失具体为：

17、lrbf＝bllf

18、lf＝-(1-pl)γlog(pl)

19、其中，lrbf为重平衡焦点损失；bl为重平衡权重；lf为焦点损失；pl为第l个表情类别的概率值；γ为调节因子，γ∈[0,5)。

20、优选的，所述重平衡权重具体为：

21、

22、其中，bl为重平衡权重；β为重缩放因子，β∈[0,1)；nl为第l类表情类别所拥有的训练样本个数。

23、优选的，所述交叉熵损失具体为：

24、

25、其中，lcls为交叉熵损失；fi和分别为第i个训练样本的特征和翻转特征，将翻转前图像的特征映射和翻转后图像的特征映射输入全剧平均池化层得到fi和yi为第i个训练样本的表情类别；为第yi个表情类别的权重；wj为第j个表情类别的权重；l为总表情类别数；n为总训练样本数。

26、优选的，所述损失函数具体为：

27、ltrain＝lcls+λlrbc+μlrbf

28、其中，ltrain为损失函数，lcls为交叉熵损失，lrbc为重平衡一致性损失；lrbf为重平衡焦点损失；λ和μ分别为重平衡一致性损失和重平衡焦点损失的权重。

29、第二方面，本申请提供了一种面部表情识别方法，所述方法包括：

30、获取待识别面部图像；

31、将待识别面部图像输入至训练好的面部表情识别模型中，得到待识别面部图像的表情识别结果；

32、其中，所述面部表情识别模型是根据权利要求1-8任意一项权利要求所述方法训练得到的。

33、第三方面，本申请提供一种电子设备，包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法，或者处理器执行第二方面所描述的方法。

34、总体而言，通过本申请所构思的以上技术方案与现有技术相比，具有以下有益效果：

35、本申请通过在对面部表情识别模型进行训练时，考虑面部表情训练数据集中的各种表情类别数量不平衡的问题，引入重平衡注意力一致性损失和重平衡焦点损失，通过重平衡注意力一致性损失与重平衡焦点损失挖掘在主要类中潜在的次要类特征信息，从主要类和简易类中挖掘次要类和困难类的特征信息，引导模型在不影响主要类和简易类识别的情况下更加关注次要类和困难类的学习，从而提升了模型对次要类和困难类表情的识别性能，解决了传统面部表情识别中对困难类和次要类表情识别准确率低的问题。另外，经过在公共数据集上的验证可知，本申请对于各种表情类别，在面部遮挡，图像模糊等场景下均表现出较高的识别性能。

技术特征：

1.一种面部表情识别模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述水平翻转前后的图像空间注意力图之间的重平衡一致性损失具体为：

3.根据权利要求1所述的方法，其特征在于，所述水平翻转前后的图像空间注意力图之间的重平衡一致性损失具体为：

4.根据权利要求1所述的方法，其特征在于，所述训练样本的重平衡焦点损失具体为：

5.根据权利要求1所述的方法，其特征在于，所述训练样本的重平衡焦点损失具体为：

6.根据权利要求3或5所述的方法，其特征在于，所述重平衡权重具体为：

7.根据权利要求1所述的方法，其特征在于，所述交叉熵损失具体为：

8.根据权利要求1所述的方法，其特征在于，所述损失函数具体为：

9.一种面部表情识别方法，其特征在于，所述方法包括：

10.一种电子设备，其特征在于，包括：

技术总结本申请公开了一种面部表情识别及其模型训练方法，属于面部表情识别技术领域。本申请首先获取带表情标签的面部图像，对面部图像进行预处理后进行水平翻转；随后将水平翻转前后的图像作为训练数据，再将水平翻转前后的图像空间注意力图之间的重平衡一致性损失、每个训练样本的重平衡焦点损失和交叉熵损失融入损失函数约束面部表情识别模型的训练，得到训练好的面部表情识别模型。最后基于所述面部表情识别模型对输入的面部图像进行表情识别。本申请表情识别方法引入重平衡注意力一致性损失和重平衡焦点损失，由此提升了面部表情识别模型的分类性能，解决了传统面部表情识别对复杂表情识别率低的问题。技术研发人员：朱晓亮,陈浩,赵亮,戴志诚受保护的技术使用者：华中师范大学技术研发日：技术公布日：2024/11/4