一种面部表情识别方法、装置、设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种面部表情识别方法、装置、设备及存储介质。

背景技术：

1、表情识别作为汽车座舱智能化的重要功能之一，通过监测驾乘人员的情绪状态，联动音乐播放、灯光、空调等其他功能，可以为驾乘人员提供更加人性化的服务，在舱驾一体化融合的当下发挥着越来越重要的作用。但是，由于表情的难以捕捉、相似表情间差异较小等原因，现有表情识别精度难以达到理想指标，极大影响了消费者的产品体验，成为亟待解决的问题。

2、目前，现有技术是对视频流进行多目标人脸表情识别，通过相邻帧之间的信息补偿提升表情识别的精度，但面对单帧图像输入时并不适用，泛化能力较差，并且对于硬件依赖大，在复杂环境下精度低，进而导致实际表示识别效果不佳。

技术实现思路

1、本发明提供了一种面部表情识别方法、装置、设备及存储介质，以实现驾乘人员面部表情的精确识别。

2、根据本发明的一方面，提供了一种面部表情识别方法，该方法包括：

3、获取驾驶员样本图像，根据驾驶员样本图像建立表情样本数据集；

4、根据表情样本数据集构建表情分类模型；

5、获取驾驶员待测图像，根据驾驶员待测图像和表情分类模型生成面部表情识别结果。

6、可选的，根据驾驶员样本图像建立表情样本数据集，包括：对驾驶员样本图像进行分割处理以生成显著图；对驾驶员样本图像进行关键点检测以生成热力图；根据驾驶员样本图像、显著图和热力图生成四通道图像，根据四通道图像建立表情样本数据集。

7、可选的，对驾驶员样本图像进行分割处理以生成显著图，包括：通过预设语义分割模型对驾驶员样本图像进行五官分割处理以生成五官分割结果；将五官分割结果转换成单通道二值图像以生成显著图。

8、可选的，对驾驶员样本图像进行关键点检测以生成热力图，包括：通过预设深度学习网络对驾驶员样本图像进行关键点检测以确定各脸部关键点；将驾驶员样本图像和各脸部关键点分别代入预设热力系数算法以生成各热力子图；依次将驾驶员样本图像中的各像素点作为目标像素点；确定目标像素点在各热力子图中对应的系数值，并将最大系数值作为目标系数值；根据各目标系数值生成热力图。

9、可选的，根据驾驶员样本图像、显著图和热力图生成四通道图像，包括：将显著图和热力图进行加权融合以生成第一通道图像；将驾驶员样本图像划分成三个通道，并将三个通道中各像素点分别和对应的目标系数值相乘以生成第二通道图像、第三通道图像和第四通道图像；将第一通道图像、第二通道图像、第三通道图像和第四通道图像作为四通道图像。

10、可选的，根据表情样本数据集构建表情分类模型，包括：基于表情样本数据集中的四通道图像获取用户标注的表情类型；通过预设分类模型对四通道图像和表情类型的对应关系进行学习以生成表情分类模型。

11、可选的，根据驾驶员待测图像和表情分类模型生成面部表情识别结果，包括：对驾驶员待测图像进行处理以生成待测显著图和待测热力图，并根据驾驶员待测图像、待测显著图和待测热力图生成待测四通道图像；将待测四通道图像输入表情分类模型，将表情分类模型输出的表情类型作为面部表情识别结果。

12、根据本发明的另一方面，提供了一种面部表情识别装置，该装置包括：

13、表情样本数据集建立模块，用于获取驾驶员样本图像，根据驾驶员样本图像建立表情样本数据集；

14、表情分类模型建立模块，用于根据表情样本数据集构建表情分类模型；

15、面部表情识别结果生成模块，用于获取驾驶员待测图像，根据驾驶员待测图像和表情分类模型生成面部表情识别结果。

16、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

17、至少一个处理器；以及

18、与所述至少一个处理器通信连接的存储器；其中，

19、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种面部表情识别方法。

20、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种面部表情识别方法。

21、本发明实施例的技术方案，通过综合面部关键点的热力图、分割图像的显著图和驾驶员样本图像等多种信息进行融合处理，仅通过摄像头即可实现驾乘人员面部表情的精确识别，无需安装其他软硬件设备，即降低了操作成本，使用基于深度学习的计算机视觉技术，可以实现五官自动分割、结果实时输出，便于多应用协同开发，综合了分割、关键点、分类和检测等多种面部分析方法，降低了识别误差、抗干扰能力高、鲁棒性强。

22、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种面部表情识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述驾驶员样本图像建立表情样本数据集，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述驾驶员样本图像进行分割处理以生成显著图，包括：

4.根据权利要求2所述的方法，其特征在于，所述对所述驾驶员样本图像进行关键点检测以生成热力图，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述驾驶员样本图像、所述显著图和所述热力图生成四通道图像，包括：

6.根据权利要求2所述的方法，其特征在于，所述根据所述表情样本数据集构建表情分类模型，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述驾驶员待测图像和所述表情分类模型生成面部表情识别结果，包括：

8.一种面部表情识别装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结本发明公开了一种面部表情识别方法、装置、设备及存储介质。包括：获取驾驶员样本图像，根据驾驶员样本图像建立表情样本数据集；根据表情样本数据集构建表情分类模型；获取驾驶员待测图像，根据驾驶员待测图像和表情分类模型生成面部表情识别结果。通过综合面部关键点的热力图、分割图像的显著图和驾驶员样本图像等多种信息进行融合处理，仅通过摄像头即可实现驾乘人员面部表情的精确识别，无需安装其他软硬件设备，即降低了操作成本，使用基于深度学习的计算机视觉技术，可以实现五官自动分割、结果实时输出，便于多应用协同开发，综合了分割、关键点、分类和检测等多种面部分析方法，降低了识别误差、抗干扰能力高、鲁棒性强。技术研发人员：袁鲁峰,赵兴科,付振,王明月,刘相超,张俊,孙立爽,孙建蕾,吕欢欢,贾晨受保护的技术使用者：中国第一汽车股份有限公司技术研发日：技术公布日：2024/7/25