特征融合的情感识别方法、装置、电子设备及存储介质

本发明涉及情感类型诊断，尤其涉及一种特征融合的情感识别方法、装置、电子设备及存储介质。

背景技术：

1、情感识别是通过计算机与人的感知和交互，进行自动识别、理解人的情感的技术，具有广泛的应用价值和深远的影响。它能提升人机交互的个性化和适应性，监测心理健康状况，优化工作环境和提高效率，深入分析消费者行为，增强公共安全监控，辅助医疗决策，丰富虚拟现实和游戏体验，并改善人际沟通和社交互动。

2、现有的方法中，一般是基于视听信号的，例如表情、动作、语言、声调等视听信号进行识别的方法。以表情为例，面部情绪识别（facial emotion recognition，fer）是指利用计算机视觉和机器学习技术来识别和分类人类的情绪状态，通过分析面部特征和模式，机器可以对一个人的情绪状态做出有根据的猜测。随着以深度学习技术为基础的图像识别与目标检测任务的发展，对情绪图片的分类能够达到很高的精度。然而，这种方法容易受到用户自发的欺骗，表情和声音等可以被掩盖伪装，难以反映内心真实情感，导致识别准确率不高。

技术实现思路

1、本发明提供一种特征融合的情感识别方法、装置、电子设备及存储介质，用以提升情感识别的准确率。

2、本发明提供一种特征融合的情感识别方法，包括：

3、基于图像采集设备，获取待检测目标的面部表情图像，并基于调频连续波雷达，获取所述待检测目标的雷达原始数据；

4、对所述面部表情图像进行情绪识别，确定所述待检测目标的面部情绪特征；

5、对雷达原始数据进行特征提取，提取所述待检测目标的生理信号特征，并对所述生理信号特征进行情绪识别，确定所述待检测目标的生理情绪特征，所述生理信号特征包括呼吸特征以及心跳特征；

6、将所述生理情绪特征以及所述面部情绪特征进行拼接，得到拼接特征，并对所述拼接特征进行情感识别分类，确定所述待检测目标的情感类型。

7、根据本发明提供的一种特征融合的情感识别方法，所述对雷达原始数据进行特征提取，提取所述待检测目标的生理信号特征，包括：

8、基于所述雷达原始数据，提取所述待检测目标的呼吸波形以及所述待检测目标的心跳波形；

9、对所述呼吸波形进行峰值检测，确定所述待检测目标的呼吸频率以及所述待检测目标的呼吸间隔；

10、对所述呼吸频率以及所述呼吸间隔进行特征提取，确定所述待检测目标的呼吸特征；

11、对所述心跳波形进行心跳间隔时域特征提取，确定所述待检测目标的心跳特征；

12、将所述呼吸特征以及所述心跳特征作为所述生理信号特征。

13、根据本发明提供的一种特征融合的情感识别方法，所述基于所述雷达原始数据，提取所述待检测目标的呼吸波形以及所述待检测目标的心跳波形，包括：

14、对所述雷达原始数据进行相位信号提取，提取所述待检测目标的呼吸相位信号以及所述待检测目标的心跳相位信号；

15、基于巴特沃斯低通滤波器以及预设幅度阈值，对所述呼吸相位信号进行过滤，得到所述待检测目标的呼吸波形；

16、对所述雷达原始数据进行二阶差分处理，获取所述待检测目标胸壁运动的加速度信号，并基于所述加速度信号，对所述心跳相位信号中的心跳差分信号进行增强；

17、基于心跳提取模板，对增强后的心跳相位信号进行分割，得到所述待检测目标的心跳波形。

18、根据本发明提供的一种特征融合的情感识别方法，所述对所述生理信号特征进行情绪识别，确定所述待检测目标的生理情绪特征，包括：

19、将所述生理信号特征输入第一特征映射层进行生理情绪识别，得到所述第一特征映射层输出的生理情绪特征，所述第一特征映射层是基于多层感知机构建的。

20、根据本发明提供的一种特征融合的情感识别方法，所述对所述面部表情图像进行情绪识别，确定所述待检测目标的面部情绪特征，包括：

21、将所述面部表情图像输入轻量化卷积神经网络模型，得到所述轻量化卷积神经网络模型输出的预训练特征，所述轻量化卷积神经网络模型是基于面部表情图像样本及其对应的情绪类别标签训练得到的；

22、将所述预训练特征输入第二特征映射层进行面部情绪识别，得到所述第二特征映射层输出的面部情绪特征，所述第二特征映射层是基于多层感知机构建的。

23、根据本发明提供的一种特征融合的情感识别方法，所述对所述拼接特征进行情感识别分类，确定所述待检测目标的情感类型，包括：

24、将所述拼接特征输入情感识别分类模型，得到所述情感识别分类模型输出的所述待检测目标的情感类型，所述情感识别分类模型是基于融合了面部情绪特征以及生理信号特征的样本及其对应的情感类型标签训练得到的。

25、根据本发明提供的一种特征融合的情感识别方法，所述对所述拼接特征进行情感识别分类之前，还包括：

26、将所述拼接特征输入权重自注意力通道，以对所述拼接特征分配不同特征维度的权重。

27、本发明还提供一种特征融合的情感识别装置，包括：

28、数据采集模块，用于基于图像采集设备，获取待检测目标的面部表情图像，并基于调频连续波雷达，获取所述待检测目标的雷达原始数据；

29、面部情绪特征确定模块，用于对所述面部表情图像进行情绪识别，确定所述待检测目标的面部情绪特征；

30、生理情绪特征确定模块，用于对雷达原始数据进行特征提取，提取所述待检测目标的生理信号特征，并对所述生理信号特征进行情绪识别，确定所述待检测目标的生理情绪特征，所述生理信号特征包括呼吸特征以及心跳特征；

31、情感类型确定模块，用于将所述生理情绪特征以及所述面部情绪特征进行拼接，得到拼接特征，并对所述拼接特征进行情感识别分类，确定所述待检测目标的情感类型。

32、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述特征融合的情感识别方法。

33、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述特征融合的情感识别方法。

34、本发明提供的特征融合的情感识别方法、装置、电子设备及存储介质，通过融合视觉信号和生理信号的多模态情绪识别，两种不同模态的信号融合感知来准确识别待检测目标的心理情绪。将视听多媒体与生理信号进行融合进行情感识别，有效提高了识别结果的可靠性，同时两种信号互为补充，拓展了识别的场景范围。此外，信号获取均为非接触式，无需人体接触的医学传感器，具有方便舒适的优点。

技术特征：

1.一种特征融合的情感识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的特征融合的情感识别方法，其特征在于，所述对雷达原始数据进行特征提取，提取所述待检测目标的生理信号特征，包括：

3.根据权利要求2所述的特征融合的情感识别方法，其特征在于，所述基于所述雷达原始数据，提取所述待检测目标的呼吸波形以及所述待检测目标的心跳波形，包括：

4.根据权利要求1所述的特征融合的情感识别方法，其特征在于，所述对所述生理信号特征进行情绪识别，确定所述待检测目标的生理情绪特征，包括：

5.根据权利要求1所述的特征融合的情感识别方法，其特征在于，所述对所述面部表情图像进行情绪识别，确定所述待检测目标的面部情绪特征，包括：

6.根据权利要求1所述的特征融合的情感识别方法，其特征在于，所述对所述拼接特征进行情感识别分类，确定所述待检测目标的情感类型，包括：

7.根据权利要求1所述的特征融合的情感识别方法，其特征在于，所述对所述拼接特征进行情感识别分类之前，还包括：

8.一种特征融合的情感识别装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述特征融合的情感识别方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述特征融合的情感识别方法。

技术总结本发明涉及情感类型诊断技术领域，提供一种特征融合的情感识别方法、装置、电子设备及存储介质，其中方法包括：获取待检测目标的面部表情图像以及雷达原始数据；对面部表情图像进行情绪识别，确定待检测目标的面部情绪特征；对雷达原始数据进行特征提取，确定待检测目标的生理情绪特征；将生理情绪特征以及所述面部情绪特征进行拼接，并对拼接特征进行情感识别分类，确定待检测目标的情感类型。本发明提供的特征融合的情感识别方法、装置、电子设备及存储介质，通过融合视觉信号和生理信号的多模态情绪识别，有效提高了识别结果的可靠性以及识别准确率，同时两种信号互为补充，拓展了识别的场景范围。技术研发人员：孙哲南,茹一伟,李沐霈受保护的技术使用者：中国科学院自动化研究所技术研发日：技术公布日：2024/7/29