基于生理信号及面部表情的多模态情感评价方法及装置与流程

本发明涉及数据处理，尤其涉及一种基于生理信号及面部表情的多模态情感评价方法及装置。

背景技术：

1、随着技术的发展，计算机已经成为生活中必不可少的一部分。人类随时随地都会有喜怒哀乐等情感的起伏变化。如何使计算机理解人类的情感成为了一个研究热点。科学家们通过赋予计算机系统类似于人类的观察、识别、理解、表达以及生成各类情感表现的能力，从而令计算机系统具备更高、更全面的智能，能使其如同人类般进行自然、生动且亲切地交流与互动。在很多场景中情感识别及情感评价是很有必要的，比如在人机交互的过程中，智能服务机器人如果可以准确的识别人们的情感的，那么会带来更好的服务，让人机交互更加自然，顺畅，有温度。

2、现有技术中对情绪香氛产品的情感评价方法要么具有较强的主观性，评价结果受个人经验和偏好影响，不易重复且难以量化，缺乏客观性；要么在评价过程中易受环境因素和生理因素影响，且评价成本较高；要么无法准确评估情绪香氛产品在市场上的情感表达效果，使得情感评价的准确度较低。

技术实现思路

1、本发明实施例提供了一种基于生理信号及面部表情的多模态情感评价方法及装置，旨在解决现有情绪香氛产品的情感评价准确度较低的问题。

2、第一方面，本发明实施例提供了一种基于生理信号及面部表情的多模态情感评价方法，其包括：

3、采集受试者在预设阶段的面部表情图像、脑电图信号以及皮肤电导信号，其中，所述预设阶段包括闻到情绪香氛产品所散发出来的香气之前的基线阶段、之时的刺激阶段以及之后的恢复阶段；

4、将预处理后的所述面部表情图像输入面部情绪识别模型进行情绪识别得到第一情绪类别；

5、对所述脑电图信号进行处理得到脑电图特征，并将所述脑电图特征输入脑电情绪识别模型进行情绪识别得到第二情绪类别；

6、对所述皮肤电导信号进行处理得到皮肤电导特征，并将所述皮肤电导特征输入皮肤电导情绪识别模型进行情绪识别得到第三情绪类别；

7、将所述第一情绪类别、所述第二情绪类别以及所述第三情绪类别进行融合得到多模态情绪类别；

8、根据所述多模态情绪类别通过情感评价模型确定情感评价得分。

9、第二方面，本发明实施例还提供了一种基于生理信号及面部表情的多模态情感评价装置，其包括：

10、采集单元，用于采集受试者在预设阶段的面部表情图像、脑电图信号以及皮肤电导信号，其中，所述预设阶段包括闻到情绪香氛产品所散发出来的香气之前的基线阶段、之时的刺激阶段以及之后的恢复阶段；

11、第一情绪识别单元，用于将预处理后的所述面部表情图像输入面部情绪识别模型进行情绪识别得到第一情绪类别；

12、第二情绪识别单元，用于对所述脑电图信号进行处理得到脑电图特征，并将所述脑电图特征输入脑电情绪识别模型进行情绪识别得到第二情绪类别；

13、第三情绪识别单元，用于对所述皮肤电导信号进行处理得到皮肤电导特征，并将所述皮肤电导特征输入皮肤电导情绪识别模型进行情绪识别得到第三情绪类别；

14、融合单元，用于将所述第一情绪类别、所述第二情绪类别以及所述第三情绪类别进行融合得到多模态情绪类别；

15、确定单元，用于根据所述多模态情绪类别通过情感评价模型确定情感评价得分。

16、本发明实施例提供了一种基于生理信号及面部表情的多模态情感评价方法及装置。其中，所述方法包括：采集受试者在预设阶段的面部表情图像、脑电图信号以及皮肤电导信号，其中，所述预设阶段包括闻到情绪香氛产品所散发出来的香气之前的基线阶段、之时的刺激阶段以及之后的恢复阶段；将预处理后的所述面部表情图像输入面部情绪识别模型进行情绪识别得到第一情绪类别；对所述脑电图信号进行处理得到脑电图特征，并将所述脑电图特征输入脑电情绪识别模型进行情绪识别得到第二情绪类别；对所述皮肤电导信号进行处理得到皮肤电导特征，并将所述皮肤电导特征输入皮肤电导情绪识别模型进行情绪识别得到第三情绪类别；将所述第一情绪类别、所述第二情绪类别以及所述第三情绪类别进行融合得到多模态情绪类别；根据所述多模态情绪类别通过情感评价模型确定情感评价得分。本发明实施例的技术方案，先采集受试者在基线阶段、刺激阶段以及恢复阶段的面部表情图像、脑电图信号以及皮肤电导信号；再分别对面部表情图像、脑电图信号以及皮肤电导信号进行处理后进行情绪识别，得到第一情绪类别、第二情绪类别以及第三情绪类别；最后对第一情绪类别、第二情绪类别以及第三情绪类别进行融合得到多模态情绪类别以确定情感评价得分，从而提高了情绪香氛产品的情感评价准确度。

技术特征：

1.一种基于生理信号及面部表情的多模态情感评价方法，其特征在于，包括：

2.根据权利要求1所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述面部情绪识别模型为采用样本面部表情图像集对卷积神经网络进行训练和验证得到的模型，其包括包卷积层、池化层以及全连接层；所述对所述面部表情图像进行处理得到目标面部表情图像，并将所述面部表情图像输入面部情绪识别模型进行情绪识别得到第一情绪类别，包括：

3.根据权利要求1所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述脑电图特征包括基线脑电图时频特征、刺激脑电图时频特征以及恢复脑电图时频特征；所述对所述脑电图信号进行处理得到脑电图特征，包括：

4.根据权利要求3所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述脑电情绪识别模型为采用样本脑电信号集对svm模型进行训练和验证得到的模型；所述将所述脑电图特征输入脑电情绪识别模型进行情绪识别得到第二情绪类别，包括：

5.根据权利要求4所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述皮肤电导特征包括基线皮肤电导时频特征、刺激皮肤电导时频特征以及恢复皮肤电导时频特征；所述对所述皮肤电导信号进行处理得到皮肤电导特征，包括：

6.根据权利要求5所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述皮肤电导情绪识别模型为采用样本皮肤电导信号集对循环神经网络进行训练和验证得到的模型；所述将所述皮肤电导特征输入皮肤电导情绪识别模型进行情绪识别得到第三情绪类别，包括：

7.根据权利要求6所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述第一情绪类别包括第一基线情绪类别、第一刺激情绪类别以及第一恢复情绪类别；所述多模态情绪类别包括基线多模态情绪类别、刺激多模态情绪类别以及恢复多模态情绪类别；所述将所述第一情绪类别、所述第二情绪类别以及所述第三情绪类别进行融合得到多模态情绪类别，包括：

8.根据权利要求7所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述情感评价模型为多元线性回归模型，所述根据所述多模态情绪类别通过情感评价模型确定情感评价得分，包括：

9.根据权利要求1所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述方法还包括：

10.一种基于生理信号及面部表情的多模态情感评价装置，其特征在于，包括：

技术总结本发明实施例公开了一种基于生理信号及面部表情的多模态情感评价方法及装置，其中，方法包括：采集受试者在预设阶段的面部表情图像、脑电图信号以及皮肤电导信号；将预处理后的面部表情图像输入面部情绪识别模型进行情绪识别得到第一情绪类别；对脑电图信号进行处理得到脑电图特征，将脑电图特征输入脑电情绪识别模型进行情绪识别得到第二情绪类别；对皮肤电导信号进行处理得到皮肤电导特征，将皮肤电导特征输入皮肤电导情绪识别模型进行情绪识别得到第三情绪类别；将第一情绪类别、第二情绪类别以及第三情绪类别进行融合得到多模态情绪类别；根据多模态情绪类别确定情感评价得分。本申请实施例提高了情绪香氛产品的情感评价准确度。技术研发人员：高海燕,洪杏枝,王静受保护的技术使用者：威莱（广州）日用品有限公司技术研发日：技术公布日：2024/11/18