车辆用户的情绪识别方法、装置、系统、车辆与介质与流程

本公开涉及车辆，具体地，涉及一种车辆用户的情绪识别方法、装置、系统、车辆与介质。

背景技术：

1、在驾驶过程中，驾驶员与乘客的极端情绪都会影响到驾驶员的正常操作和判断，如果遇到突发情况，可能导致驾驶员无法及时地作出判断，无法及时地采取措施，从而增加交通事故发生的风险。

2、相关技术中，存在驾驶员情绪检测功能（drivers emotion detection），用于对驾驶员的情绪状态进行检测识别，并判断该情绪状态是否会影响到车辆的正常驾驶，但是该驾驶员情绪检测功能通常是根据驾驶员图像进行单一维度的检测，导致检测出的驾驶员的用户情绪的准确性和可靠性较低。此外，相关技术中对车内用户情绪识别的全面性较低。

技术实现思路

1、本公开的目的是提供一种车辆用户的情绪识别方法、装置、系统、车辆与介质置，以更加准确地计算出用户情绪，并为用户提供有效的情绪安抚策略。

2、为了实现上述目的，本公开提供一种车辆用户的情绪识别方法，包括：

3、根据车辆对应的多模态情绪相关信息，确定所述车辆内的用户的用户情绪，所述多模态情绪相关信息包括与所述用户情绪相关联的至少两种情绪相关信息，其中，至少一种所述情绪相关信息为所述用户所在区域对应的情绪相关信息。

4、可选地，所述多模态情绪相关信息包括所述用户的语音信息、所述用户的人脸图像信息、所述车辆的行车信息中的至少两种。

5、可选地，所述语音信息是所述用户所在区域对应的情绪相关信息，和/或，所述人脸图像信息是所述用户所在区域对应的情绪相关信息。

6、可选地，所述用户情绪是基于根据所述多模态情绪相关信息得到的多种情绪特征确定的，所述多种情绪特征包括语言情绪特征、疲劳检测特征、面部情绪特征以及行车情绪特征中的至少两种；

7、所述语言情绪特征是根据所述语音信息确定的；所述疲劳检测特征和/或所述面部情绪特征是根据所述人脸图像信息确定的；所述行车情绪特征是根据所述行车信息确定的。

8、可选地，所述疲劳检测特征包括用于表征所述用户的眼睛开合程度的特征。

9、可选地，所述用户情绪基于多个融合特征确定，所述多个融合特征是将所述多种情绪特征分别与隐特征基于交叉注意力机制融合后得到的，所述隐特征是将所述多种情绪特征通过低轶融合后得到的。

10、可选地，所述用户情绪是基于由所述多个融合特征拼接得到的多模态特征确定的。

11、可选地，所述用户情绪是由第一卷积层对所述多模态特征进行处理后得到的；其中，所述第一卷积层通过相关联的多模态特征样本和用户情绪样本训练得到。

12、可选地，所述语音信息是从所述用户所在区域采集的第一语音信息中确定出的，所述用户所在区域是基于所述人脸图像信息确定的。

13、可选地，所述方法还包括：

14、以所述用户情绪对应的情绪安抚策略，控制所述车辆上的车载设备对所述用户进行安抚。

15、可选地，所述车载设备包括所述用户所在区域对应的车载设备。

16、可选地，所述情绪安抚策略是基于所述用户情绪、所述用户的用户身份信息以及所述用户所在区域中的一种或多种确定的，所述用户身份信息是基于语音信息中的第一声纹信息和/或人脸图像信息的第一人脸信息确定的。

17、可选地，所述用户身份信息为预先存储的多个第二声纹信息中与所述第一声纹信息相匹配的目标声纹信息所对应的身份信息；和/或，所述用户身份信息为预先存储的多个第二人脸信息中与所述第一人脸信息相匹配的目标人脸信息所对应的身份信息。

18、可选地，所述情绪安抚策略包括所述用户情绪对应的情绪安抚方式，所述情绪安抚方式基于所述用户情绪、所述用户身份信息、所述用户所在区域中的一种或多种确定，所述情绪安抚方式包括音乐安抚方式、视频安抚方式、气味安抚方式、对话安抚方式、灯光安抚方式中的至少一种。

19、可选地，所述用户所在区域为驾驶区域或非驾驶区域；

20、所述驾驶区域匹配的情绪安抚方式包括音乐安抚方式与气味安抚方式的至少一种；

21、所述非驾驶区域匹配的情绪安抚方式包括音乐安抚方式、视频安抚方式、气味安抚方式、灯光安抚方式以及对话安抚方式中的至少一种。

22、可选地，所述情绪安抚策略还包括采用相应的情绪安抚方式时所述车载设备需输出的情绪调节内容。

23、可选地，所述情绪调节内容包括所述用户在历史时间内处于所述用户情绪且采用相应的情绪安抚方式时，触发所述车辆上的车载设备输出的第一情绪调节内容。

24、可选地，所述情绪调节内容包括从第二情绪调节内容中筛选出的可安抚所述用户情绪的第三情绪调节内容，所述第二情绪调节内容包括所述用户在历史时间内触发所述车辆上的车载设备输出的情绪调节内容。

25、可选地，所述人脸图像信息是通过识别所述车辆的第二乘客图像得到的，所述第二乘客图像是通过对第一乘客图像进行明暗调节后得到的；所述第二乘客图像的明暗均匀度高于所述第一乘客图像的明暗均匀度。

26、可选地，所述第二乘客图像是由图像明暗处理模型对所述第一乘客图像进行明暗调节后得到的。

27、为了实现上述目的，本公开提供一种电子装置，包括处理器，所述处理器与存储器连接，所述处理器用于执行所述存储器中的所述计算机程序，以实现本公开提出的车辆用户的情绪识别方法的步骤。

28、为了实现上述目的，本公开提供一种车辆用户的情绪识别系统，包括本公开提出的电子装置。

29、为了实现上述目的，本公开提供一种车辆，包括本公开提出的一种电子装置或包括本公开提出的一种车辆用户的情绪识别系统。

30、为实现上述目的，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本公开提出的一种车辆用户的情绪识别方法的步骤。

31、通过上述技术方案，从多模态情绪相关信息实现多个维度来确定用户情绪，在任何一个情绪相关信息缺失或可信度较低的情况下，都可以通过其他情绪相关信息来确定用户情绪，从而能够分析出用户情绪，提高了用户情绪分析的准确性，而在多个情绪相关信息都不缺失的情况下，结合多个维度的情绪相关信息来使得得到的用户情绪更加准确。此外，由于至少一种情绪相关信息与用户所在区域对应，因此通过上述技术方案不仅可识别出驾驶员的情绪，还可以识别出其他区域的乘客的情绪，提高了车内用户情绪识别的全面性，有助于考虑乘客情绪对驾驶员的操作和判断的影响。

32、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种车辆用户的情绪识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述多模态情绪相关信息包括所述用户的语音信息、所述用户的人脸图像信息、所述车辆的行车信息中的至少两种。

3.根据权利要求2所述的方法，其特征在于，所述语音信息是所述用户所在区域对应的情绪相关信息，和/或，所述人脸图像信息是所述用户所在区域对应的情绪相关信息。

4.根据权利要求2所述的方法，其特征在于，所述用户情绪是基于根据所述多模态情绪相关信息得到的多种情绪特征确定的，所述多种情绪特征包括语言情绪特征、疲劳检测特征、面部情绪特征以及行车情绪特征中的至少两种；

5.根据权利要求4所述的方法，其特征在于，所述疲劳检测特征包括用于表征所述用户的眼睛开合程度的特征。

6.根据权利要求4所述的方法，其特征在于，所述用户情绪基于多个融合特征确定，所述多个融合特征是将所述多种情绪特征分别与隐特征基于交叉注意力机制融合后得到的，所述隐特征是将所述多种情绪特征通过低轶融合后得到的。

7.根据权利要求6所述的方法，其特征在于，所述用户情绪是基于由所述多个融合特征拼接得到的多模态特征确定的。

8.根据权利要求7所述的方法，其特征在于，所述用户情绪是由第一卷积层对所述多模态特征进行处理后得到的；其中，所述第一卷积层通过相关联的多模态特征样本和用户情绪样本训练得到。

9.根据权利要求2所述的方法，其特征在于，所述语音信息是从所述用户所在区域采集的第一语音信息中确定出的，所述用户所在区域是基于所述人脸图像信息确定的。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

11.根据权利要求10所述的方法，其特征在于，所述车载设备包括所述用户所在区域对应的车载设备。

12.根据权利要求10所述的方法，其特征在于，所述情绪安抚策略是基于所述用户情绪、所述用户的用户身份信息以及所述用户所在区域中的一种或多种确定的，所述用户身份信息是基于语音信息中的第一声纹信息和/或人脸图像信息的第一人脸信息确定的。

13.根据权利要求12所述的方法，其特征在于，所述用户身份信息为预先存储的多个第二声纹信息中与所述第一声纹信息相匹配的目标声纹信息所对应的身份信息；和/或，所述用户身份信息为预先存储的多个第二人脸信息中与所述第一人脸信息相匹配的目标人脸信息所对应的身份信息。

14.根据权利要求10所述的方法，其特征在于，所述情绪安抚策略包括所述用户情绪对应的情绪安抚方式，所述情绪安抚方式基于所述用户情绪、用户身份信息、所述用户所在区域中的一种或多种确定，所述情绪安抚方式包括音乐安抚方式、视频安抚方式、气味安抚方式、对话安抚方式、灯光安抚方式中的至少一种。

15.根据权利要求14所述的方法，其特征在于，所述用户所在区域为驾驶区域或非驾驶区域；

16.根据权利要求14所述的方法，其特征在于，所述情绪安抚策略还包括采用相应的情绪安抚方式时所述车载设备需输出的情绪调节内容。

17.根据权利要求16所述的方法，其特征在于，所述情绪调节内容包括所述用户在历史时间内处于所述用户情绪且采用相应的情绪安抚方式时，触发所述车辆上的车载设备输出的第一情绪调节内容。

18.根据权利要求16所述的方法，其特征在于，所述情绪调节内容包括从第二情绪调节内容中筛选出的可安抚所述用户情绪的第三情绪调节内容，所述第二情绪调节内容包括所述用户在历史时间内触发所述车辆上的车载设备输出的情绪调节内容。

19.根据权利要求2所述的方法，其特征在于，所述人脸图像信息是通过识别所述车辆的第二乘客图像得到的，所述第二乘客图像是通过对第一乘客图像进行明暗调节后得到的；所述第二乘客图像的明暗均匀度高于所述第一乘客图像的明暗均匀度。

20.根据权利要求19所述的方法，其特征在于，所述第二乘客图像是由图像明暗处理模型对所述第一乘客图像进行明暗调节后得到的。

21.一种电子装置，其特征在于，包括处理器，所述处理器与存储器连接，所述处理器用于执行所述存储器中的计算机程序，以实现权利要求1~20中任一项所述方法的步骤。

22.一种车辆用户的情绪识别系统，其特征在于，包括权利要求21所述的电子装置。

23.一种车辆，其特征在于，包括权利要求21所述的电子装置或权利要求22所述的车辆用户的情绪识别系统。

24.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1~20中任一项所述方法的步骤。

技术总结本公开涉及一种车辆用户的情绪识别方法、装置、系统、车辆与介质，涉及车辆技术领域。包括：根据车辆对应的多模态情绪相关信息，确定该车辆内的用户的用户情绪，该多模态情绪相关信息包括与该用户情绪相关联的至少两种情绪相关信息，其中，至少一种该情绪相关信息为该用户所在区域对应的情绪相关信息。使用本公开提出的车辆用户的情绪识别方法、装置、系统、车辆与介质，可以从至少两个维度出发得到用户情绪，使得确定的用户情绪更加准确。技术研发人员：许晓冬,王毅飞,李兵,徐鹏飞,欧海英受保护的技术使用者：比亚迪股份有限公司技术研发日：技术公布日：2024/8/16