基于负面情绪的设备功能检测方法、装置、设备及存储介质与流程

本发明涉及计算机，具体地涉及一种基于负面情绪的设备功能检测方法、装置、设备及存储介质。

背景技术：

1、目前市面上关于监测负面舆论信息的应用基本用于电商或者社交的评论平台，平台通过关键词来监测负面舆论信息，但是针对于像冰箱语音实时交互的平台还未出现实时监测用户负面情绪的工具方法，而且对于冰箱某项功能的用户体验，还停留在使用问卷调查、抽样访谈等方法，这些方法一般会存在样本量少或者样本量不均衡等问题，无法实时监测到用户的真实或者当下所需。

技术实现思路

1、本发明的目的在于提供一种基于负面情绪的设备功能检测方法、装置、设备及存储介质。

2、本发明提供种基于负面情绪的设备功能检测方法，包括：

3、获取第一时间段内用户的视频数据和语音数据，将所述语音数据识别为语音文本数据，

4、获取所述视频数据中的用户表情帧；

5、在所述语音文本数据中识别文本特征，在所述用户表情帧中识别表情特征，结合所述文本特征和所述表情特征判断用户是否产生负面情绪；

6、当判断用户产生负面情绪时，对所述第一时间段时长进行补偿得到第二时间段，在所述第二时间段内检测设备功能的使用情况。

7、作为本发明的进一步改进，所述获取所述视频数据中的用户表情帧，具体包括：

8、检测所述语音数据中反应用户情绪变化的特征项的变化波动情况；

9、根据所述特征项的变化波动情况使用热图对所述视频数据进行渲染；

10、在所述视频数据中，选择渲染强度最高的前n帧图像帧过滤识别后获得用户表情帧。

11、作为本发明的进一步改进，所述检测所述语音数据中反应用户情绪变化的特征项的变化波动情况，具体包括：

12、检测所述语音数据中音调和/或语速和/或音量的变化波动情况。

13、作为本发明的进一步改进，所述选择渲染强度最高的前n帧图像帧过滤识别后获得用户表情帧，具体包括：

14、在获得n帧渲染强度最高的图像后，对n帧图像通过图像识别模型进行过滤，识别出图像中用户表情属于负面情绪的用户表情帧。

15、作为本发明的进一步改进，所述在所述语音文本数据中识别文本特征，在所述用户表情帧中识别表情特征，结合所述文本特征和所述表情特征判断用户是否产生负面情绪，具体包括：

16、将所述语音文本数据进行编码后输入文本模型，提取文本特征向量；

17、将所述用户表情帧进行编码后输入图像模型，提取表情特征向量；

18、将所述文本特征向量和所述表情特征向量进行矩阵相乘运算后，进行归一化处理得到计算结果，将计算结果与判断阈值进行比较判断用户是否产生负面情绪。

19、作为本发明的进一步改进，所述对所述第一时间段时长进行补偿得到第二时间段，具体包括：

20、获取所述第一时间段的起始时间点和持续时长，在所述第一时间段之前增加一补偿时长得到所述第二时间段。

21、作为本发明的进一步改进，所述获取所述第一时间段的起始时间点和持续时长，在所述第一时间段之前增加一补偿时间段得到所述第二时间段，具体包括：

22、分别检测所述视频和所述语音的开始时间点，将两者的开始时间点进行比较，选择较早的开始时间点作为第一时间段起始时间点；

23、分别计算所述视频和所述语音的时长，将两者的时长进行比较，选择较长的时长作为第一时间段持续时长；

24、将所述第一时间段起始时间点向前推所述补偿时长得到第二时间段起始时间点，将所述第一时间段持续时长增加所述补偿时长得到第二时间段持续时长。

25、作为本发明的进一步改进，所述在所述第二时间段内检测设备功能的使用情况，具体包括：

26、自所述第二时间段起始时间点开始，在所述第二时间段持续时长范围内，检测设备各功能的使用频率；

27、记录使用频率超过预设的频率阈值的功能。

28、作为本发明的进一步改进，在所述第二时间段内检测设备功能的使用情况，还包括：

29、在所述第二时间段内，获取用户的心率，当所述心率超过频率阈值时，在所述第二时间段内检测设备各功能的使用情况。

30、作为本发明的进一步改进，所述获取第一时间段内用户的视频数据和语音数据，将所述语音数据识别为语音文本数据，还包括：

31、对所述视频数据和所述语音数据进行去噪处理。

32、作为本发明的进一步改进，还包括：

33、当判断用户产生负面情绪时，记录所述视频数据和所述语音数据的序列号。

34、基于同一发明思路，本发明还提供一种基于负面情绪的设备功能检测装置，包括：

35、语音获取模块，其被配置用于获取第一时间段内的用户语音；

36、视频拍摄模块，其被配置用于拍摄第一时间段内的用户视频；

37、语音转译文本模块，其被配置用于将所述语音数据识别为语音文本数据；

38、表情帧获取模块，其被配置用于获取所述视频数据中的用户表情帧；

39、负面情绪判断模块，其被配置用于在所述语音文本数据中识别文本特征，在所述用户表情帧中识别表情特征，结合所述文本特征和所述表情特征判断用户是否产生负面情绪；

40、设备功能检测模块，其被配置用于当判断用户产生负面情绪时，对所述第一时间段时长进行补偿得到第二时间段，在所述第二时间段内检测设备功能的使用情况。

41、基于同一发明思路，本发明还提供一种电器设备，包括：

42、存储器，用于存储可执行指令；

43、处理器，用于运行所述存储器存储的可执行指令时，实现上述的基于负面情绪的设备功能检测方法。

44、基于同一发明思路，本发明还提供一种冰箱，包括：

45、存储器，用于存储可执行指令；

46、处理器，用于运行所述存储器存储的可执行指令时，实现上述的基于负面情绪的设备功能检测方法。

47、基于同一发明思路，本发明还提供一种计算机可读存储介质，其存储有可执行指令，所述可执行指令被处理器执行时实现上述的基于负面情绪的设备功能检测方法。

48、本发明的有益效果是：本发明所提供的一种基于负面情绪的设备功能检测方法，通过使用视觉-语音(vl，vision-language)智能模型，将视频数据和语音数据的特点相结合，利用面部表情特征与文本特征协同识别用户负面情绪，提高了识别用户负面情绪微表情的准确率。并且，通过使用语音数据中特征项的变化来对视频进行热图渲染从而来获取用户微表情图像，判别方法简单，获取准确率高。收集引起用户负面情绪的设备功能信息，能够有效为后续设备功能的迭代改进提供第一手资料。

技术特征：

1.一种基于负面情绪的设备功能检测方法，其特征在于，包括：

2.根据权利要求1所述的基于负面情绪的设备功能检测方法，其特征在于，所述获取所述视频数据中的用户表情帧，具体包括：

3.根据权利要求2所述的基于负面情绪的设备功能检测方法，其特征在于，所述检测所述语音数据中反应用户情绪变化的特征项的变化波动情况，具体包括：

4.根据权利要求2所述的基于负面情绪的设备功能检测方法，其特征在于，所述选择渲染强度最高的前n帧图像帧过滤识别后获得用户表情帧，具体包括：

5.根据权利要求1所述的基于负面情绪的设备功能检测方法，其特征在于，所述在所述语音文本数据中识别文本特征，在所述用户表情帧中识别表情特征，结合所述文本特征和所述表情特征判断用户是否产生负面情绪，具体包括：

6.根据权利要求1所述的基于负面情绪的设备功能检测方法，其特征在于，所述对所述第一时间段时长进行补偿得到第二时间段，具体包括：

7.根据权利要求6所述的基于负面情绪的设备功能检测方法，其特征在于，所述获取所述第一时间段的起始时间点和持续时长，在所述第一时间段之前增加一补偿时间段得到所述第二时间段，具体包括：

8.根据权利要求7所述的基于负面情绪的设备功能检测方法，其特征在于，所述在所述第二时间段内检测设备功能的使用情况，具体包括：

9.根据权利要求1所述的基于负面情绪的设备功能检测方法，其特征在于，在所述第二时间段内检测设备功能的使用情况，还包括：

10.根据权利要求1所述的基于负面情绪的设备功能检测方法，其特征在于，所述获取第一时间段内用户的视频数据和语音数据，将所述语音数据识别为语音文本数据，还包括：

11.根据权利要求1所述的基于负面情绪的设备功能检测方法，其特征在于，还包括：

12.一种基于负面情绪的设备功能检测装置，其特征在于，包括：

13.一种电器设备，其特征在于，包括：

14.一种冰箱，其特征在于，包括：

15.一种计算机可读存储介质，其存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至11任一项所述的基于负面情绪的设备功能检测方法。

技术总结本发明提供一种基于负面情绪的设备功能检测方法、装置、设备及存储介质。检测方法通过使用视觉‑语音智能模型，将视频数据和语音数据的特征相结合，利用面部表情特征与文本特征协同识别用户负面情绪，提高了识别用户负面情绪微表情的准确率。并且，通过使用语音数据中特征项的变化来对视频进行热图渲染从而来获取用户微表情图像，判别方法简单，获取准确率高。收集引起用户负面情绪的设备功能信息，能够有效为后续设备功能的迭代改进提供第一手资料。技术研发人员：李敏,孔令磊,曾谁飞,张景瑞,刘卫强受保护的技术使用者：青岛海尔特种制冷电器有限公司技术研发日：技术公布日：2024/2/19