一种异常情绪监测方法及装置与流程

本申请涉及人工智能，尤其涉及一种异常情绪监测方法及装置。

背景技术：

1、在银行等公共服务业，客户情绪监测和管理是提高服务安全性和质量的关键，客户的情绪波动直接影响到服务质量。在极端情况下，可能引发安全事件。因此，分析客户情绪以及时采取预警和安抚措施至关重要。

2、现有技术中，通过分析视觉或听觉信息来识别人类的情绪状态，但在复杂的实际应用环境中，如银行大堂，该方法往往会因为依赖单一数据源而导致分析结果准确率不高。此外，现有系统在数据处理速度和实时响应方面存在限制，无法满足紧急情况下对即时预警的需求。

技术实现思路

1、针对现有技术中的问题，本申请实施例提供一种异常情绪监测方法及装置，能够至少部分地解决现有技术中存在的问题。

2、第一方面，本申请提供一种异常情绪监测方法，包括：

3、获取视觉信号、声音信号及环境参数；

4、根据所述视觉信号及预先训练的视觉情绪识别模型生成视觉情绪值；

5、根据所述声音信号及预先训练的声音情绪识别模型生成声音情绪值；

6、根据所述视觉情绪值、所述声音情绪值及所述环境参数生成综合情绪值；

7、根据所述综合情绪值及预设阈值确定情绪状态。

8、进一步地，所述根据所述视觉信号及预先训练的视觉情绪识别模型生成视觉情绪值，包括：

9、从所述视觉信号中识别人脸信息；

10、根据所述人脸信息提取人脸特征；

11、根据所述人脸特征及所述视觉情绪识别模型生成视觉情绪值。

12、进一步地，所述根据所述声音信号及预先训练的声音情绪识别模型生成声音情绪值，包括：

13、将所述声音信号分割成声音片段；

14、根据所述声音片段提取声音特征；

15、根据所述声音特征及所述声音情绪识别模型生成声音情绪值。

16、进一步地，所述根据所述视觉情绪值、所述声音情绪值及所述环境参数生成综合情绪值，包括：

17、根据所述环境参数计算视觉动态权重及声音动态权重；

18、根据所述视觉情绪值、所述声音情绪值、所述视觉动态权重及所述声音动态权重生成综合情绪值。

19、进一步地，所述环境参数包括光照强度、噪声强度及场景复杂度；

20、所述根据所述环境参数计算视觉动态权重及声音动态权重，包括：

21、根据所述光照强度及所述场景复杂度创建视觉影响模型；

22、根据所述噪声强度及所述场景复杂度创建声音影响模型；

23、利用所述视觉影响模型及所述声音影响模型计算视觉动态权重及声音动态权重。

24、进一步地，还包括：

25、若所述情绪状态为异常状态，发出预警信号并根据所述情绪状态生成情绪调节策略。

26、第二方面，本申请提供一种异常情绪监测装置，包括：

27、数据获取单元，用于获取视觉信号、声音信号及环境参数；

28、视觉情绪值生成单元，用于根据所述视觉信号及预先训练的视觉情绪识别模型生成视觉情绪值；

29、声音情绪值生成单元，用于根据所述声音信号及预先训练的声音情绪识别模型生成声音情绪值；

30、综合情绪值生成单元，用于根据所述视觉情绪值、所述声音情绪值及所述环境参数生成综合情绪值；

31、情绪状态确定单元，用于根据所述综合情绪值及预设阈值确定情绪状态。

32、第三方面，本申请提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述的方法。

33、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。

34、第五方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。

35、本申请提供的异常情绪监测方法及装置，通过获取视觉信号、声音信号及环境参数；根据所述视觉信号及预先训练的视觉情绪识别模型生成视觉情绪值；根据所述声音信号及预先训练的声音情绪识别模型生成声音情绪值；根据所述视觉情绪值、所述声音情绪值及所述环境参数生成综合情绪值；根据所述综合情绪值及预设阈值确定情绪状态，实现了在保护数据隐私的同时提高情绪监测的准确性和响应速度，有效缓解紧张情绪，提升公共场所的管理效率。其中，通过根据所述视觉情绪值、所述声音情绪值及所述环境参数生成综合情绪值，实现了根据实时环境条件动态调整视觉信号和音频信号在情绪识别中的相对重要性，以保证在不同场景下都能实现高准确率的情绪识别。此外，通过在本地进行情绪状态的确定，实现了减少数据传输时间，加快响应速度，并减少了敏感信息传输到中央处理的需要，增强了数据隐私保护；通过发出预警信号并根据所述情绪状态生成情绪调节策略，实现了提高银行应对突发事件的能力；通过执行情绪调节策略以缓解客户情绪，能够维护银行秩序，优化客户体验。

技术特征：

1.一种异常情绪监测方法，其特征在于，包括：

2.根据权利要求1所述的异常情绪监测方法，其特征在于，所述根据所述视觉信号及预先训练的视觉情绪识别模型生成视觉情绪值，包括：

3.根据权利要求1所述的异常情绪监测方法，其特征在于，所述根据所述声音信号及预先训练的声音情绪识别模型生成声音情绪值，包括：

4.根据权利要求1所述的异常情绪监测方法，其特征在于，所述根据所述视觉情绪值、所述声音情绪值及所述环境参数生成综合情绪值，包括：

5.根据权利要求4所述的异常情绪监测方法，其特征在于，所述环境参数包括光照强度、噪声强度及场景复杂度；

6.根据权利要求1所述的异常情绪监测方法，其特征在于，还包括：

7.一种异常情绪监测装置，其特征在于，包括：

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。

技术总结本申请提供了一种异常情绪监测方法及装置，可用于人工智能领域或其他领域，该方法包括：获取视觉信号、声音信号及环境参数；根据所述视觉信号及预先训练的视觉情绪识别模型生成视觉情绪值；根据所述声音信号及预先训练的声音情绪识别模型生成声音情绪值；根据所述视觉情绪值、所述声音情绪值及所述环境参数生成综合情绪值；根据所述综合情绪值及预设阈值确定情绪状态。本申请提供的异常情绪监测方法及装置实现了在保护数据隐私的同时提高情绪监测的准确性和响应速度，有效缓解紧张情绪，提升公共场所的管理效率。技术研发人员：孙家莹受保护的技术使用者：中国工商银行股份有限公司技术研发日：技术公布日：2024/7/29