一种基于语音和声纹识别的情绪感知监测方法及系统与流程

本申请涉及人机情感交互，特别涉及一种基于语音和声纹识别的情绪感知监测方法及系统。

背景技术：

1、在当今充满压力的社会环境中，情感咨询变得至关重要。情感咨询可以给客户提供一种情感支持和指导，理解用户的情绪对于心理咨询是至关重要的，有时由于一些客观因素导致心理咨询师不能够很好的理解用户的情绪而影响到咨询的准确性和有效性。因此，有必要提供一种辅助咨询师确定用户情绪的技术方案。

技术实现思路

1、本申请的主要目的为提供一种基于语音和声纹识别的情绪感知监测方法及系统，旨在解决心理咨询师由于一些客观因素不能够很好的理解用户的情绪而影响到咨询的准确性和有效性问题。

2、基于语音和声纹识别的情绪感知监测系统，包括：语音和声纹采集模块、数据预处理模块、情绪特征提取模块、情绪识别与分类模块、情感训练模块及情感监测模块；

3、其中，所述语音和声纹采集模块用于捕获和分析用户的语音和声纹样本，并将所述捕获和分析用户的语音和声纹样本发送至数据预处理模块；

4、所述数据预处理模块包括语音处理模块和声纹处理模块；

5、所述语音处理模块用于获取语音特征，得到语音特征数据；

6、所述声纹处理模块用于获取声纹特征，得到声纹特征数据，并将所述语音特征数据和声纹特征数据发送至情绪特征提取模块；

7、所述情绪特征提取模块包括语音特征提取单元和声纹特征提取单元；

8、所述语音特征提取单元用于提取语音样本特征，得到语音特征向量值；

9、所述声纹特征提取单元用于提取声纹样本特征，得到声纹特征向量值，并将所述语音特征向量值和声纹特征向量值发送至情绪识别与分类模块；

10、所述情绪识别与分类模块用于识别语音特征向量值和声纹特征向量值及情感分析，得到情感信号，并将所述情感信号发送至情感训练模块；

11、所述情感训练模块用于训练情感信号模型，得到情感识别结果，并将所述情感识别结果发送至情感监测模块；

12、所述情感监测模块包括实时监测模块和反馈模块；

13、所述实时监测模块用于实时监测情感识别结果，得到情感识别结果，并将情感识别结果发送至反馈模块；

14、所述反馈模块用于反馈情感识别结果，得到用户当前情感状态。

15、作为优选，所述数据预处理模块还用于对语音和声纹样本进行降噪，得到降噪后的语音和声纹样本数据。

16、作为优选，所述语音特征提取单元用于获取每个时间窗口的语音频谱，从每个时间窗口的语音频谱中提取特征，并将每个时间窗口提取的特征组合成一个特征向量，并对所述特征向量进行数值提取，得到语音特征向量值。

17、作为优选，所述声纹特征提取单元用于获取声纹信号，并将所述声纹信号组合成声纹特征向量，并对所述声纹特征向量进行数值提取，得到声纹特征向量值。

18、作为优选，所述情感训练模块用于将多个所述语音特征向量值和多个所述声纹特征向量值输入到情感训练模型中进行训练，得到情感特征值，其中，情感训练模型的函数为：

19、

20、f表示为情感特征值，y表示为语音特征向量值，s表示为声纹特征向量值；

21、将所述情感特征值与预设的情绪特征进行比对，得到情感识别结果，并将所述情感识别结果发送至情感监测模块。

22、本申请还提供一种基于语音和声纹识别的情绪感知监测方法，包括：

23、捕获和分析用户的语音和声纹样本发送至数据预处理模块；

24、获取语音特征，得到计算机可识别的语音特征数据，

25、获取声纹特征，得到计算机可识别的声纹特征数据；

26、提取语音样本特征，得到语音特征向量，

27、提取声纹样本特征，得到声纹特征向量；

28、识别语音特征向量和声纹特征向量及情感分析，得到情感信号；

29、训练情感信号模型，得到情感识别结果；

30、实时监测情感识别结果，得到情感识别结果；

31、反馈情感识别结果，得到用户当前情感状态。

32、作为优选，获取每个时间窗口的语音频谱，得到语音特征向量值。

33、本申请还提供一种基于语音和声纹识别的情绪感知监测系统，包括：

34、捕获模块，用于捕获和分析用户的语音和声纹样本；

35、第一获取模块，用于获取语音特征，得到计算机可识别的语音特征数据，

36、第二获取模块，用于获取声纹特征，得到计算机可识别的声纹特征数据；

37、第一提取模块，用于提取语音样本特征，得到语音特征向量，

38、第二提取模块，用于提取声纹样本特征，得到声纹特征向量；

39、识别模块，用于识别语音特征向量和声纹特征向量及情感分析，得到情感信号；

40、训练模块，用于训练情感信号模型，得到情感识别结果；

41、监测模块，用于实时监测情感识别结果，得到情感识别结果；

42、反馈模块，用于反馈情感识别结果，得到用户当前情感状态。

43、本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述字库升级方法的步骤。

44、本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述字库升级方法的步骤。

45、本申请的有益效果为：通过捕获和分析用户声音中的音频信号，从而得到语音和声纹样本，例如“喜悦”“悲伤”“愤怒”等，再经过处理得到语音声纹特征向量，将其输入到情感训练模型中进行训练，训练完成后，情感训练模型生成情感特征值，并将生成的情感特征值与预设的情绪特征进行比对识别，情感识别结果被发送至情感监测模块，从而用于情感咨询工作者监测用户的当前情感状态，从而辅助情感咨询工作者对客户作出相对准确的情感分析。

技术特征：

1.一种基于语音和声纹识别的情绪感知监测系统，其特征在于，包括：语音和声纹采集模块、数据预处理模块、情绪特征提取模块、情绪识别与分类模块、情感训练模块及情感监测模块；

2.根据权利要求1所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，所述数据预处理模块还用于对语音和声纹样本进行降噪，得到降噪后的语音和声纹样本数据。

3.根据权利要求1所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，所述语音特征提取单元用于获取每个时间窗口的语音频谱，从每个时间窗口的语音频谱中提取特征，并将每个时间窗口提取的特征组合成一个特征向量，并对所述特征向量进行数值提取，得到语音特征向量值。

4.根据权利要求1所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，所述声纹特征提取单元用于获取声纹信号，并将所述声纹信号组合成声纹特征向量，并对所述声纹特征向量进行数值提取，得到声纹特征向量值。

5.根据权利要求1所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，所述情感训练模块用于将多个所述语音特征向量值和多个所述声纹特征向量值输入到情感训练模型中进行训练，得到情感特征值，其中，情感训练模型的函数为：

6.一种基于语音和声纹识别的情绪感知监测方法，其特征在于，包括：

7.根据权利要求6所述的一种基于语音和声纹识别的情绪感知监测系统，其特征在于，获取每个时间窗口的语音频谱，得到语音特征向量值。

8.一种基于语音和声纹识别的情绪感知监测装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6-7任一项所述基于语音和声纹识别的情绪感知监测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6-7任一项所述基于语音和声纹识别的情绪感知监测方法的步骤。

技术总结本申请公开了一种基于语音和声纹识别的情绪感知监测系统，包括：语音和声纹采集模块、数据预处理模块、情绪特征提取模块、情绪识别与分类模块、情感训练模块及情感监测模块；其中，所述语音和声纹采集模块用于捕获和分析用户的语音和声纹样本，并将所述捕获和分析用户的语音和声纹样本发送至数据预处理模块；通过捕获和分析用户声音中的音频信号，再经过处理得到语音声纹特征向量，将其输入到情感训练模型中进行训练，生成情感特征值，情将生成的情感特征值与预设的情绪特征进行比对识别，情感识别结果被发送至情感监测模块，从而用于情感咨询工作者监测用户的当前情感状态，从而辅助情感咨询工作者对客户作出相对准确的情感分析。技术研发人员：符健春,黄晓笑受保护的技术使用者：杭州艺兴科技有限公司技术研发日：技术公布日：2024/5/6