基于情绪识别的智能外呼方法、装置、设备及存储介质与流程

本发明涉及人工智能技术及数字金融，尤其涉及应用于金融领域的电话营销系统中的一种基于情绪识别的智能外呼方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、随着电销行业的蓬勃发展，人工销售运营成本高，工作状态受情绪影响大，数据统计易丢失等问题日益突显，智能外呼应运而生，智能外呼集合了自动拨打电话、多轮语音交互、客户意向智能分级、外呼任务自定义等多功能于一体，广泛应用于金融保险类的电话营销、电话回访等场景。

2、目前在智能外呼过程中通过自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和抽取，由于文本无法精确客观的描述出一个人的情绪状态，比如同一个词汇用不同的语气表达会产生不同的理解，并且情绪的产生往往有一个过程，需要酝酿，然后爆发，既具有连续性也具有瞬时性，通过常规的文本分类器难以捕捉到这种特性，从而导致在金融保险类的智能外呼过程中无法准确的识别客户情绪。

技术实现思路

1、本发明提供一种基于情绪识别的智能外呼方法、装置及计算机可读存储介质，其主要目的在于解决在金融保险类的电话营销系统中进行智能外呼时客户情绪识别不准确的问题。

2、为实现上述目的，本发明提供的一种基于情绪识别的智能外呼方法，包括：

3、获取客户的音频数据，提取所述音频数据的声学特征；

4、对所述音频数据进行语音识别，得到语音识别结果，并提取所述语音识别结果的文本特征；

5、利用预设分类模型对所述声学特征从情绪波动性维度进行分类，得到第一维度情绪类别；

6、利用所述预设分类模型对所述文本特征从情绪积极性维度进行分类，得到第二维度情绪类别；

7、利用预设的二维情绪模型分析所述第一维度情绪类别及所述第二维度情绪类别，得到所述客户的情绪状态；

8、根据所述情绪状态选择对应的答复文本答复所述客户。

9、可选地，所述利用预设分类模型对所述声学特征从情绪波动性维度进行分类，得到第一维度情绪类别，包括：

10、利用预设分类模型中的循环神经网络获取所述声学特征的上下文的特征信息，并利用所述上下文的特征信息对所述声学特征进行更新，得到更新后的声学特征；

11、利用预设分类模型中的注意力机制模块对所述更新后的声学特征进行权重调整，得到注意力声学特征；

12、对所述注意力声学特征进行标准化、卷积及池化操作，并利用softmax函数对池化后的结果进行第一维度情绪类别的概率计算，得到第一维度情绪类别的概率，将所述概率最大的类别作为第一维度情绪类别。

13、可选地，所述利用预设分类模型中的注意力机制模块对所述更新后的声学特征进行权重调整，得到注意力声学特征，包括：

14、对所述更新后的声学特征进行平均池化操作，得到一维声学特征；

15、对所述一维声学特征进行一维卷积运算，并利用sigmoid函数对一维卷积运算结果进行计算，得到通道注意力权重；

16、利用所述通道注意力权重调整所述更新后的声学特征，得到通道注意力声学特征；

17、利用预设的2个矩阵分别对所述更新后的声学特征进行卷积运算得到第一卷积特征图及第二卷积特征图；

18、对所述第一卷积特征图进行维度变换和行列转置操作后获取第一操作结果；

19、对所述第二卷积特征图进行维度变换操作后获取第二操作结果；

20、将所述第一操作结果与所述第二操作结果进行矩阵相乘，并利用softmax函数对所述矩阵相乘的结果进行运算，得到空间注意力权重；

21、利用所述空间注意力权重调整所述更新后的声学特征，得到空间注意力声学特征；

22、将所述通道注意力声学特征与所述空间注意力声学特征通过平均操作，并进行特征融合后得到注意力声学特征。

23、可选地，所述利用预设的二维情绪模型分析所述第一维度情绪类别及所述第二维度情绪类别，得到所述客户的情绪状态，包括：

24、利用预设的二维情绪模型，以所述情绪波动性维度及所述情绪积极性维度为横坐标及纵表标构建情绪坐标系；

25、定义所述情绪坐标系的四个象限中情绪类别与情绪状态对应关系；

26、根据所述情绪坐标系的四个象限中情绪类别与情绪状态对应关系，识别出所述第一维度情绪类别及所述第二维度情绪类别对应的情绪状态。

27、可选地，所述根据所述情绪状态选择对应的答复文本答复所述客户，包括：

28、根据所述情绪状态选择对应的答复文本；

29、将所述答复文本转化为语音数据；

30、利用所述语音数据回复所述客户。

31、可选地，所述对所述音频数据进行语音识别，得到语音识别结果，包括：

32、对所述音频数据进行降噪处理；

33、对降噪处理后的所述音频数据进行分帧加窗，得到多个语音帧；

34、逐个提取每个语音帧的语音特征；

35、利用预设的语音识别器，根据每个所述语音帧的语音特征，生成所述音频数据中每个文本词汇对应的多个评分不同的候选词；

36、汇集所有候选词组成语音识别结果。

37、可选地，所述提取所述音频数据的声学特征，包括：

38、利用高通滤波器对所述音频数据进行预加重处理；

39、对所述预加重处理后的音频数据进行分帧加窗处理得到，得到加窗音频帧；

40、对所述加窗音频帧进行快速傅立叶变换，得到对应的能量谱；

41、利用三角带通滤波器对所述能量谱，进行频谱平滑及消除谐波，得到优化后的能量谱；

42、计算所述优化后的能量谱的对数能量谱，对所述对数能量谱进行离散余弦变换，得到语音特征参数，并提取所述语音特征参数的一阶、二阶动态差分参数作为语音特征向量。

43、为了解决上述问题，本发明还提供一种基于情绪识别的智能外呼装置，所述装置包括：

44、特征提取模块，用于获取客户的音频数据，提取所述音频数据的声学特征；对所述音频数据进行语音识别，得到语音识别结果，并提取所述语音识别结果的文本特征；

45、情绪分类模块，用于利用预设分类模型对所述声学特征从情绪波动性维度进行分类，得到第一维度情绪类别；利用所述预设分类模型对所述文本特征从情绪积极性维度进行分类，得到第二维度情绪类别；

46、情绪融合模块，用于利用预设的二维情绪模型分析所述第一维度情绪类别及所述第二维度情绪类别，得到所述客户的情绪状态；

47、选择答复模块，用于根据所述情绪状态选择对应的答复文本答复所述客户。

48、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

49、至少一个处理器；以及，

50、与所述至少一个处理器通信连接的存储器；其中，

51、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于情绪识别的智能外呼方法。

52、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于情绪识别的智能外呼方法。

53、本发明实施例通过提取所述音频数据的声学特征；对所述音频数据进行语音识别，得到语音识别结果，并提取所述语音识别结果的文本特征；利用预设分类模型对所述声学特征从情绪波动性维度进行分类，得到第一维度情绪类别，捕捉到声学特征的连续性，能够更好的体现客户音频数据的情绪波动性；利用所述预设分类模型对所述文本特征从情绪积极性维度进行分类，得到第二维度情绪类别，捕捉到文本特征的瞬时性，能够更好体现情绪积极性；利用预设的二维情绪模型分析所述第一维度情绪类别及所述第二维度情绪类别，得到所述客户的情绪状态结合了声学特征和文本特征两种数据的不同特征，改进了传统使用单一特征数据进行情绪分析的局限性，更加精准的把握人的情绪状况，根据所述情绪状态选择对应的答复文本答复所述客户，能够改善可户体验，改善金融保险类的电话营销系统中智能外呼过程的效果。因此本发明提出的基于情绪识别的智能外呼方法、装置、电子设备及计算机可读存储介质，可以解决在金融保险类的电话营销系统中进行智能外呼时客户情绪识别不准确的问题。