云客服质量评估方法、装置、电子设备及介质与流程

本公开涉及人工智能，尤其涉及一种云客服服务质量评估方法、装置、电子设备及介质。

背景技术：

1、云客服作为依托于云技术的重要应用之一，其逐渐被如个人、政府企业等用户重视并使用。客服服务体验质量是云客服产品质量的直接体现，也是评估云客服产品优劣的最重要指标之一，因此如何对云客服服务质量做出有效的评估，对于云客服产品的完善和优化起到举足轻重的作用。

2、目前，相关技术中对云客服客服质量进行评估的方法主要依赖于基于语音情绪的深度学习技术。然而，基于语音情绪的深度学习技术的模型参数复杂，计算量大，可能会导致资源消耗大且效率不高的问题。

技术实现思路

1、本公开提供一种云客服服务质量评估方法、装置、电子设备及介质，以解决相关技术中的问题，通过在云客服服务质量评估过程中对具有待识别语音的梅尔频谱特征图和线性预测系数特征图的多重声音特征图进行三次不同的卷积处理，并利用卷积处理后的多重声音特征图的时域频域联合特征图、频域特征图以及多尺度时间特征图进行情绪分类，以得到待识别语音对应的云客服服务体验评分。由于梅尔频谱特征图可以有效的模拟人耳听到的声音并直观地表现出来；线性预测系数特征图可以预测声音信息，更好的表达声音的共振与带宽。因此本公开将两者叠加能够实现低参数量为网络模型提供更丰富的原始信息，降低网络模型的计算量，从而提高云客服服务质量评估的效率和准确性。

2、本公开的第一方面实施例提出了一种云客服服务质量评估方法，该方法包括：依据提取的待识别语音中的梅尔频谱特征图和线性预测系数特征图的通道，对梅尔频谱特征图和线性预测系数特征图进行堆叠处理，得到堆叠处理后的多重声音特征图；将多重声音特征图分别经过三次卷积处理，得到多重声音特征图的时域频域联合特征图、频域特征图以及多尺度时间特征图；对时域频域联合特征图、频域特征图以及多尺度时间特征图进行拼接后的融合特征图进行情绪分类，确定待识别语音的云客服服务体验评分。

3、在本公开的一些实施例中，依据提取的待识别语音中的梅尔频谱特征图和线性预测系数特征图的通道，对梅尔频谱特征图和线性预测系数特征图进行堆叠拼接，得到堆叠拼接后的多重声音特征图，之前，方法包括：在输入语音的二范数值大于或等于预设值的情况下，以预设长度对输入语音进行切片处理，得到输入语音中的待识别语音；对待识别语音进行特征提取，得到待识别语音中的梅尔频谱特征图和线性预测系数特征图，梅尔频谱特征图的长和宽与线性预设系数特征图的长和宽相同。

4、在本公开的一些实施例中，对多重声音特征图分别进行三次卷积处理，得到多重声音特征图的谱时间特征、谱特征以及多尺度时间特征包括：依据多重声音特征图中的长和宽，对多重声音特征图进行第一卷积处理，得到多重声音特征图的时域频域联合特征图；依据多重声音特征图中的宽，对多重声音特征图进行第二卷积处理，得到多重声音特征的频域特征图；利用多时间尺度模块，对多重声音特征图进行第三卷积处理，得到多重声音特征图的多尺度时间特征图。

5、在本公开的一些实施例中，利用多时间尺度模块，对多重声音特征图进行第三卷积处理，得到多重声音特征图的多尺度时间特征图包括：利用多时间尺度模块对多重声音特征图分别进行上采样处理和下采样处理，得到上采样处理后的第一尺寸特征图和下采样处理后的第二尺寸特征图；对第一尺寸特征图、多重声音特征图以及第二尺寸特征图进行第三卷积处理，得到长和宽相同的第一尺寸特征图、多重声音特征图以及第二尺寸特征图；依据第一尺寸特征图、多重声音特征图以及第二尺寸特征图的通道，将长和宽相同的第一尺寸特征图、多重声音特征图以及第二尺寸特征图进行拼接处理，得到拼接处理后的多尺度多重声音特征图；利用通道注意力机制，对多尺度多重声音特征图进行特征增强，得到多尺度时间特征图。

6、在本公开的一些实施例中，对时域频域联合特征图、频域特征图以及多尺度时间特征图进行拼接后的融合特征图进行情绪分类，确定待识别语音的云客服服务体验评分包括：依次对时域频域联合特征图、频域特征图以及多尺度时间特征图进行拼接后的融合特征图进行预设次数的第四卷积处理，得到待分类特征图；对待分类特征图进行情绪分类，得到待分类特征图的情绪检测结果，并将情绪检测结果存储至数据库，情绪检测结果包括每个情绪类别的概率；若数据库中存储的情绪检测结果的存储数量大于或等于预设数量，则依据存储数量中每个情绪检测结果，确定待识别语音的体验分数。

7、在本公开的一些实施例中，依据存储数量中每个情绪检测结果，确定待识别语音的体验分数包括：依据存储数量中每个情绪检测结果中每个情绪类别的概率，通过融合算法分别对每个情绪类别进行融合，得到整体情绪检测结果；分别确定整体情绪检测结果和存储数量中每个情绪检测结果中概率为第一概率的情绪类别，并依据情绪类别与云客服服务体验评分之间的映射关系，确定整体情绪检测结果的第一云客服服务体验分数和存储数量中每个情绪检测结果的第二云客服服务体验分数；通过预设权重，对第一云客服服务体验分数和第二云客服服务体验分数进行加权融合，得到待识别语音的云客服服务体验评分。

8、本公开的第二方面实施例提出了一种云客服服务质量评估装置，该装置包括：

9、堆叠单元，用于依据提取的待识别语音中的梅尔频谱特征图和线性预测系数特征图的通道，对梅尔频谱特征图和线性预测系数特征图进行堆叠处理，得到堆叠处理后的多重声音特征图；

10、特征提取单元，用于将多重声音特征图分别经过三次卷积处理，得到多重声音特征图的时域频域联合特征图、频域特征图以及多尺度时间特征图；

11、云客服服务体验评分单元，用于对时域频域联合特征图、频域特征图以及多尺度时间特征图进行拼接后的融合特征图进行情绪分类，确定待识别语音的云客服服务体验评分。

12、本公开的第三方面实施例提出了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，处理器用于运行计算机程序时，执行本公开第一方面实施例中描述的方法。

13、本公开的第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一方面实施例中描述的方法。

14、本公开的第五方面实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一方面实施例中描述的方法。

15、综上，根据本公开提出的云客服服务质量评估方法，通过依据提取的待识别语音中的梅尔频谱特征图和线性预测系数特征图的通道，对梅尔频谱特征图和线性预测系数特征图进行堆叠处理，得到堆叠处理后的多重声音特征图；将多重声音特征图分别经过三次卷积处理，得到多重声音特征图的时域频域联合特征图、频域特征图以及多尺度时间特征图；对时域频域联合特征图、频域特征图以及多尺度时间特征图进行拼接后的融合特征图进行情绪分类，确定待识别语音的云客服服务体验评分。由于梅尔频谱特征图可以有效的模拟人耳听到的声音并直观地表现出来；线性预测系数特征图可以预测声音信息，更好的表达声音的共振与带宽。因此本公开将两者叠加能够实现低参数量为网络模型提供更丰富的原始信息，降低网络模型的计算量，从而提高云客服服务质量评估的效率和准确性。

16、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。