基于AI技术的电话坐席自适应培训系统和方法与流程

本发明涉及音频分析，具体涉及基于ai技术的电话坐席自适应培训系统和方法。

背景技术：

1、语音是人类最自然的交互方式，不同说话者的发声器官具有差异性，比如,独特的发声结构、喉部大小、鼻口腔、发音习惯、语调、节奏等，所形成的声音信息可以代表个人特征，故通过分析讲话人语音特征可以有效识别讲话人身份，即声纹识别。在一些特殊场合需要使用无线电、培训系统等远程通话，尤其在某些场景下需要保证培训系统对面的人为培训系统持有者本人，用以保证安全等需要。

2、目前通过对语音信息进行分帧处理及分析，进行声纹识别，分析出语音信号对应的培训结果，然而还需要考虑人在不同环境下，发出同样字、词或语句的声音时，可能存在一定的差别和不同的习惯的情况，以提高声纹识别准确性。

技术实现思路

1、本发明的目的是提供基于ai技术的电话坐席自适应培训系统和方法，以解决现有技术中的上述不足之处。

2、为了实现上述目的，本发明提供如下技术方案：基于ai技术的电话坐席自适应培训方法，包括以下步骤：

3、s1、收集各培训人员的语音信息，预处理后生成第一声纹信息，汇总后建立声纹库；此处预处理采用声纹识别时通用的预处理方法包括端点检测、预加重等；

4、s2、将使用者的第一声纹信息与其培训方案绑定；

5、s3、在使用培训系统进行通话时，获取语音信息进行所述预处理生成对应的第二声纹信息，基于所述声纹库和声纹识别算法对通话时的第二声纹信息进行特征匹配；

6、s4、显示语音信息来源的培训系统及匹配结果，可通过显示培训系统的编号，在培训系统的编号后显示识别出的声纹匹配的人名，若没有匹配的声纹则进行标记提醒，如用红色显示无匹配结果；或使用声音进行报警提醒；

7、s5、对匹配成功的第二声纹信息进行收集，并对所述第二声纹信息进行情感分析；

8、s6、根据所述情感分析的结果和声纹匹配的结果对所述第二声纹信息进行分类，得到每个使用者第二声纹信息的多个语音情感组；

9、s7、对于每个使用者的每个语音情感组的第二声纹信息进行文字转换，并将第二声纹信息按照文字转换的字、词、句的不同进行分类，得到语音对比组；

10、s8、将所述语音情感组和所述语音对比组，更新到所述声纹库中；

11、所述方法还包括：对每个使用者的每个语音情感组的每个语音对比组的第二声纹信息，进行特征匹配，即对每个使用者的每个语音情感组，相同字、词、句的第二声纹信息进行特征匹配；基于每个所述语音对比组中特征匹配不同的第二声纹信息，分别对声纹识别算法进行训练生成对应的声纹子模型，每个使用者的声纹子模型共同组成该使用者的声纹模型。

12、进一步的，所述方法还包括基于声纹信息，对声纹识别算法进行训练，生成各使用者的声纹模型。

13、进一步的，进行所述特征匹配时，首先对相同字的语音对比组对应的第二声纹信息进行特征匹配；

14、基于特征匹配的相似度将对应的第二声纹信息进行分类，并分别基于分类后的每一类第二声纹信息，对声纹识别算法进行训练，分别得到第一声纹子模型与该语音对比组对应；

15、记录各词对应的第二声纹信息出现的频率及次数，并设定词频率阈值和词次数阈值。

16、进一步的，若检测到一个词对应的第二声纹信息，满足出现的频率超过所述词频率阈值，或出现的次数超过词次数阈值中的至少一个，则新建语音对比组用于储存该词对应的第二声纹信息；

17、对词对应的语音对比组的第二声纹信息进行特征匹配；

18、基于特征匹配的相似度将对应的第二声纹信息进行分类，并分别基于分类后的每一类第二声纹信息，对声纹识别算法进行训练，分别得到第二声纹子模型与该语音对比组对应；

19、记录各句对应的第二声纹信息出现的频率及次数，并设定句频率阈值和局次数阈值。

20、进一步的，若检测到一个句对应的第二声纹信息，满足出现的频率超过所述句频率阈值，或出现的次数超过句次数阈值中的至少一个，则新建语音对比组用于储存该句对应的第二声纹信息；

21、对句词对应的语音对比组的第二声纹信息进行特征匹配；

22、基于特征匹配的相似度将对应的第二声纹信息进行分类，并分别基于分类后的每一类第二声纹信息，对声纹识别算法进行训练，分别得到第三声纹子模型与该语音对比组对应。

23、进一步的，s3步骤中基于所述声纹库和声纹识别算法对通话时的第二声纹信息进行特征匹配，具体为：

24、对所述第二声纹信息进行情感识别，并在声纹库中检索对应的语音情感组；

25、将所述第二声纹信息进行文字转换，并在声纹库中的对应的语音情感组中对转换成的文字进行逐句检索；

26、若检索到该语音情感组中存在语音对比组储存的第二声纹信息对应的句，与转换成的文字中的句相同，则将所述第二声纹信息与该语音对比组对应的多个第三声纹模型进行特征匹配；

27、否则，对所述第二声纹信息转换的文字进行分词，并在声纹库中的对应的语音情感组中对转换成的文字进行逐词检索；

28、若检索到该语音情感组中存在语音对比组储存的第二声纹信息对应的词，与转换成的文字中的词相同，则将所述第二声纹信息与该语音对比组对应的多个第二声纹模型进行特征匹配；

29、否则，逐字将所述第二声纹信息与声纹库中的对应的语音情感组中的第一声纹模型进行特征匹配。

30、基于ai技术的电话坐席自适应培训系统，包括储存模块、信息获取模块、情感识别模块、文字转换模块、声纹匹配模块、模型更新模块、显示屏；

31、所述声纹库储存在所述储存模块中；

32、所述信息获取模块用于与培训系统连接，获取培训系统接收到的语音信息及培训方案的基本信息，并对语音信息进行预处理得到声纹信息，培训系统的基本信息包括培训系统名称，培训系统名称可使用出厂自带或自定义设置；

33、所述情感识别模块用于对声纹信息进行情感识别；

34、所述文字转换模块用于将声纹信息进行语音识别转换成文字信息；

35、所述声纹匹配模块用于基于声纹库，使用声纹识别算法对声纹信息进行识别匹配；

36、所述模型更新模块用于收集整理情感识别模块和文字转换模块的信息，生成语音情感组和语音对比组，对声纹库进行和声纹识别算法进行更新；

37、所述显示屏用于将数据信息可视化显示。

38、与现有技术相比，本发明提供的基于ai技术的电话坐席自适应培训系统和方法，通过对培训人员的语音信息进行情感分析，并对不同情感状态下的相同字词句分别进行特征分析，得到相同字、词在不同情感及不同字、词组合和语句下的声纹特征，使得声纹识别时能更贴合培训人员的发言、发音习惯，提高识别的精确度。

技术特征：

1.基于ai技术的电话坐席自适应培训方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于ai技术的电话坐席自适应培训方法，其特征在于：所述方法还包括基于声纹信息，对声纹识别算法进行训练，生成各使用者的声纹模型。

3.根据权利要求1所述的基于ai技术的电话坐席自适应培训方法，其特征在于：进行所述特征匹配时，首先对相同字的语音对比组对应的第二声纹信息进行特征匹配；

4.根据权利要求3所述的基于ai技术的电话坐席自适应培训方法，其特征在于：若检测到一个词对应的第二声纹信息，满足出现的频率超过所述词频率阈值，或出现的次数超过词次数阈值中的至少一个，则新建语音对比组用于储存该词对应的第二声纹信息；

5.根据权利要求4所述的基于ai技术的电话坐席自适应培训方法，其特征在于：若检测到一个句对应的第二声纹信息，满足出现的频率超过所述句频率阈值，或出现的次数超过句次数阈值中的至少一个，则新建语音对比组用于储存该句对应的第二声纹信息；

6.根据权利要求5所述的基于ai技术的电话坐席自适应培训方法，其特征在于：s3步骤中基于所述声纹库和声纹识别算法对通话时的第二声纹信息进行特征匹配，具体为：

7.基于ai技术的电话坐席自适应培训系统，执行如权利要求1-6任一项所述基于ai技术的电话坐席自适应培训方法，其特征在于：包括储存模块、信息获取模块、情感识别模块、文字转换模块、声纹匹配模块、模型更新模块、显示屏；

技术总结本发明公开了基于AI技术的电话坐席自适应培训系统和方法，涉及音频分析技术领域，方法包括以下步骤：收集各培训人员的语音信息，预处理后生成第一声纹信息，汇总后建立声纹库；将使用者的第一声纹信息与其培训方案绑定；在使用培训系统进行通话时，获取语音信息进行所述预处理生成对应的第二声纹信息；该基于人工智能的培训系统声纹识别方法及系统，通过对培训人员的语音信息进行情感分析，并对不同情感状态下的相同字词句分别进行特征分析，得到相同字、词在不同情感及不同字、词组合和语句下的声纹特征，使得声纹识别时能更贴合培训人员的发言、发音习惯，提高识别的精确度。技术研发人员：曹峰,周爱广,胡源受保护的技术使用者：中国人寿保险股份有限公司山东省分公司技术研发日：技术公布日：2024/3/24