违规音频识别模型的训练方法、装置和违规音频识别方法与流程

本申请涉及互联网，尤其涉及一种违规音频识别模型的训练方法、装置、违规音频识别方法、计算机设备和存储介质。

背景技术：

1、语音识别技术在当前已广泛应用于社交媒体、语音助手、电话客服和语音搜索等领域。随着语音交互功能的普及，用户发布的音频内容可能涉及一些潜在风险，如不当言论、虚假信息、暴力内容等，这些可能会对用户、社群和平台造成严重危害。因此，对用户的语音内容进行违规识别变得至关重要。这个过程有助于预防不当内容的传播和滥用，保护在线社群和平台的安全性与合法性。然而，目前大多数的语音识别方案都是基于服务器端的，即需要将用户的音频数据传输到服务器进行识别。这不可避免地会带来一定的传输成本和用户隐私泄露的风险。

技术实现思路

1、本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中需要将音频数据发送到服务器端进行违规识别导致传输成本高和用户隐私安全性低的缺陷。

2、第一方面，本申请提供了一种违规音频识别模型的训练方法，应用于服务器端，包括：

3、获取训练数据集；

4、利用训练数据集对第一初始模型进行训练，得到第一识别模型；

5、以第一识别模型为监督，利用训练数据集对第二初始模型进行训练，得到第二识别模型；第二识别模型中的参数少于第一识别模型，第二识别模型将作为违规音频识别模型下发到目标移动端，以在目标移动端本地进行违规音频识别。

6、在其中一个实施例中，获取训练数据集，包括：

7、在目标应用采集预设领域的音频数据，得到第一音频集；

8、获取公开的音频训练数据集，得到第二音频集；

9、对第一音频集和第二音频集进行违规标注，并将经过标注的第一音频集和第二音频集结合，得到训练数据集。

10、在其中一个实施例中，在对第一音频集和第二音频集进行违规标注，并将经过标注的第一音频集和第二音频集结合，得到训练数据集之前，还包括：

11、分别对第一音频集和第二音频集进行数据增强。

12、在其中一个实施例中，以第一识别模型为监督，利用训练数据集对第二初始模型进行训练，得到第二识别模型，包括：

13、将训练数据集分别输入第一识别模型和第二识别模型，并获取第一识别模型输出的第一预测结果和第二识别模型输出的第二预测结果；

14、以缩小第二预测结果与第一预测结果之间的差异为目标，对第二识别模型进行训练，直至满足训练结束条件。

15、在其中一个实施例中，将训练数据集分别输入第一识别模型和第二识别模型后，还包括：

16、获取第一识别模型中至少一个目标中间层输出的第一中间层特征和第二识别模型中至少一个目标中间层输出的第二中间层特征；

17、以缩小第二预测结果与第一预测结果之间的差异为目标，对第二识别模型进行训练，直至满足训练结束条件，包括：

18、以缩小第二预测结果与第一预测结果之间、第二中间层特征与第一中间层特征之间的差异为目标，对第二识别模型进行训练，直至满足训练结束条件。

19、在其中一个实施例中，第一识别模型和第二识别模型为conformer结构，conformer结构包括多头注意力机制模块，在对第二识别模型进行训练的过程中，还包括：

20、判断本轮训练中多头注意力机制模块的注意力权重是否已收敛；

21、若是，则在后续训练中使用已收敛的注意力权重，并停止对注意力权重的更新；

22、若否，则保持对注意力权重的更新。

23、在其中一个实施例中，在得到第二识别模型之后，还包括：

24、对第二识别模型进行模型量化，以将第二识别模型中的网络参数的位宽降低为目标位宽。

25、在其中一个实施例中，在得到第二识别模型之后，还包括：

26、确定目标移动端所使用的目标推理引擎；

27、获取目标推理引擎所支持的多个目标网络算子；

28、将第二识别模型中与各目标网络算子功能相同的网络算子替换为对应的目标网络算子。

29、第二方面，本申请实施例提供了一种违规音频识别方法，应用于移动端，包括：

30、接收服务器端下发的违规音频识别模型；违规音频识别模型为上述任一实施例中的违规音频识别模型的训练方法训练得到的；

31、利用违规音频识别模型对目标应用进行违规音频识别。

32、第三方面，本申请实施例提供了一种违规音频识别模型的训练装置，包括：

33、数据集获取模块，用于获取训练数据集；

34、第一训练模块，用于利用训练数据集对第一初始模型进行训练，得到第一识别模型；

35、第二训练模块，用于以第一识别模型为监督，利用训练数据集对第二初始模型进行训练，得到第二识别模型；第二识别模型中的参数少于第一识别模型，第二识别模型将作为违规音频识别模型下发到目标移动端，以在目标移动端本地进行违规音频识别。

36、第四方面，本申请实施例提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中的违规音频识别模型的训练方法或违规音频识别方法的步骤。

37、第五方面，本申请实施例提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中的违规音频识别模型的训练方法或违规音频识别方法的步骤。

38、从以上技术方案可以看出，本申请实施例具有以下优点：

39、该方案首先利用训练数据集训练出一个较为复杂的大型音频违规识别模型，即第一识别模型。将第一识别模型作为监督，继续利用同一训练数据集训练一个更小更简单的学生模型，即第二识别模型，使其在模仿教师模型预测输出的过程中逐渐获得与第一识别模型相近的违规识别能力。最终，该轻量级的第二识别模型将作为违规识别音频模型，当其被下发到目标移动端后，目标移动端可以利用违规识别音频模型在本地进行实时且准确的违规识别。本方案训练得到的第二识别模型与第一识别模型具有相近的预测能力，但参数较少，可以在算力有限的设备上实现实时和精准识别。该模型使得在移动端进行本地识别成为可能，本地识别方案可保证用户语音隐私，降低数据泄露风险。还可减少网络与服务器成本，提高运行稳定性。

技术特征：

1.一种违规音频识别模型的训练方法，其特征在于，应用于服务器端，包括：

2.根据权利要求1所述的违规音频识别模型的训练方法，其特征在于，所述获取训练数据集，包括：

3.根据权利要求2所述的违规音频识别模型的训练方法，其特征在于，在所述对所述第一音频集和所述第二音频集进行违规标注，并将经过标注的所述第一音频集和所述第二音频集结合，得到所述训练数据集之前，还包括：

4.根据权利要求1所述的违规音频识别模型的训练方法，其特征在于，所述以所述第一识别模型为监督，利用所述训练数据集对第二初始模型进行训练，得到第二识别模型，包括：

5.根据权利要求4所述的违规音频识别模型的训练方法，其特征在于，所述将所述训练数据集分别输入所述第一识别模型和所述第二识别模型后，还包括：

6.根据权利要求4所述的违规音频识别模型的训练方法，其特征在于，所述第一识别模型和所述第二识别模型为conformer结构，所述conformer结构包括多头注意力机制模块，在对所述第二识别模型进行训练的过程中，还包括：

7.根据权利要求1所述的违规音频识别模型的训练方法，其特征在于，在得到第二识别模型之后，还包括：

8.根据权利要求1所述的违规音频识别模型的训练方法，其特征在于，在得到第二识别模型之后，还包括：

9.一种违规音频识别方法，其特征在于，应用于移动端，包括：

10.一种违规音频识别模型的训练装置，其特征在于，包括：

11.一种计算机设备，其特征在于，包括一个或多个处理器，以及存储器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1-8任一项所述的违规音频识别模型的训练方法或权利要求9所述的违规音频识别方法的步骤。

12.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1-8任一项所述的违规音频识别模型的训练方法或权利要求9所述的违规音频识别方法的步骤。

技术总结本申请提供了一种违规音频识别模型的训练方法、装置、违规音频识别方法、计算机设备和存储介质。该训练方法包括：获取训练数据集；利用训练数据集对第一初始模型进行训练，得到第一识别模型；以第一识别模型为监督，利用训练数据集对第二初始模型进行训练，得到第二识别模型；第二识别模型中的参数少于第一识别模型，第二识别模型将作为违规音频识别模型下发到目标移动端，以在目标移动端本地进行违规音频识别。利用本方案训练得到模型与服务器端的模型具有相近的预测能力，但由于参数较少，可以部署算力有限的设备上进行本地识别，保证用户语音隐私，降低数据泄露风险。还可减少网络与服务器成本，提高运行稳定性。技术研发人员：曾锐鸿,马金龙,廖艳冰,马飞,兰翔,张政统,邓其春,黄祥康,黎子骏,吴文亮,盘子圣,王伟喆,焦南凯,熊佳,徐志坚,陈曦行,陈光尧,谢睿受保护的技术使用者：广州趣研网络科技有限公司技术研发日：技术公布日：2024/3/11