无效举报音频过滤方法、装置、设备、存储介质以及产品与流程

本申请实施例涉及计算机，尤其涉及一种无效举报音频过滤方法、装置、设备、存储介质以及产品。

背景技术：

1、随着互联网社区的快速发展，由于语音可承载的信息密度比文字图片丰富，同时相对于视频聊天的私密性更强，语音逐渐成为一种热门的陌生人社交形式。其中，语音社交的常见承载形式是语音房，该语音房可以通过设置共同的话题吸引来自五湖四海的用户，加入房间的用户可以通过发表语音进行自我表达。由于语音房的语音内容可能会涉及传播违规内容，影响用户的良好体验，因而语音房通常设置有举报投诉功能，用户可以对涉嫌违规的音频进行举报，通过对举报音频进行审核可以确定是否对被举报者进行处罚。

2、然而，当前的举报音频审核场景中，每个工单均需要人工审核，由于可能存在部分用户滥用举报投诉功能，导致产生过多的无效举报音频，增加了需要人工审核的举报音频数量，影响举报音频的处理效率，需要改进。

技术实现思路

1、本申请实施例提供了一种无效举报音频过滤方法、装置、设备、存储介质以及产品，解决了因部分用户滥用举报投诉功能，导致产生过多的无效举报音频，增加了需要人工审核的举报音频数量，影响举报音频的处理效率的问题，实现了通过融合不同音频判断机制，可以对于举报音频是否涉嫌违规进行综合判断，有效减少需要人工审核的无效举报音频的数量，提高举报音频的处理效率，有利于精准打击输出违规音频内容的被举报用户。

2、第一方面，本申请实施例提供了一种无效举报音频过滤方法，该方法包括：

3、获取举报音频，对所述举报音频进行识别得到对应的文本信息；

4、将所述举报音频输入至训练完成的至少一个第一分类模型，得到对应每个所述第一分类模型的违规事件得分，其中，每个所述第一分类模型对应一种违规事件；

5、将所述文本信息输入至训练完成的第二分类模型，得到至少一种违规类别的违规语义得分；

6、在每个所述违规事件得分低于设置的违规事件阈值，以及每个所述违规语义得分低于设置的违规语义阈值的情况下，从待审核音频中剔除所述举报音频。

7、第二方面，本申请实施例还提供了一种无效举报音频过滤装置，该装置包括：

8、音频获取识别模块，配置为获取举报音频，对所述举报音频进行识别得到对应的文本信息；

9、第一违规分数确定模块，配置为将所述举报音频输入至训练完成的至少一个第一分类模型，得到对应每个所述第一分类模型的违规事件得分，其中，每个所述第一分类模型对应一种违规事件；

10、第二违规分数确定模块，配置为将所述文本信息输入至训练完成的第二分类模型，得到至少一种违规类别的违规语义得分；

11、举报音频过滤模块，配置为在每个所述违规事件得分低于设置的违规事件阈值，以及每个所述违规语义得分低于设置的违规语义阈值的情况下，从待审核音频中剔除所述举报音频。

12、第三方面，本申请实施例还提供了一种无效举报音频过滤设备，该设备包括：

13、一个或多个处理器；

14、存储装置，配置为存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的无效举报音频过滤方法。

16、第四方面，本申请实施例还提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行本申请实施例所述的无效举报音频过滤方法。

17、第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的无效举报音频过滤方法。

18、本申请实施例中，通过获取举报音频，对举报音频进行识别得到对应的文本信息；将举报音频输入至训练完成的至少一个第一分类模型，得到对应每个第一分类模型的违规事件得分，其中，每个第一分类模型对应一种违规事件；将文本信息输入至训练完成的第二分类模型，得到至少一种违规类别的违规语义得分；在每个违规事件得分低于设置的违规事件阈值，以及每个违规语义得分低于设置的违规语义阈值的情况下，从待审核音频中剔除举报音频。上述方案中，通过将举报音频输入第一分类模型得到违规事件得分，可以检测举报音频中存在违规事件的可能性大小；通过将举报音频对应的文本信息输入第二分类模型得到违规语义得分，可以判断举报音频的语音内容包含违规语义的可能性大小；将违规事件得分与违规事件阈值进行比对，以及将违规语义得分与违规语义阈值进行比对，可以筛选出语音内容不包含违规事件以及违规语义的举报音频，有效融合不同音频判断机制，对于举报音频是否涉嫌违规进行综合判断，减少需要人工审核的无效举报音频的数量，提高举报音频的处理效率，有利于精准打击输出违规音频内容的被举报用户。

技术特征：

1.一种无效举报音频过滤方法，其特征在于，包括：

2.根据权利要求1所述的无效举报音频过滤方法，其特征在于，在所述从待审核音频中剔除所述举报音频之后，还包括：

3.根据权利要求1所述的无效举报音频过滤方法，其特征在于，在将所述举报音频输入至训练完成的至少一个第一分类模型之前，还包括：

4.根据权利要求1所述的无效举报音频过滤方法，其特征在于，在将所述举报音频输入至训练完成的至少一个第一分类模型之前，还包括：

5.根据权利要求1所述的无效举报音频过滤方法，其特征在于，所述对所述举报音频进行识别得到对应的文本信息，包括：

6.根据权利要求1所述的无效举报音频过滤方法，其特征在于，在每个所述违规事件得分低于设置的违规事件阈值，以及每个所述违规语义得分低于设置的违规语义阈值的情况下，还包括：

7.根据权利要求1-6中任一项所述的无效举报音频过滤方法，其特征在于，在所述获取举报音频之后，还包括：

8.一种无效举报音频过滤装置，其特征在于，包括：

9.一种无效举报音频过滤设备，所述设备包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-7中任一项所述的无效举报音频过滤方法。

10.一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行权利要求1-7中任一项所述的无效举报音频过滤方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的无效举报音频过滤方法。

技术总结本申请实施例提供了一种无效举报音频过滤方法、装置、设备、存储介质以及产品，该方法包括：获取举报音频，对举报音频进行识别得到对应的文本信息；将举报音频输入至训练完成的至少一个第一分类模型，得到对应每个第一分类模型的违规事件得分，其中，每个第一分类模型对应一种违规事件；将文本信息输入至训练完成的第二分类模型，得到至少一种违规类别的违规语义得分；在每个违规事件得分低于设置的违规事件阈值，以及每个违规语义得分低于设置的违规语义阈值的情况下，从待审核音频中剔除举报音频。实现了通过融合不同音频判断机制，有效减少需要人工审核的无效举报音频的数量，提高举报音频的处理效率。技术研发人员：江唯杰受保护的技术使用者：百果园技术（新加坡）有限公司技术研发日：技术公布日：2024/6/13