语音分类方法、装置、电子设备及计算机可读介质与流程

本申请涉及计算机，更具体地，涉及一种语音分类方法、装置、电子设备及计算机可读介质。

背景技术：

1、目前使用prompt提示词在llm或者语音大模型上展现了巨大的潜力，比如可以实现对语音、图像的感知理解和推理，也可以实现多个语音分类任务。但是到目前为止，prompt提示词的输入方式比较单一。

技术实现思路

1、本申请提出了一种语音分类方法、装置、电子设备及计算机可读介质，以改善上述缺陷。

2、第一方面，本申请实施例提供了一种语音分类方法，包括：获取待处理的语音数据对应的语音特征向量；获取识别模型基于目标数据得到的提示信息，其中，所述目标数据的类型包括文本类型和预设类型，所述提示信息包括语音分类任务信息；基于所述语音特征向量和所述提示信息，对所述语音数据执行分类操作。

3、第二方面，本申请实施例还提供了一种语音分类装置，包括：获取单元、确定单元和处理单元。获取单元，用于获取待处理的语音数据对应的语音特征向量。确定单元，用于获取识别模型基于目标数据得到的提示信息，其中，所述目标数据的类型包括文本类型和预设类型，所述提示信息包括语音分类任务信息。处理单元，用于基于所述语音特征向量和所述提示信息，对所述语音数据执行分类操作。

4、第三方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述方法。

5、第四方面，本申请实施例还提供了一种计算机可读介质，所述可读存储介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行上述方法。

6、本申请提供的语音分类方法、装置、电子设备及计算机可读介质，获取待处理的语音数据对应的语音特征向量，获取识别模型基于目标数据得到的提示信息，其中，所述目标数据的类型包括文本类型和预设类型，所述提示信息包括语音分类任务信息，基于所述语音特征向量和所述提示信息，对所述语音数据执行分类操作。由于可以通过目标数据的识别来确定提示信息，并且该目标数据包含有文本类型之外的其他类型，从而能够提供多种模态的数据输入提示信息的方式。

7、本申请实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种语音分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述预设类型包括视频、语音、图像和热力图的至少一种。

3.根据权利要求1所述的方法，其特征在于，所述基于所述语音特征向量和所述提示信息，对所述语音数据执行分类操作，包括：

4.根据权利要求3所述的方法，其特征在于，在获取所述语音语言模型基于所述语音特征向量和所述提示信息输出的多个语音单元之后，还包括：

5.根据权利要求3所述的方法，其特征在于，所述语音语言模型为speech lm模型，语音分析模型为verbalizer模型。

6.根据权利要求1所述的方法，其特征在于，所述识别模型为chatbridge模型。

7.根据权利要求1所述的方法，其特征在于，所述语音分类任务包括关键词识别、意图识别、语种识别、虚假语音检测、情感识别、口音分类、讽刺检测、性别识别、声音活动检测、音频分类、发音障碍分类和语音命令识别中的至少一个。

8.一种语音分类装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读介质，其特征在于，所述计算机可读介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行权利要求1-7任一项所述方法。

技术总结本申请公开了一种语音分类方法、装置、电子设备及计算机可读介质，涉及计算机技术领域，方法包括：获取待处理的语音数据对应的语音特征向量，获取识别模型基于目标数据得到的提示信息，其中，所述目标数据的类型包括文本类型和预设类型，所述提示信息包括语音分类任务信息，基于所述语音特征向量和所述提示信息，对所述语音数据执行分类操作。由于可以通过目标数据的识别来确定提示信息，并且该目标数据包含有文本类型之外的其他类型，从而能够提供多种模态的数据输入提示信息的方式。技术研发人员：陈昌儒,李标受保护的技术使用者：OPPO广东移动通信有限公司技术研发日：技术公布日：2024/1/15