基于大语言模型的语音自动化操作方法、装置、电子设备和存储介质与流程

本技术涉及语音识别领域，具体而言，涉及一种基于大语言模型的语音自动化操作方法、装置、电子设备和存储介质。

背景技术：

1、随着大模型在人工智能领域中引起了广泛关注，大模型在各个领域中都大放光彩，在一些场景中，一些平台可能会需要语音控制功能，通过说一句话，来对平台的不同功能进行操作以及相关效果展示。因此，结合大模型的能力，我们可以对大模型进行一些预处理，来实现我们的具体功能。

2、在某些场景中要实现一些复杂场景的语音自动化操作功能，我们可以结合大模型来实现，例如在matrixvision场景中，通过语音控制相机的技能，“请帮我把名字为3号机位的相机添加工帽检测功能”，通过语音控制边缘盒子的功能，“把1号厂房的边缘盒子连接上4号相机”等，然而，一般大模型对于这种自然语言的回答是片面的以及不准确。

技术实现思路

1、本技术实施例的目的在于提供一种基于大语言模型的语音自动化操作方法、装置、电子设备和存储介质，用以实现基于用户输入语音执行操作指令，并提高回答的准确性。

2、第一方面，本发明提供一种基于大语言模型的语音自动化操作方法，所述方法包括：

3、接收用户输入的控制语音；

4、将所述控制语音作为大语言模型的输入，以使所述大语言模型输出控制语音的识别文本，并基于所述控制语音的识别文本提取第一文本内容和第二文本内容，以及使所述大语言模型确定所述第一文本内容的提示词和所述第二文本内容的提示词，并基于预回答模板输出所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词，其中，所述第一文本内容的提示词和所述第二文本内容的提示词基于使用场景和角色确定；

5、基于所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词确定操作指令；

6、执行所述操作指令。

7、本技术在接收用户输入的控制语音之后，能够将所述控制语音作为大语言模型的输入，以使所述大语言模型输出控制语音的识别文本，进而能够基于所述控制语音的识别文本提取第一文本内容和第二文本内容、确定所述第一文本内容的提示词和所述第二文本内容的提示词，并基于预回答模板输出所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词，其中，所述第一文本内容的提示词和所述第二文本内容的提示词基于使用场景和角色确定，进而能够基于所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词确定操作指令，进而能够执行所述操作指令，最终实现基于用户输入语音自动执行操作指令。另一方面，本技术通过所述第二文本内容的提示词能够指示第二文本内容为操作指令的动作、通过第一文本内容的提示词能够提示第一文本内容为操作指令的目标，从而提高回答的准确性，即使大语言模型回答的第一文本内容和第二文本内容更加贴近操作指令。

8、在可选的实施方式中，所述方法还包括：

9、获取训练样本，其中，所述训练样本包括问题样例、针对所述问题样例的回答样例和针对所述回答样例的标注提示词；

10、基于所述训练样本训练所述大语言模型。

11、本可选的实施方式通过获取训练样本，其中，所述训练样本包括问题样例、针对所述问题样例的回答样例和针对所述回答样例的标注提示词，进而能够基于所述训练样本训练所述大语言模型，使大语言模型具备提取第一文本内容、第二文本内容的能力，以及使大语言模型具备确定第一文本内容的提示词、确定第二文本内容的提示词的能力。

12、在可选的实施方式中，所述训练样本的数量在10条以上。

13、本可选的实施方式，可采用10条以上的训练样本训练语音模型，以避免样本太少。

14、在可选的实施方式中，所述方法还包括：

15、获取自定义模板并将所述自定义模板确定为所述预回答模板。

16、本可选的的实施方式可将所述自定义模板确定为所述预回答模板，从而提高回答形式的灵活性。

17、第二方面，本发明提供一种基于大语言模型的语音自动化操作装置，所述装置包括：

18、接收模块，用于接收用户输入的控制语音；

19、回答模块，用于将所述控制语音作为大语言模型的输入，以使所述大语言模型输出控制语音的识别文本，并基于所述控制语音的识别文本提取第一文本内容和第二文本内容，以及使所述大语言模型确定所述第一文本内容的提示词和所述第二文本内容的提示词，并基于预回答模板输出所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词，其中，所述第一文本内容的提示词和所述第二文本内容的提示词基于使用场景和角色确定；

20、确定模块，用于基于所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词确定操作指令；

21、操作模块，用于执行所述操作指令。

22、本技术在接收用户输入的控制语音之后，能够将所述控制语音作为大语言模型的输入，以使所述大语言模型输出控制语音的识别文本，进而能够基于所述控制语音的识别文本提取第一文本内容和第二文本内容、确定所述第一文本内容的提示词和所述第二文本内容的提示词，并基于预回答模板输出所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词，其中，所述第一文本内容的提示词和所述第二文本内容的提示词基于使用场景和角色确定，进而能够基于所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词确定操作指令，进而能够执行所述操作指令，最终实现基于用户输入语音自动执行操作指令。另一方面，本技术通过所述第二文本内容的提示词能够指示第二文本内容为操作指令的动作、通过第一文本内容的提示词能够提示第一文本内容为操作指令的目标，从而提高回答的准确性，即使大语言模型回答的第一文本内容和第二文本内容更加贴近操作指令。

23、在可选的实施方式中，所述装置还包括：

24、第一获取模块，用于获取训练样本，其中，所述训练样本包括问题样例、针对所述问题样例的回答样例和针对所述回答样例的标注提示词；基于所述训练样本训练所述大语言模型。

25、本可选的实施方式通过获取训练样本，其中，所述训练样本包括问题样例、针对所述问题样例的回答样例和针对所述回答样例的标注提示词，进而能够基于所述训练样本训练所述大语言模型，使大语言模型具备提取第一文本内容、第二文本内容的能力，以及使大语言模型具备确定第一文本内容的提示词、确定第二文本内容的提示词的能力。

26、在可选的实施方式中，所述训练样本的数量在10条以上。

27、本可选的实施方式，可采用10条以上的训练样本训练语音模型，以避免样本太少。

28、在可选的实施方式中，所述装置还包括：

29、第二获取模块，用于获取自定义模板并将所述自定义模板确定为所述预回答模板。

30、本可选的的实施方式可将所述自定义模板确定为所述预回答模板，从而提高回答形式的灵活性。

31、第三方面，本发明提供一种电子设备，包括：

32、处理器；以及

33、存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，执行如前述实施方式任一项所述的基于大语言模型的语音自动化操作方法。

34、本技术的电子设备通过执行基于大语言模型的语音自动化操作方法，进而能够在接收用户输入的控制语音之后，将所述控制语音作为大语言模型的输入，以使所述大语言模型输出控制语音的识别文本，进而能够基于所述控制语音的识别文本提取第一文本内容和第二文本内容、确定所述第一文本内容的提示词和所述第二文本内容的提示词，并基于预回答模板输出所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词，其中，所述第一文本内容的提示词和所述第二文本内容的提示词基于使用场景和角色确定，进而能够基于所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词确定操作指令，进而能够执行所述操作指令，最终实现基于用户输入语音自动执行操作指令。另一方面，本技术通过所述第二文本内容的提示词能够指示第二文本内容为操作指令的动作、通过第一文本内容的提示词能够提示第一文本内容为操作指令的目标，从而提高回答的准确性，即使大语言模型回答的第一文本内容和第二文本内容更加贴近操作指令。

35、第四方面，本发明提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如前述实施方式任一项所述的基于大语言模型的语音自动化操作方法。

36、本技术的存储介质通过执行基于大语言模型的语音自动化操作方法，进而能够在接收用户输入的控制语音之后，将所述控制语音作为大语言模型的输入，以使所述大语言模型输出控制语音的识别文本，进而能够基于所述控制语音的识别文本提取第一文本内容和第二文本内容、确定所述第一文本内容的提示词和所述第二文本内容的提示词，并基于预回答模板输出所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词，其中，所述第一文本内容的提示词和所述第二文本内容的提示词基于使用场景和角色确定，进而能够基于所述第一文本内容、所述第二文本内容和所述第一文本内容的提示词、所述第二文本内容的提示词确定操作指令，进而能够执行所述操作指令，最终实现基于用户输入语音自动执行操作指令。另一方面，本技术通过所述第二文本内容的提示词能够指示第二文本内容为操作指令的动作、通过第一文本内容的提示词能够提示第一文本内容为操作指令的目标，从而提高回答的准确性，即使大语言模型回答的第一文本内容和第二文本内容更加贴近操作指令。