提示信息的质量估计方法、服务器及计算机可读存储介质与流程

本技术涉及质量评估，特别涉及一种提示信息的质量估计方法、服务器及计算机可读存储介质。

背景技术：

1、为提高大语言模型(large language model，llm)的输出结果质量，可通过提示(prompt)引导大语言模型进行推理，以使大语言模型输出更为有效的预测结果，也因此，提示的质量与大语言模型的输出结果质量相关。然而，提示的质量估计通常是基于人工完成，因而质量估计结果的可信度难以得到保障。

技术实现思路

1、本技术提供了一种提示信息的质量估计方法、服务器及计算机可读存储介质。

2、本技术实施方式提供一种提示信息的质量评估方法，包括：

3、获取目标提示信息、目标语音请求及所述目标语音请求的第一结构化数据标签，其中，结构化数据标签包括目标语音请求的自然语言处理结果的结构化表达；

4、基于所述目标提示信息和大语言模型，确定所述目标语音请求的第一结构化数据预测结果，其中，所述大语言模型预先训练完成，且能够根据提示信息预测语音请求的结构化数据；

5、根据所述第一结构化数据标签和所述第一结构化数据预测结果，估计所述目标提示信息的质量。

6、在本技术实施方式提供的提示信息的质量估计方法中，服务器可获取待估计质量的目标提示信息，及获取目标语音请求和目标语音请求的第一结构化数据标签。基于目标提示信息，和预先训练完成且能根据提示信息预测语音请求的结构化数据的大语言模型，确定目标语音请求的第一结构化数据预测结果。根据目标语音请求的第一结构化数据标签和第一结构化数据预测结果，估计目标提示信息的质量。

7、如此，在本技术实施方式中，服务器可根据大语言模型基于目标提示信息确定的第一结构化数据预测结果，以及目标语音请求的第一结构化数据标签，估计目标提示信息的质量，使得提示信息的质量估计得以实现。本技术实施方式的服务器可根据目标语音请求的第一结构化数据预测结果和第一结构化数据标签完成目标提示信息的质量估计，从而在一定程度上使得质量估计过程中的人工参与环节减少，在一定程度使得质量估计结果的可信度得以保障。

8、在本技术某些实施方式中，所述基于所述目标提示信息和大语言模型，确定所述目标语音请求的第一结构化数据预测结果，包括：

9、基于所述大语言模型、所述目标提示信息、所述目标语音请求及所述目标语音请求对应的多个候选结构化数据，确定所述第一结构化数据预测结果。

10、如此，本技术实施方式的服务器可基于目标语音请求和目标提示信息，使大语言语音模型可对目标语音请求对应的多个候选结构化数据进行选取，从而输出第一结构化数据预测结果，进而第一结构化数据预测结果和第一结构化数据标签的差异可简单高效的确定，目标提示信息的质量估计效率能在一定程度上得到保障。

11、在本技术某些实施方式中，所述大语言模型包括多个，所述第一结构化数据预测结果包括每个所述大语言模型分别确定的第一结构化数据预测子结果，所述根据所述第一结构化数据标签和所述第一结构化数据预测结果，估计所述目标提示信息的质量，包括：

12、在多个所述第一结构化数据预测子结果内，与所述第一结构化数据标签形成匹配的第一结构化数据预测子结果的数量满足预设条件的情况下，确定所述目标提示信息的质量为第一预设质量。

13、如此，本技术实施方式的服务器可根据由多个大语言模型分别根据目标提示信息和目标语音请求所确定的多个第一结构化数据预测子结果，得到多个第一结构化数据预测子结果中与第一结构化数据标签形成匹配的子结果的数量，进而在与第一结构化数据标签形成匹配的子结果的数量满足预设条件的情况下，确定目标提示信息的质量为第一预设质量，由此完成目标提示信息的质量估计，质量估计结果的可信程度和确定效率均能在一定程度上得到保障。

14、在本技术某些实施方式中，所述根据所述第一结构化数据标签和所述第一结构化数据预测结果，估计所述目标提示信息的质量，包括：

15、在多个所述第一结构化数据预测子结果内，与所述第一结构化数据标签形成匹配的第一结构化数据预测子结果的数量未满足所述预设条件的情况下，确定所述目标提示信息的质量为第二预设质量。

16、如此，本技术实施方式的服务器可在多个第一结构化数据预测子结果中与第一结构化数据标签形成匹配的子结果的数量未满足预设条件的情况下，确定目标提示信息的质量为第二质量结果，使得质量估计结果的确定效率得以保障。

17、在本技术某些实施方式中，所述方法还包括：

18、在所述目标提示信息的质量为第二预设质量的情况下，对所述目标提示信息进行调整处理，得到调整处理后的目标提示信息。

19、如此，本技术实施方式的服务器可确定目标提示信息的质量为第二预设质量的情况下，对目标提示信息进行调整，从而在一定程度上提高目标提示信息的质量。

20、在本技术某些实施方式中，所述在所述目标提示信息的质量为第二预设质量的情况下，对所述目标提示信息进行调整处理，得到调整处理后的目标提示信息，包括：

21、在所述目标提示信息的质量为所述第二预设质量的情况下，将预先确定的语音请求示例和所述语音请求示例的第二结构化数据标签共同与所述目标提示信息融合，得到所述调整处理后的目标提示信息。

22、如此，本技术实施方式的服务器可将预先确定的语音请求示例和语音请求示例的第二结构化数据标签共同与目标提示信息融合，从而完成目标提示信息的调整，进而，大语言模型可通过调整后的目标提示信息中的语音请求示例和语音请求示例的第二结构化数据标签，预测语音请求的结构化数据，由此在一定程度上提高了大语言模型的预测精度，进而在一定程度上使得目标提示信息的质量得以可靠提升。

23、在本技术某些实施方式中，所述在所述目标提示信息的质量为所述第二预设质量的情况下，对所述目标提示信息进行调整处理，得到调整处理后的目标提示信息，包括：

24、在所述目标提示信息的质量为所述第二预设质量的情况下，对所述目标提示信息中与所述第一结构化数据标签相对应的提示子信息进行标记，得到所述调整处理后的目标提示信息。

25、如此，本技术实施方式的服务器可将目标提示信息中，与第一结构化数据标签相对应的提示子信息标记以完成目标提示信息的调整，进而在大语言模型通过调整后的目标提示信息进行结构化数据的预测时，可关注或考虑到被标记的与第一结构化数据标签相对应的提示子信息，从而能在一定程度上提高大语言模型的预测精度，因而在一定程度上使得目标提示信息的质量得以可靠提升。

26、在本技术某些实施方式中，所述基于所述目标提示信息和大语言模型，确定所述目标语音请求的第一结构化数据预测结果，包括：

27、基于所述大语言模型和所述调整处理后的目标提示信息，确定第二结构化数据预测结果。

28、如此，本技术实施方式的服务器可利用大语言模型，估计调整后的目标提示信息的质量，使得调整后的目标提示信息的质量得以可靠估计。

29、本技术实施方式提供一种服务器，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述的质量估计方法。

30、本技术实施方式提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被一个或多个处理器执行时，实现上述的质量估计方法。

31、本技术实施方式提供的服务器和计算机可读存储介质，可根据大语言模型基于目标提示信息确定的第一结构化数据预测结果，以及目标语音请求的第一结构化数据标签，估计目标提示信息的质量，使得提示信息的质量估计得以实现。本技术实施方式可根据目标语音请求的第一结构化数据预测结果和第一结构化数据标签完成目标提示信息的质量估计，从而在一定程度上使得质量估计过程中的人工参与环节减少，在一定程度使得质量估计结果的可信度得以保障。

32、本技术的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施方式的实践了解到。