模型的质量评估方法、服务器及计算机可读存储介质与流程

本技术涉及神经网络模型，特别涉及一种模型的质量评估方法、服务器及计算机可读存储介质。

背景技术：

1、在保障语音交互的合理进行，可对多个模型分别进行质量评估，以选取质量最高的模型用于语音交互。然而，模型的质量评估通常是模型的准确率或是召回率来进行，难以可靠反映出模型的质量。

技术实现思路

1、本技术提供了一种模型的质量评估方法、服务器及计算机可读存储介质。

2、本技术实施方式提供一种模型的质量评估方法，包括：

3、获取目标语音请求和所述目标语音请求的第一结构化处理结果，其中，结构化处理结果包括针对语音请求的自然语言处理结果的结构化表达；

4、基于第一大语言模型，确定所述目标语音请求的第二结构化处理结果，其中，所述第一大语言模型预先训练完成，且能够根据确定语音请求的结构化处理结果；

5、根据所述第一结构化处理结果和所述第二结构化处理结果，评估所述第一大语言模型的质量。

6、本技术实施方式提供的模型的质量评估方法中，服务器可获取目标语音请求和所述目标语音请求的第一结构化处理结果，基于第一大语言模型确定目标语音请求的第二结构化处理结果，及根据目标语音请求的第一结构化处理结果和第二结构化处理结果，评估第一大语言模型的质量。

7、如此，在本技术实施方式中，服务器可根据目标语音请求和目标语音请求的第一结构化处理结果，以及第一大语言模型根据目标语音请求确定的第二结构化处理结果，评估第一大语言模型的质量，使得第一大语言模型的质量评估可考虑到第一大语言模型的结构化能力，第一大语言模型的质量得以可靠评估。

8、在本技术某些实施方式中，所述根据所述第一结构化处理结果和所述第二结构化处理结果，评估所述第一大语言模型的质量，包括：

9、对所述第二结构化处理结果进行解析处理；

10、在所述第二结构化处理结果解析处理成功的情况下，根据所述第一结构化处理结果和所述第二结构化处理结果，评估所述第一大语言模型的质量。

11、如此，本技术实施方式的服务器可在第二结构化处理结果成功解析的情况下，通过第一结构化处理结果和第二结构化处理结果评估第一大语言模型的质量，使得第一大语言模型的质量能与第二结构化处理结果的解析结果相关，从而在一定程度上使得第一大语言模型的质量评估结果的可信度得以保障。

12、在本技术某些实施方式中，所述在所述第二结构化处理结果解析处理成功的情况下，根据所述第一结构化处理结果和所述第二结构化处理结果，评估所述第一大语言模型的质量，包括：

13、在所述第二结构化处理结果解析处理成功，且所述第二结构化处理结果中每个数据的数据类型与所述第一结构化处理结果中每个数据的数据类型形成匹配的情况下，确定所述第一大语言模型的质量合格。

14、如此，本技术实施方式的服务器可在第二结构化处理结果的解析处理成功，且第二结构化处理结果中的每个数据的数据类型与第一结构化处理结果中每个数据的数据类型形成匹配的情况下，确认第一大语言模型的质量合格，在一定程度上使得第一大语言模型的质量评估的可靠性得以保障。

15、在本技术某些实施方式中，所述获取目标语音请求和所述目标语音请求的第一结构化处理结果，包括：

16、根据预先确定的第二大语言模型，生成所述目标语音请求及所述第一结构化处理结果，其中，所述第二大语言模型能够生成语音请求及语音请求的结构化处理结果。

17、如此，本技术实施方式可根据第二大语言模型，生成目标语音请求及第一结构化处理结果，使得目标语音请求及第一结构化处理结果的获取难度得以降低。

18、在本技术某些实施方式中，所述根据预先确定的第二大语言模型，生成所述目标语音请求及所述第一结构化处理结果，包括：

19、根据所述第二大语言模型和用于生成结构化处理结果的预设信息，生成所述第一结构化处理结果和所述第一结构化处理结果的结果表征信息；

20、根据结果表征信息和预先确定的任务描述信息，确定所述目标语音请求。

21、如此，本技术实施方式可在第二大语言模型生成第一结构化处理结果及第一结构化处理结果的结果表征信息的情况下，根据结果表征信息和预先确定的任务描述信息，得到目标语音请求，以使得第一大语言模型可通过目标语音请求中的结果表征信息和任务描述信息，推理出相应的结构化处理结果。

22、在本技术某些实施方式中，所述根据预先确定的第二大语言模型，生成所述目标语音请求及所述第一结构化处理结果，包括：

23、基于所述第二大语言模型，生成候选语音请求及所述候选语音请求的第三结构化处理结果；

24、基于所述第二大语言模型，确定所述候选语音请求的第四结构化处理结果；

25、根据所述第三结构化处理结果、所述第四结构化处理结果及所述候选语音请求，确定所述目标语音请求和所述目标结构化处理结果。

26、如此，本技术实施方式的服务器可根据第三结构化处理结果、第四结构化处理结果及候选语音请求，完成目标语音请求及目标结构化处理结果的确定，在一定程度上保障了目标语音请求及目标结构化处理结果的有效性。

27、在本技术某些实施方式中，所述候选语音请求包括多个，所述根据所述第三结构化处理结果、所述第四结构化处理结果及所述候选语音请求，确定所述目标语音请求和所述目标结构化处理结果，包括：

28、在所述第三结构化处理结果和所述第四结构化处理结果形成匹配的情况下，将所述候选语音请求确定为第一参考语音请求，及将所述第三结构化处理结果确定为第一参考结构化处理结果；

29、在所述第三结构化处理结果和所述第四结构化处理结果未形成匹配的情况下，将所述候选语音请求确定为第二参考语音请求，及将所述第三结构化处理结果确定为第二参考结构化处理结果；

30、根据所述第一参考语音请求和所述第一参考结构化处理结果，及所述第二参考语音请求和所述第二参考结构化处理结果，确定所述目标语音请求和所述目标语音请求的目标结构化处理结果。

31、如此，本技术实施方式可在候选语音请求的第三结构化处理结果和第四结构化处理结果形成匹配或未形成匹配的情况下，将候选语音请求及第三结构化处理结果分别确定为第一参考语音请求及第一参考结构化处理结果确定，或将候选语音请求及第三结构化处理结果分别确定为第二参考语音请求及第二参考结构化处理结果确定，从而可根据第一参考语音请求、第一参考结构化处理结果、第二参考语音请求及第二参考结构化处理结果，完成目标语音请求及目标结构化处理结果确定，使得目标语音请求及目标结构化处理结果的可靠性均能得到一定程度的保障。

32、在本技术某些实施方式中，所述根据所述第三结构化处理结果、所述第四结构化处理结果及所述候选语音请求，确定所述目标语音请求和所述目标结构化处理结果，包括：

33、获取所述第三结构化处理结果的验证信息；

34、根据所述第四结构化处理结果、所述候选语音请求及验证通过的第三结构化处理结果，确定所述目标语音请求和所述目标结构化处理结果。

35、如此，本技术实施方式的服务器可根据获取到的第三结构化处理结果的验证信息，确定验证通过的第三结构化处理结果，进而可根据第四结构化处理结果、候选语音请求及验证通过的第三结构化处理结果，完成目标语音请求和目标结构化处理结果的确定，在一定程度上使得目标语音请求和目标结构化处理结果的可信度得以保障。

36、本技术实施方式提供一种服务器，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述模型的质量评估方法。

37、本技术实施方式提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被一个或多个处理器执行时，实现上述模型的质量评估方法。

38、本技术实施方式提供的服务器和计算机可读存储介质，可根据目标语音请求和目标语音请求的第一结构化处理结果，以及第一大语言模型根据目标语音请求确定的第二结构化处理结果，评估第一大语言模型的质量，使得第一大语言模型的质量评估可考虑到第一大语言模型的结构化能力，第一大语言模型的质量得以可靠评估。

39、本技术的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施方式的实践了解到。