一种自然语言通用模型能力优化评价方法、系统、设备及存储介质与流程

本发明涉及自然语言通用模型优化评价，尤其涉及一种自然语言通用模型能力优化评价方法、系统、设备及存储介质。

背景技术：

1、在基于自然语言通用模型智能应答系统优化中，各种调优手法的不同组合，会得到不同的模型能力提升与下降，从而影响到了应答内容的精确与合理性。例如，随机抽样进行组合尝试，对全量的优化组合方案，以一定的人工经验进行抽样选取多组方案进行优化测试，然后根据结果质量选取最优的组合方案；进行全量的组合尝试，对全量的优化组合方案，逐一进行优化测试，然后根据结果质量选取最优的组合方案。

2、随机抽样进行组合尝试的方法虽会借助人工经验去减少遗漏的最优组合，但抽样毕竟不是测试全量的优化组合，因此，始终还是会遗漏不少较优的优化组合，特别是相关的组合方式过多的场景，遗漏最优的优化组合尤其严重；进行全量的组合尝试，肯定不会遗漏最优的组合，但仅适用于调优方式的总数量不多的情况。否则，如果调式方式种类数或各调式方式的具体方法数有相当大的数量，会使整个调优过程极其耗时。最后，还可能会因调优耗时过长，而错过模型结果的有效期。

技术实现思路

1、针对上述问题中存在的不足之处，本发明提供一种自然语言通用模型能力优化评价方法、系统、设备及存储介质。

2、为实现上述目的，本发明提供一种自然语言通用模型能力优化评价方法，包括：

3、获取测试出优化后的模型质量数据；

4、对所述质量数据按照优化方式分类，每个优化方式作为一属性字段，并测试获得每个优化方式对应的推理质量值；

5、基于所述属性字段和对应所述推理质量值计算各个属性字段关联度；

6、所述字段关联度大于等于预先设置的阈值，则利用熵权topsis重塑各个相似度高的特征，直到每个所述属性字段关联度均小于所述阈值；

7、将小于所述阈值的所述字段关联度输入lightgbm树算法模型进行训练，获得优化评估预测值；

8、将所述优化评估预测值按照从大到小排序，并筛选出前n个最大预测值；

9、将所述前n个最大预测值输入自然语言通用模型进行优化测试，输出质量评估值；

10、若所述质量评估值不符合，则将所述质量评估值替换小于所述阈值的所述字段关联度输入所述lightgbm树算法模型进行训练，直至所述质量评估值符合真实情况。

11、优选的是，对所述质量数据按照优化方式分类，每个优化方式作为一属性字段包括：

12、将优化方式各个属性字段的枚举类进行数值型转化，转换公式为：

13、(xn-xmin)/(xmax-xmin)；

14、其中，x为优化方式；n为第n个优化方式；xn为当前值，xmin为当前属性的最小值，xmax为当前属性的最大值。

15、优选的是，基于所述属性字段和对应所述推理质量值计算各个属性字段关联度，计算公式为：

16、

17、其中，xi＝{x1、x2、x3、......、xn}为属性字段元素；yi＝{y1、y2、y3、......、yn}为推理质量值，n为属性字段元素数量。

18、本发明还提供一种自然语言通用模型能力优化评价系统，包括：

19、获取模块，用于获取测试出优化后的模型质量数据；

20、分类模块，用于对所述质量数据按照优化方式分类，每个优化方式作为一属性字段，并测试获得每个优化方式对应的推理质量值；

21、计算模块，用于基于所述属性字段和对应所述推理质量值计算各个属性字段关联度；

22、筛选模块，用于所述字段关联度大于等于预先设置的阈值，则利用熵权topsis重塑各个相似度高的特征，直到每个所述属性字段关联度均小于所述阈值；

23、训练模块，用于将小于所述阈值的所述字段关联度输入lightgbm树算法模型进行训练，获得优化评估预测值；

24、排序模块，用于将所述优化评估预测值按照从大到小排序，并筛选出前n个最大预测值；

25、测试模块，用于将所述前n个最大预测值输入自然语言通用模型进行优化测试，输出质量评估值；

26、验证模块，用于若所述质量评估值不符合，则将所述质量评估值替换小于所述阈值的所述字段关联度输入所述lightgbm树算法模型进行训练，直至所述质量评估值符合真实情况。

27、优选的是，对所述质量数据按照优化方式分类，每个优化方式作为一属性字段包括：

28、将优化方式各个属性字段的枚举类进行数值型转化，转换公式为：

29、(xn-xmin)/(xmax-xmin)；

30、其中，x为优化方式；n为第n个优化方式；xn为当前值，xmin为当前属性的最小值，xmax为当前属性的最大值。

31、优选的是，基于所述属性字段和对应所述推理质量值计算各个属性字段关联度，计算公式为：

32、

33、其中，xi＝{x1、x2、x3、......、xn}为属性字段元素；yi＝{y1、y2、y3、......、yn}为推理质量值，n为属性字段元素数量。

34、本发明还提供一种设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述的方法。

35、本发明还提供一种存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述的方法。

36、与现有技术相比，本发明的有益效果为：

37、本发明对已实际测试出部分的自然语言通用模型调优相关方式组合数据进行训练，并预测出全量调优组合的自然语言通用模型的预估质量，从而在选择调优后质量最好的进行验证，如确实是较优的，就结束，否则将这些实际测试的数据更新原有的训练数据，使预测模型更精确，推理出的调优方式更准确，从而无需跑完所有的调优组合，也可获得基本最优的调优组合，从而使自然语言通用模型快速获得最优的优化结果。

技术特征：

1.一种自然语言通用模型能力优化评价方法，其特征在于，包括：

2.根据权利要求1所述的自然语言通用模型能力优化评价方法，其特征在于，对所述质量数据按照优化方式分类，每个优化方式作为一属性字段包括：

3.根据权利要求2所述的自然语言通用模型能力优化评价方法，其特征在于，基于所述属性字段和对应所述推理质量值计算各个属性字段关联度，计算公式为：

4.一种自然语言通用模型能力优化评价系统，其特征在于，包括：

5.根据权利要求4所述的自然语言通用模型能力优化评价系统，其特征在于，对所述质量数据按照优化方式分类，每个优化方式作为一属性字段包括：

6.根据权利要求5所述的自然语言通用模型能力优化评价系统，其特征在于，基于所述属性字段和对应所述推理质量值计算各个属性字段关联度，计算公式为：

7.一种设备，其特征在于，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～3任一权利要求所述的方法。

8.一种存储介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行权利要求1～3任一权利要求所述的方法。

技术总结本发明公开了一种自然语言通用模型能力优化评价方法、系统、设备及存储介质，包括获取测试出优化后的模型质量数据；对质量数据分类，每个优化方式作为一属性字段，获得每个优化方式对应的推理质量值；基于属性字段和对应推理质量值计算各个属性字段关联度；字段关联度大于等于预先设置的阈值，重塑各个相似度高的特征，直到每个属性字段关联度均小于阈值；将小于阈值的字段关联度输入LightGBM树算法模型进行训练，获得优化评估预测值；筛选出前N个最大预测值；将前N个最大预测值输入自然语言通用模型进行优化测试，输出质量评估值；若质量评估值不符合，则将质量评估值输入LightGBM树算法模型进行训练，直至质量评估值符合真实情况。本发明预测更精确。技术研发人员：杨建雄受保护的技术使用者：北京思特奇信息技术股份有限公司技术研发日：技术公布日：2024/12/2