大语言模型微调方法、样本特征补全方法及装置与流程

本说明书一个或多个实施例涉及自然语言处理，尤其涉及一种大语言模型微调方法、样本特征补全方法及装置。

背景技术：

1、特征工程是当前深度学习最重要的环节，特征工程的质量决定了深度学习模型的质量，也是目前深度学习建模中最重要的一部分。受到一些客观因素例如成本、数据隐私等影响，建模过程中的训练样本数据特征往往是不完整的。这些特征的缺失会导致训练模型性能下降。目前，需要使用方法对这些缺失的特征进行更准确的补全，从而提高模型的性能。

2、因此，希望能有改进的方案，可以提高对样本特征补全时的准确性。

技术实现思路

1、本说明书一个或多个实施例描述了一种大语言模型微调方法、样本特征补全方法及装置，以提高对样本特征补全时的准确性。具体的技术方案如下。

2、第一方面，实施例提供了一种适用于样本特征补全的大语言模型微调方法，包括：

3、将第一样本包含的若干特征及其特征值转换成第一语言文本；其中，所述第一样本包含的第一特征的特征值用于作为待预测特征的标签数据，所述第一语言文本不包含所述第一特征的特征值；

4、基于所述第一语言文本和所述第一特征生成第一提示模板；

5、利用所述第一提示模板和所述标签数据对所述大语言模型进行微调，以使得所述大语言模型基于所述第一语言文本对所述第一特征的特征值进行预测。

6、在一种实施方式中，所述将第一样本包含的若干特征及其特征值转换成第一语言文本的步骤，包括：

7、按照预设的句子模板，基于所述若干特征的语义文本信息和特征值生成若干句子，加入生成句子集；

8、基于所述生成句子集生成初始文本；

9、基于所述初始文本确定所述第一语言文本。

10、在一种实施方式中，当所述若干特征包含所述第一特征及其特征值时，所述基于所述初始文本确定所述第一语言文本的步骤，包括：

11、从所述初始文本中去除所述第一特征的特征值，得到所述第一语言文本。

12、在一种实施方式中，当所述若干特征不包含所述第一特征及其特征值时，所述基于所述初始文本确定所述第一语言文本的步骤，包括：

13、将所述初始文本直接确定为所述第一语言文本。

14、在一种实施方式中，所述若干句子包括第一句子，所述第一句子以特征的语义文本信息作为主语，以预设词作为谓语，以该特征的特征值作为宾语。

15、在一种实施方式中，采用以下方式确定所述第一特征：

16、从所述第一样本包含的若干特征中随机选择特征作为所述第一特征。

17、在一种实施方式中，所述第一提示模板包括提示文本和问题文本；所述基于所述第一语言文本和所述第一特征生成第一提示模板的步骤，包括：

18、基于所述第一语言文本生成所述提示文本，基于所述第一特征生成所述问题文本。

19、在一种实施方式中，所述利用所述第一提示模板和所述标签数据对所述大语言模型进行微调的步骤，包括：

20、通过所述大语言模型，基于所述第一提示模板中的第一语言文本，对所述第一特征的特征值进行预测，得到预测值；

21、基于所述预测值与所述标签数据之间的差异，对所述大语言模型的训练权重进行微调。

22、第二方面，实施例提供了一种基于大语言模型的样本特征补全方法，包括：

23、获取待补全特征的第二样本；所述第二样本包含第二特征和若干其他特征的特征值，不包含所述第二特征的特征值；

24、将所述第二样本包含的若干特征及其特征值转换为第二语言文本；

25、基于所述第二语言文本和所述第二特征生成第二提示模板；

26、将所述第二提示模板输入大语言模型，通过所述大语言模型基于所述第二语言文本对所述第二特征的特征值进行预测，得到预测值；

27、基于所述预测值确定所述第二特征的特征值。

28、在一种实施方式中，所述将所述第二样本包含的若干特征及其特征值转换为第二语言文本的步骤，包括：

29、按照预设的句子模板，基于所述若干特征的语义文本信息和特征值生成若干句子，加入生成句子集；

30、基于所述生成句子集生成所述第二语言文本。

31、在一种实施方式中，所述若干句子包括第二句子，所述第二句子以特征的语义文本信息作为主语，以预设词作为谓语，以该特征的特征值作为宾语。

32、在一种实施方式中，所述第二提示模板包括提示文本和问题文本；所述基于所述第二语言文本和所述第二特征生成第二提示模板的步骤，包括：

33、基于所述第二语言文本生成所述提示文本，基于所述第二特征生成所述问题文本。

34、在一种实施方式中，所述基于所述预测值确定所述第二特征的特征值的步骤，包括：

35、对所述第二样本所在的训练集中多个样本的第二特征的特征值进行统计，得到统计值；

36、基于所述统计值对所述预测值的可信性进行判断；

37、当确定所述预测值可信时，将所述预测值确定为所述第二特征的特征值。

38、第三方面，实施例提供了一种适用于样本特征补全的大语言模型微调装置，包括：

39、第一转换模块，配置为将第一样本包含的若干特征及其特征值转换成第一语言文本；其中，所述第一样本包含的第一特征的特征值用于作为待预测特征的标签数据，所述第一语言文本不包含所述第一特征的特征值；

40、第一生成模块，配置为基于所述第一语言文本和所述第一特征生成第一提示模板；

41、模型微调模块，配置为利用所述第一提示模板和所述标签数据对所述大语言模型进行微调，以使得所述大语言模型基于所述第一语言文本对所述第一特征的特征值进行预测。

42、第四方面，实施例提供了一种基于大语言模型的样本特征补全装置，包括：

43、样本获取模块，配置为获取待补全特征的第二样本；所述第二样本包含第二特征和若干其他特征的特征值，不包含所述第二特征的特征值；

44、第二转换模块，配置为将所述第二样本包含的若干特征及其特征值转换为第二语言文本；

45、第二生成模块，配置为基于所述第二语言文本和所述第二特征生成第二提示模板；

46、特征预测模块，配置为将所述第二提示模板输入大语言模型，通过所述大语言模型基于所述第二语言文本对所述第二特征的特征值进行预测，得到预测值；

47、特征确定模块，配置为基于所述预测值确定所述第二特征的特征值。

48、第五方面，实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面和第二方面中任一项所述的方法。

49、第六方面，实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面和第二方面中任一项所述的方法。

50、本说明书实施例提供的方法及装置中，将已有样本转换成语言文本，并利用样本中的已有特征值作为标签数据，利用该语言文本和待预测特征构建用于对大语言模型进行微调的提示模板，利用该提示模板对大语言模型进行训练，训练后的大语言模型可以用于对样本中缺失的样本进行预测和补全，利用大语言模型中蕴含的知识，挖掘样本对应的语言文本中各个特征之间的联系，从而准确地对缺失特征进行填充，因此能够提高对样本特征补全时的准确性。