数据处理方法、装置、计算机设备和可读存储介质与流程

本技术涉及人工智能，特别是涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着人工智能技术的发展，大语言模型的应用领域逐渐广泛。

2、传统技术中，通过大语言模型内部的神经网络结构，将输入文本的语义和语法特征映射到文本上，生成语意连贯的回复文本，或基于输入的条件将文本的语义特征映射到图像，得到输入文本相关联的图像。

3、然而，传统技术中的大语言模型仅用于文本和图像的生成，大语言模型在业务处理上具有局限性，导致在需要进行数据转换的业务上，业务处理效率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据处理方法，包括：

3、获取待处理数据，将所述待处理数据和所述待处理数据待转换的目标数据类型输入至数据处理模型；

4、通过所述数据处理模型中的多模态编码层和多模态输入投影层对所述待处理数据进行编码和投影，生成所述待处理数据的编码表达；

5、基于所述数据处理模型中的推理层对所述编码表达进行语义推理，得到所述待处理数据对应的文本响应和所述文本响应对应的标识符号；

6、根据所述数据处理模型中的多模态输出投影层和多模态解码层对所述文本响应和所述标识符号进行投影和输出，得到转换后所述目标数据类型的数据。

7、在其中一个实施例中，所述根据所述数据处理模型中的多模态输出投影层和多模态解码层对所述文本响应和所述标识符号进行投影和输出，得到转换后所述目标数据类型的数据，包括：

8、根据所述数据处理模型中的多模态输出投影层将所述文本响应和所述标识符号映射为多模态编码层对应的目标编码表达；

9、基于所述标识符号确定所述多模态解码层的输出模式，通过所述输出模式对所述目标编码表达进行解码，得到转换后的所述目标数据类型的数据。

10、在其中一个实施例中，所述获取待处理数据之前，所述方法还包括：

11、获取多模态样本集；所述多模态样本集包括多模态样本数据和所述多模态样本数据对应的样本标签；

12、根据所述多模态样本数据和所述样本标签对待训练数据处理模型的多模态输入投影层、多模态输出投影层分别进行对齐训练；

13、对指令调整数据进行训练，得到训练完成的数据处理模型。

14、在其中一个实施例中，所述样本标签包括描述标签；所述根据所述多模态样本数据和所述样本标签对待训练数据处理模型的多模态输入投影层、多模态输出投影层分别进行对齐训练，包括：

15、基于待训练数据处理模型的多模态输入投影层和推理层得到所述多模态样本数据对应的多模态投影结果；

16、根据所述多模态投影结果与所述描述标签计算所述多模态投影结果和所述描述标签的误差结果，进行误差反向传播，调整所述多模态输入投影层的第一特征权重，直至所述多模态投影结果和所述描述标签的误差结果小于第一阈值；

17、基于所述待训练数据处理模型的多模态输出投影层和多模态编码层得到所述多模态样本数据对应的第一标识符号结果和标准编码表达；

18、根据所述第一标识符号结果与所述描述标签，计算所述标准编码表达和所述第一标识符号结果之间的第一距离，调整所述多模态输出投影层的第二特征权重，直至所述标准编码表达和所述第一标识符号结果之间的第一距离小于第二阈值。

19、在其中一个实施例中，所述基于待训练数据处理模型的多模态输入投影层和推理层得到所述多模态样本数据对应的多模态投影结果，包括：

20、根据待训练数据处理模型的多模态编码层对所述多模态样本数据进行编码，得到初始编码结果；

21、根据所述待训练数据处理模型的多模态输入投影层对所述初始编码结果进行校准，得到目标编码结果；

22、基于所述待训练数据处理模型的推理层对所述目标编码结果进行语义推理，得到多模态投影结果。

23、在其中一个实施例中，所述基于所述待训练数据处理模型的多模态输出投影层和多模态编码层得到所述多模态样本数据对应的第一标识符号结果和标准编码表达，包括：

24、根据所述待训练数据处理模型的多模态输出投影层对所述文本响应和所述文本响应对应的标识符号进行投影传播，得到第一标识符号结果；

25、基于所述多模态编码层对所述描述标签进行编码，得到标准编码表达。

26、在其中一个实施例中，所述对指令调整数据进行训练，包括：

27、基于所述待训练数据处理模型的所述多模态输入投影层和所述推理层对各所述多模态样本数据进行数据处理，得到推理结果，计算所述推理结果与描述标签的交叉熵结果；

28、基于所述待训练数据处理模型的所述多模态输出投影层对各所述多模态样本数据进行数据处理得到第二标识符号结果；

29、计算所述第二标识符号结果与描述标签的第二距离；

30、基于所述交叉熵结果和所述第二距离对指令调整数据进行调整，直至所述交叉熵结果和所述第二距离满足预设训练条件。

31、第二方面，本技术还提供了一种数据处理装置，包括：

32、第一获取模块，用于获取待处理数据，将所述待处理数据和所述待处理数据待转换的目标数据类型输入至数据处理模型；

33、编码投影模块，用于通过所述数据处理模型中的多模态编码层和多模态输入投影层对所述待处理数据进行编码和投影，生成所述待处理数据的编码表达；

34、推理模块，用于基于所述数据处理模型中的推理层对所述编码表达进行语义推理，得到所述待处理数据对应的文本响应和所述文本响应对应的标识符号；

35、投影输出模块，用于根据所述数据处理模型中的多模态输出投影层和多模态解码层对所述文本响应和所述标识符号进行投影和输出，得到转换后所述目标数据类型的数据。

36、在其中一个实施例中，所述投影输出模块具体用于根据所述数据处理模型中的多模态输出投影层将所述文本响应和所述标识符号映射为多模态编码层对应的目标编码表达；

37、基于所述标识符号确定所述多模态解码层的输出模式，通过所述输出模式对所述目标编码表达进行解码，得到转换后的所述目标数据类型的数据。

38、在其中一个实施例中，所述装置还包括：

39、第二获取模块，用于获取多模态样本集；所述多模态样本集包括多模态样本数据和所述多模态样本数据对应的样本标签；

40、对齐训练模块，用于根据所述多模态样本数据和所述样本标签对待训练数据处理模型的多模态输入投影层、多模态输出投影层分别进行对齐训练；

41、训练模块，用于对指令调整数据进行训练，得到训练完成的数据处理模型。

42、在其中一个实施例中，所述样本标签包括描述标签；所述对齐训练模块具体用于基于待训练数据处理模型的多模态输入投影层和推理层得到所述多模态样本数据对应的多模态投影结果；

43、根据所述多模态投影结果与所述描述标签计算所述多模态投影结果和所述描述标签的误差结果，进行误差反向传播，调整所述多模态输入投影层的第一特征权重，直至所述多模态投影结果和所述描述标签的误差结果小于第一阈值；

44、基于所述待训练数据处理模型的多模态输出投影层和多模态编码层得到所述多模态样本数据对应的第一标识符号结果和标准编码表达；

45、根据所述第一标识符号结果与所述描述标签，计算所述标准编码表达和所述第一标识符号结果之间的第一距离，调整所述多模态输出投影层的第二特征权重，直至所述标准编码表达和所述第一标识符号结果之间的第一距离小于第二阈值。

46、在其中一个实施例中，所述对齐训练模块具体用于根据待训练数据处理模型的多模态编码层对所述多模态样本数据进行编码，得到初始编码结果；

47、根据所述待训练数据处理模型的多模态输入投影层对所述初始编码结果进行校准，得到目标编码结果；

48、基于所述待训练数据处理模型的推理层对所述目标编码结果进行语义推理，得到多模态投影结果。

49、在其中一个实施例中，所述对齐训练模块具体用于根据所述待训练数据处理模型的多模态输出投影层对所述文本响应和所述文本响应对应的标识符号进行投影传播，得到第一标识符号结果；

50、基于所述多模态编码层对所述描述标签进行编码，得到标准编码表达。

51、在其中一个实施例中，所述训练模块具体用于基于所述待训练数据处理模型的所述多模态输入投影层和所述推理层对各所述多模态样本数据进行数据处理，得到推理结果，计算所述推理结果与描述标签的交叉熵结果；

52、基于所述待训练数据处理模型的所述多模态输出投影层对各所述多模态样本数据进行数据处理得到第二标识符号结果；

53、计算所述第二标识符号结果与描述标签的第二距离；

54、基于所述交叉熵结果和所述第二距离对指令调整数据进行调整，直至所述交叉熵结果和所述第二距离满足预设训练条件。

55、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

56、获取待处理数据，将所述待处理数据和所述待处理数据待转换的目标数据类型输入至数据处理模型；

57、通过所述数据处理模型中的多模态编码层和多模态输入投影层对所述待处理数据进行编码和投影，生成所述待处理数据的编码表达；

58、基于所述数据处理模型中的推理层对所述编码表达进行语义推理，得到所述待处理数据对应的文本响应和所述文本响应对应的标识符号；

59、根据所述数据处理模型中的多模态输出投影层和多模态解码层对所述文本响应和所述标识符号进行投影和输出，得到转换后所述目标数据类型的数据。

60、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

61、获取待处理数据，将所述待处理数据和所述待处理数据待转换的目标数据类型输入至数据处理模型；

62、通过所述数据处理模型中的多模态编码层和多模态输入投影层对所述待处理数据进行编码和投影，生成所述待处理数据的编码表达；

63、基于所述数据处理模型中的推理层对所述编码表达进行语义推理，得到所述待处理数据对应的文本响应和所述文本响应对应的标识符号；

64、根据所述数据处理模型中的多模态输出投影层和多模态解码层对所述文本响应和所述标识符号进行投影和输出，得到转换后所述目标数据类型的数据。

65、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

66、获取待处理数据，将所述待处理数据和所述待处理数据待转换的目标数据类型输入至数据处理模型；

67、通过所述数据处理模型中的多模态编码层和多模态输入投影层对所述待处理数据进行编码和投影，生成所述待处理数据的编码表达；

68、基于所述数据处理模型中的推理层对所述编码表达进行语义推理，得到所述待处理数据对应的文本响应和所述文本响应对应的标识符号；

69、根据所述数据处理模型中的多模态输出投影层和多模态解码层对所述文本响应和所述标识符号进行投影和输出，得到转换后所述目标数据类型的数据。

70、上述数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过多模态编码层和多模态输出投影层能够将待处理数据映射为推理层能够处理的类语言数据形式，进而通过推理层进行语义推理，得到待处理数据对应的文本响应和数据转换类型对应的标识符号，使得多模态输出层根据文本响应和标识符号生成目标数据类型下的数据，实现了对大模型数据处理的数据类型转换，使得大语言模型能够输出多模态的数据，实现了大语言模型在业务处理上的通用性，进而，提高了业务处理的处理效率。