基于大模型的多任务处理方法、目标大模型及设备与流程

本技术涉及人工智能领域，尤其涉及一种基于大模型的多任务处理方法、目标大模型及设备。

背景技术：

1、多任务模型可以应用到对数据进行多任务处理中。例如，针对图像，在需要对图像进行如人物识别、物品分类、目标分割等多种任务处理的时候，可以根据多种任务处理的要求，基于多任务模型对图像完成任务处理；

2、但是现有技术中，所提供的基于多任务模型完成任务处理时，多任务模型中分支之间会相互影响到，进而任务处理的速度慢、效率低。

3、因此，亟需一种可以快速的对数据进行处理，以快速的得到任务处理结果的方案。

技术实现思路

1、本技术实施例提供一种基于大模型的多任务处理方法、目标大模型及设备，用以达到多任务处理速度快、效率高的效果。

2、第一方面，本技术实施例提供一种基于大模型的多任务处理方法，包括：

3、将待处理数据和目标处理任务输入目标大模型，通过所述目标大模型执行如下处理：

4、通过所述目标大模型中的目标骨干网络对所述待处理数据进行特征提取，得到所述待处理数据的第一特征；所述目标骨干网络与所述待处理数据的数据模态关联；

5、通过目标任务网络中的特征提取单元对所述第一特征进行特征提取，得到所述待处理数据的第二特征；所述目标任务网络与所述目标骨干网络连接，且所述目标任务网络为所述目标处理任务关联的任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；

6、并通过所述目标任务网络中的任务处理单元对所述第二特征执行所述目标处理任务，得到所述待处理数据的任务处理结果。

7、在一种可能的实施方式中，所述目标大模型包括m个骨干网络，不同的所述骨干网络关联不同的数据模态；其中，所述骨干网络连接n个任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；所述任务网络包括依次连接的特征提取单元和任务处理单元；所述m为大于0的整数；所述n为大于0的整数。

8、在一种可能的实施方式中，所述方法还包括：

9、若确定所述目标骨干网络连接的可使用的任务网络中不包含所述目标任务网络，则生成并发出针对所述目标处理任务的提示信息；其中，所述提示信息表征无法处理目标处理任务。

10、在一种可能的实施方式中，所述数据模态包括图像、视频、音频、文档、文本、点云数据中的至少一种。

11、在一种可能的实施方式中，所述数据模态包括图像或视频时，所述处理任务包括目标识别、目标分类、事件识别、行为识别、姿态识别、情绪识别、目标分割、关键点检测、数据格式转换中的至少一种；

12、所述数据模态包括音频时，所述处理任务包括语音识别、语音对话、语音问询、数据格式转换、语音感情色彩识别、语音转文字、生成语音摘要中的至少一种；

13、所述数据模态包括文档时，所述处理任务包括文档分类、关键信息提取、生成文档摘要、文档情感分析、文档安全性检测中的至少一种；

14、所述数据模态包括文本时，所述处理任务包括文本分类、实体识别、生成文本摘要、文本翻译、文本去重、文本情感分析、格式错误识别中的至少一种；

15、所述数据模态包括点云数据时，所述处理任务包括目标识别、目标分割、关键点检测、点云去噪、点云补全中的至少一种

16、第二方面，本技术实施例提供一种用于多任务处理的目标大模型，包括：

17、m个骨干网络，不同的所述骨干网络关联不同的数据模态；所述骨干网络用于对关联的数据模态的待处理数据提取出第一特征；

18、所述骨干网络连接n个任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；所述任务网络包括依次连接的特征提取单元和任务处理单元；所述特征提取单元用于对连接的骨干网络提取的第一特征进行特征提取，得到第二特征；所述任务处理单元用于对连接的特征提取单元提取的第二特征执行关联的处理任务，得到待处理数据的任务处理结果；

19、其中，所述m为大于0的整数，所述n为大于0的整数。

20、在一种可能的实施方式中，所述特征提取单元包括多尺度特征提取模块和第一融合模块；

21、所述多尺度特征提取模块用于对连接的骨干网络提取的第一特征进行特征提取，得到多维度下的数据特征；

22、所述第一融合模块，用于对所述多维度下的数据特征进行特征融合，得到第二特征。

23、在一种可能的实施方式中，所述特征提取单元包括上采样模块、下采样模块、以及第二融合模块；

24、所述上采样模块用于对连接的骨干网络提取的第一特征进行高层特征提取，得到高层语义特征信息；

25、所述下采样模块用于对连接的骨干网络提取的第一特征进行低层特征提取，得到低层语义特征信息；

26、所述第二融合模块用于对所述高层语义特征信息和所述低层语义特征信息进行特征融合，得到第二特征。

27、在一种可能的实施方式中，所述数据模态包括图像、视频、音频、文档、文本、点云数据中的至少一种。

28、在一种可能的实施方式中，所述数据模态包括图像或视频时，所述处理任务包括目标识别、目标分类、事件识别、行为识别、姿态识别、情绪识别、目标分割、关键点检测、数据格式转换中的至少一种；

29、所述数据模态包括音频时，所述处理任务包括语音识别、语音对话、语音问询、数据格式转换、语音感情色彩识别、语音转文字、生成语音摘要中的至少一种；

30、所述数据模态包括文档时，所述处理任务包括文档分类、关键信息提取、生成文档摘要、文档情感分析、文档安全性检测中的至少一种；

31、所述数据模态包括文本时，所述处理任务包括文本分类、实体识别、生成文本摘要、文本翻译、文本去重、文本情感分析、格式错误识别中的至少一种；

32、所述数据模态包括点云数据时，所述处理任务包括目标识别、目标分割、关键点检测、点云去噪、点云补全中的至少一种。

33、第三方面，本技术实施例提供一种用于多任务处理的大模型的训练方法，包括：

34、将待训练数据和训练处理任务输入初始大模型，通过所述初始大模型执行如下处理：

35、通过所述初始大模型中的目标骨干网络对所述待训练数据进行特征提取，得到所述待训练数据的第一特征；所述目标骨干网络与所述待训练数据的数据模态关联；

36、基于所述第一特征，通过目标任务网络中依次连接的特征提取单元和任务处理单元确定所述待训练数据的任务处理结果，并基于所述任务处理结果调整所述目标任务网络中的特征提取单元和任务处理单元的参数；所述目标任务网络与所述目标骨干网络连接，且所述目标任务网络为所述训练处理任务关联的任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务。

37、在一种可能的实施方式中，所述初始大模型包括m个骨干网络，不同的所述骨干网络关联不同的数据模态；其中，所述骨干网络连接n个任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；所述任务网络包括依次连接的特征提取单元和任务处理单元；所述m为大于0的整数；所述n为大于0的整数。

38、在一种可能的实施方式中，基于所述第一特征，通过目标任务网络中依次连接的特征提取单元和任务处理单元确定所述待训练数据的任务处理结果，包括：

39、通过目标任务网络中的特征提取单元对所述第一特征进行特征提取，得到所述待训练数据的第二特征；

40、基于目标任务网络中与特征提取单元连接的任务处理单元，对所述第二特征执行所述训练处理任务，得到所述待训练数据的任务处理结果。

41、在一种可能的实施方式中，所述待训练数据具有标定的任务处理结果；基于所述任务处理结果调整所述目标任务网络中的特征提取单元和任务处理单元的参数，包括：

42、根据所述待训练数据的标定的任务处理结果、以及所述目标任务网络输出的任务处理结果，得到损失函数的损失值；

43、根据所述损失函数的损失值，更新所述目标任务网络中的特征提取单元和任务处理单元的参数。

44、在一种可能的实施方式中，所述数据模态包括图像、视频、音频、文档、文本、点云数据中的至少一种。

45、在一种可能的实施方式中，所述数据模态包括图像或视频时，所述处理任务包括目标识别、目标分类、事件识别、行为识别、姿态识别、情绪识别、目标分割、关键点检测、数据格式转换中的至少一种；

46、所述数据模态包括音频时，所述处理任务包括语音识别、语音对话、语音问询、数据格式转换、语音感情色彩识别、语音转文字、生成语音摘要中的至少一种；

47、所述数据模态包括文档时，所述处理任务包括文档分类、关键信息提取、生成文档摘要、文档情感分析、文档安全性检测中的至少一种；

48、所述数据模态包括文本时，所述处理任务包括文本分类、实体识别、生成文本摘要、文本翻译、文本去重、文本情感分析、格式错误识别中的至少一种；

49、所述数据模态包括点云数据时，所述处理任务包括目标识别、目标分割、关键点检测、点云去噪、点云补全中的至少一种。

50、第四方面，本技术实施例提供一种基于大模型的多任务处理装置，包括：

51、输入单元，用于将待处理数据和目标处理任务输入目标大模型，通过所述目标大模型执行如下单元的处理过程；

52、第一提取单元，用于通过所述目标大模型中的目标骨干网络对所述待处理数据进行特征提取，得到所述待处理数据的第一特征；所述目标骨干网络与所述待处理数据的数据模态关联；

53、第二提取单元，用于通过目标任务网络中的特征提取单元对所述第一特征进行特征提取，得到所述待处理数据的第二特征；所述目标任务网络与所述目标骨干网络连接，且所述目标任务网络为所述目标处理任务关联的任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；

54、执行单元，用于通过所述目标任务网络中的任务处理单元对所述第二特征执行所述目标处理任务，得到所述待处理数据的任务处理结果。

55、在一种可能的实施方式中，目标大模型包括m个骨干网络，不同的所述骨干网络关联不同的数据模态；其中，所述骨干网络连接n个任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；所述任务网络包括依次连接的特征提取单元和任务处理单元；所述m为大于0的整数；所述n为大于0的整数。

56、在一种可能的实施方式中，基于大模型的多任务处理装置70还包括；

57、提示单元，用于若确定所述目标骨干网络连接的可使用的任务网络中不包含所述目标任务网络，则生成并发出针对所述目标处理任务的提示信息；其中，所述提示信息表征无法处理目标处理任务。

58、在一种可能的实施方式中，数据模态包括图像、视频、音频、文档、文本、点云数据中的至少一种。

59、在一种可能的实施方式中，数据模态包括图像或视频时，所述处理任务包括目标识别、目标分类、事件识别、行为识别、姿态识别、情绪识别、目标分割、数据格式转换中的至少一种；

60、所述数据模态包括音频时，所述处理任务包括语音识别、语音对话、语音问询、数据格式转换、语音感情色彩识别、语音转文字、生成语音摘要中的至少一种；

61、所述数据模态包括文档时，所述处理任务包括文档分类、关键信息提取、生成文档摘要、文档情感分析、文档安全性检测中的至少一种；

62、所述数据模态包括文本时，所述处理任务包括文本分类、实体识别、生成文本摘要、文本翻译、文本去重、文本情感分析、格式错误识别中的至少一种；

63、所述数据模态包括点云数据时，所述处理任务包括目标识别、目标分割、点云去噪、点云补全中的至少一种。

64、第五方面，本技术实施例提供一种用于多任务处理的大模型的训练装置，包括：

65、输入单元，用于将待训练数据和训练处理任务输入初始大模型，通过所述初始大模型执行如下单元的处理过程；

66、提取单元，用于通过所述初始大模型中的目标骨干网络对所述待训练数据进行特征提取，得到所述待训练数据的第一特征；所述目标骨干网络与所述待训练数据的数据模态关联；

67、确定单元，用于基于所述第一特征，通过目标任务网络中依次连接的特征提取单元和任务处理单元确定所述待训练数据的任务处理结果；所述目标任务网络与所述目标骨干网络连接，且所述目标任务网络为所述训练处理任务关联的任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；

68、调整单元，用于基于所述任务处理结果调整所述目标任务网络中的特征提取单元和任务处理单元的参数。

69、第六方面，本技术实施例提供另一种用于多任务处理的大模型的训练装置，包括：

70、输入单元，用于将待训练数据和训练处理任务输入初始大模型，通过所述初始大模型执行如下单元的处理过程；

71、提取单元，用于通过所述初始大模型中的目标骨干网络对所述待训练数据进行特征提取，得到所述待训练数据的第一特征；所述目标骨干网络与所述待训练数据的数据模态关联；

72、确定单元，用于基于所述第一特征，通过目标任务网络中依次连接的特征提取单元和任务处理单元确定所述待训练数据的任务处理结果；所述目标任务网络与所述目标骨干网络连接，且所述目标任务网络为所述训练处理任务关联的任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；

73、调整单元，用于基于所述任务处理结果调整所述目标任务网络中的特征提取单元和任务处理单元的参数。

74、在一种可能的实施方式中，初始大模型包括m个骨干网络，不同的所述骨干网络关联不同的数据模态；其中，所述骨干网络连接n个任务网络，所述骨干网络连接的不同任务网络关联不同的处理任务；所述任务网络包括依次连接的特征提取单元和任务处理单元；所述m为大于0的整数；所述n为大于0的整数。

75、在一种可能的实施方式中，所述确定单元，具体用于：

76、提取模块，用于通过目标任务网络中的特征提取单元对所述第一特征进行特征提取，得到所述待训练数据的第二特征；

77、执行模块，用于基于目标任务网络中与特征提取单元连接的任务处理单元，对所述第二特征执行所述训练处理任务，得到所述待训练数据的任务处理结果。

78、在一种可能的实施方式中，待训练数据具有标定的任务处理结果；

79、在一种可能的实施方式中，调整单元，具体用于：

80、确定模块，用于根据所述待训练数据的标定的任务处理结果、以及所述目标任务网络输出的任务处理结果，得到损失函数的损失值；

81、更新模块，用于根据所述损失函数的损失值，更新所述目标任务网络中的特征提取单元和任务处理单元的参数。

82、在一种可能的实施方式中，数据模态包括图像、视频、音频、文档、文本、点云数据中的至少一种。

83、在一种可能的实施方式中，数据模态包括图像或视频时，所述处理任务包括目标识别、目标分类、事件识别、行为识别、姿态识别、情绪识别、目标分割、数据格式转换中的至少一种；

84、所述数据模态包括音频时，所述处理任务包括语音识别、语音对话、语音问询、数据格式转换、语音感情色彩识别、语音转文字、生成语音摘要中的至少一种；

85、所述数据模态包括文档时，所述处理任务包括文档分类、关键信息提取、生成文档摘要、文档情感分析、文档安全性检测中的至少一种；

86、所述数据模态包括文本时，所述处理任务包括文本分类、实体识别、生成文本摘要、文本翻译、文本去重、文本情感分析、格式错误识别中的至少一种；

87、所述数据模态包括点云数据时，所述处理任务包括目标识别、目标分割、点云去噪、点云补全中的至少一种。

88、第七方面，本技术实施例提供一种电子设备，包括：存储器，处理器；

89、所述存储器存储计算机执行指令；

90、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面，和/或第一方面各种可能；或者，使得所述处理器执行如上第二方面，和/或第二方面各种可能的目标大模型的处理过程；或者，使得所述处理器执行如上第三方面，和/或第三方面各种可能。

91、第八方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面，和/或第一方面各种可能；或者，所述计算机执行指令被处理器执行时用于实现如上第二方面，和/或第二方面各种可能的目标大模型的处理过程；或者，所述计算机执行指令被处理器执行时用于实现如上第三方面，和/或第三方面各种可能。

92、第九方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面，和/或第一方面各种可能；或者，该计算机程序被处理器执行时实现如上第二方面，和/或第二方面各种可能的目标大模型的处理过程；或者，该计算机程序被处理器执行时实现如上第三方面，和/或第三方面各种可能。

93、本技术实施例提供的基于大模型的多任务处理方法、目标大模型及设备，通过将待处理数据和目标处理任务输入目标大模型，通过目标大模型执行如下处理：通过目标大模型中的目标骨干网络对待处理数据进行特征提取，得到待处理数据的第一特征；目标骨干网络与待处理数据的数据模态关联；然后，通过目标任务网络中的特征提取单元对第一特征进行特征提取，得到待处理数据的第二特征；目标任务网络与目标骨干网络连接，且目标任务网络为目标处理任务关联的任务网络，骨干网络连接的不同任务网络关联不同的处理任务；并通过目标任务网络中的任务处理单元对第二特征执行目标处理任务，得到待处理数据的任务处理结果。

94、由于在目标大模型中包括多个特征提取单元、以及与每一特征提取单元对应的任务处理单元。基于与每一任务对应的特征提取单元和任务处理单元，得到每一任务处理结果。并且，在基于目标大模型进行多任务处理的过程中，不同的骨干网络对待处理数据中不同数据模态的数据进行特征提取第一特征时，各骨干网络之间互不影响；各目标处理任务关联的目标任务网络中的特征提取单元，对第一特征进行特征提取第二特征时，各特征提取单元之间互不影响。各目标处理任务关联的目标任务网络中的任务处理单元，对第二特征执行该目标处理任务得到任务处理结果时，各任务处理单元之间互不影响。因此，本实施例可以提供一种基于大模型的多任务并行的处理方法。进而，每一任务处理的速度快、效率高。

95、由于在目标大模型中可以包括多个骨干网络，且通过目标骨干网络与待处理数据的数据模态关联，本实施例可以实现同时对多个数据模态的待处理数据进行多任务处理。

96、由于在目标大模型中，每一目标处理任务关联的目标任务网络中均具有特征提取单元，用于提取该目标任务网络中的任务处理单元所需要的第二特征，因此，可以更准确的提取出任务处理单元所需要的语义特征信息，进而得到的任务处理结果准确率更高。

97、由于目标处理任务可以是目标大模型中的1个或多个任务，且各任务之间是相互独立的，因此可以实现仅对待处理数据执行目标大模型中的部分任务，提高了模型应用的灵活性。