多模态模型训练方法、装置、服务器及存储介质与流程

本申请涉及人工智能的，尤其涉及一种多模态模型训练方法、装置、服务器及存储介质。

背景技术：

1、目前，一般是利用图片和文本人工标注生成多个正例图文对和多个负例图文对，根据多个正例图文对和多个负例图文对，采用对比学习框架来训练多模态模型。但上述训练方法缺少了对任务目标的训练，训练好的多模态模型往往还需要进一步微调来适应其他下游任务。为了保证训练好的多模态模型对其他任务的应用准确性，微调训练好的多模态模型的时间较长，模型的训练效率较低，且训练成本较高。

2、例如，在金融保险领域，为了保证多模态模型适应宠物分类任务，需要花费较长的时间对多模态模型进行微调，这样用户投保宠物险时，可以将用户拍照上传的宠物图像输入微调后的多模态模型，得到宠物图像对应的宠物类型的描述文本。又例如，在数字医疗领域，为了保证多模态模型适应人体部位分类任务，也需要花费较长的时间对多模态模型进行微调，这样在得到医学影像设备采集到的医学图像后，可以将医学图像输入微调后的多模态模型，得到医学图像对应的人体部位类型的描述文本。

技术实现思路

1、本申请实施例提供一种多模态模型训练方法、装置、服务器及存储介质，旨在提高多模态模型的训练效率和减少模型训练的成本。

2、第一方面，本申请实施例提供一种多模态模型训练方法，所述多模态模型包括编码层、特征提取子模型和多个任务处理子模型，所述方法包括：

3、从多个训练样本集中选择一个所述训练样本集作为目标训练样本集，多个所述训练样本集所包含的第一数量的训练样本均不相同；

4、从所述目标训练样本集中选取第二数量的训练样本，所述第一数量大于所述第二数量，所述训练样本包括图文对、多个任务中的每个所述任务的问题信息和真实回答信息，所述图文对包括训练文本和训练图像；

5、通过所述多模态模型对选取的每个所述训练样本进行处理，得到选取的每个所述训练样本的第一处理结果，所述第一处理结果包括所述特征提取子模型输出的所述训练文本的第一特征向量和所述训练图像的第二特征向量以及每个所述任务处理子模型各自输出的对应所述任务的预测回答信息；

6、根据选取的每个所述训练样本的第一处理结果和每个所述任务的所述真实回答信息，确定选取的每个所述训练样本的第一损失值以及在每个所述任务下的第二损失值；

7、根据选取的每个所述训练样本在每个所述任务下的第二损失值，确定每个所述任务的总损失值，并将最高的所述总损失值所对应的所述任务确定为目标任务；

8、通过所述多模态模型对所述目标训练样本集中剩余的每个训练样本进行处理，得到剩余的每个所述训练样本的第二处理结果，并根据剩余的每个所述训练样本的第二处理结果，确定剩余的每个所述训练样本的第一损失值以及在所述目标任务下的第二损失值；

9、根据所述目标训练样本集中的每个训练样本的所述第一损失值以及在每个所述任务下的所述第二损失值，确定所述目标训练样本集的目标损失值；

10、根据所述目标损失值确定所述多模态模型是否收敛，并在所述多模态模型未收敛时，对所述多模态模型的参数进行更新；

11、返回执行从多个训练样本集中选择一个所述训练样本集作为目标训练样本集的步骤，直至每个所述训练样本集均被选择一次或所述多模态模型收敛。

12、第二方面，本申请实施例还提供一种多模态模型训练装置，所述多模态模型包括编码层、特征提取子模型和多个任务处理子模型，所述多模态模型训练装置包括：

13、样本集选择模块，被配置为从多个训练样本集中选择一个所述训练样本集作为目标训练样本集，多个所述训练样本集所包含的第一数量的训练样本均不相同；

14、样本选取模块，被配置为从所述目标训练样本集中选取第二数量的训练样本，所述第一数量大于所述第二数量，所述训练样本包括图文对、多个任务中的每个所述任务的问题信息和真实回答信息，所述图文对包括训练图像和训练文本；

15、样本处理模块，被配置为通过所述多模态模型对选取的每个所述训练样本进行处理，得到选取的每个所述训练样本的第一处理结果，所述第一处理结果包括所述特征提取子模型输出的所述训练文本的第一特征向量和所述训练图像的第二特征向量以及每个所述任务处理子模型各自输出的对应所述任务的预测回答信息；

16、损失值确定模块，被配置为根据选取的每个所述训练样本的第一处理结果和每个所述任务的所述真实回答信息，确定选取的每个所述训练样本的第一损失值以及在每个所述任务下的第二损失值；

17、任务确定模块，被配置为根据选取的每个所述训练样本在每个所述任务下的第二损失值，确定每个所述任务的总损失值，并将最高的所述总损失值所对应的所述任务确定为目标任务；

18、所述样本处理模块，还被配置为通过所述多模态模型对所述目标训练样本集中剩余的每个训练样本进行处理，得到剩余的每个所述训练样本的第二处理结果；

19、所述损失值确定模块，还被配置为根据剩余的每个所述训练样本的第二处理结果，确定剩余的每个所述训练样本的第一损失值以及在所述目标任务下的第二损失值；

20、所述损失值确定模块，还被配置为根据所述目标训练样本集中的每个训练样本的所述第一损失值和在每个所述任务下的所述第二损失值，确定所述目标训练样本集的目标损失值；

21、模型更新模块，被配置为根据所述目标损失值确定所述多模态模型是否收敛，并在所述多模态模型未收敛时，对所述多模态模型的参数进行更新；

22、循环模块，被配置为返回执行从多个训练样本集中选择一个所述训练样本集作为目标训练样本集的步骤，直至每个所述训练样本集均被选择一次或所述多模态模型收敛。

23、第三方面，本申请实施例还提供一种服务器，所述服务器包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如第一方面所述的多模态模型训练方法。

24、第四方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如第一方面所述的多模态模型训练方法。

25、本申请实施例提供一种多模态模型训练方法、装置、服务器及存储介质，该方法通过在使用每一个训练样本集对多模态模型训练的过程中，计算每个任务的总损失值，并且将总损失值最大的任务确定为需要优先训练的目标任务，然后使用训练样本集中的剩余训练样本仅对目标任务进行训练，从而实现多任务的动态调整训练，平衡多模态模型对于不同任务的强化学习效率，并且不需要再对训练后的多模态模型进行微调，极大地提高了多模态模型的训练效率和减少了训练成本。

技术特征：

1.一种多模态模型训练方法，其特征在于，所述多模态模型包括编码层、特征提取子模型和多个任务处理子模型，所述方法包括：

2.根据权利要求1所述的多模态模型训练方法，其特征在于，所述通过所述多模态模型对选取的每个所述训练样本进行处理，得到选取的每个所述训练样本的第一处理结果，包括：

3.根据权利要求1所述的多模态模型训练方法，其特征在于，所述根据选取的每个所述训练样本的第一处理结果和每个所述任务的所述真实回答信息，确定选取的每个所述训练样本的第一损失值以及在每个所述任务下的第二损失值，包括：

4.根据权利要求3所述的多模态模型训练方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量，计算所述训练样本的第一损失值，包括：

5.根据权利要求1-4中任一项所述的多模态模型训练方法，其特征在于，所述根据所述目标训练样本集中的每个训练样本的所述第一损失值以及在每个所述任务下的所述第二损失值，确定所述目标训练样本集的目标损失值，包括：

6.根据权利要求1所述的多模态模型训练方法，其特征在于，所述多模态模型还包括词语预测子模型，所述通过所述多模态模型对选取的每个所述训练样本进行处理，得到选取的每个所述训练样本的第一处理结果，包括：

7.根据权利要求6所述的多模态模型训练方法，其特征在于，所述随机选择所述训练文本中的一个词语作为标签词语进行遮挡，得到目标文本，包括：

8.一种多模态模型训练装置，其特征在于，所述多模态模型包括编码层、特征提取子模型和多个任务处理子模型，所述多模态模型训练装置包括：

9.一种服务器，其特征在于，所述服务器包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的多模态模型训练方法。

10.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的多模态模型训练方法。

技术总结本申请涉及人工智能领域，提供一种多模态模型训练方法、装置、服务器及存储介质，该方法通过在使用每一个训练样本集对多模态模型训练的过程中，计算每个任务的总损失值，并且将总损失值最大的任务确定为需要优先训练的目标任务，然后使用训练样本集中的剩余训练样本仅对目标任务进行训练，从而实现多任务的动态调整训练，平衡多模态模型对于不同任务的强化学习效率，并且不需要再对训练后的多模态模型进行微调，极大地提高了多模态模型的训练效率和减少了训练成本。本申请还涉及区块链领域，上述存储介质可存储根据区块链节点的使用所创建的数据。技术研发人员：舒畅,肖京,陈又新受保护的技术使用者：平安科技（深圳）有限公司技术研发日：技术公布日：2024/7/29