一种基于混合专家结构大模型训练的多模态数据解析方法

本发明涉及数据处理，尤其涉及一种基于混合专家结构大模型训练的多模态数据解析方法、系统、终端及计算机可读存储介质。

背景技术：

1、近年来，随着计算机技术和人工智能的发展，人们对机器感知和推理的需求与日俱增，视觉分析成为了图像的研究热点，视觉分析在图像理解领域显得尤为重要。现有技术中，图像解析是一项重要的任务，可以从图像中提取有用的信息和特征，用于图像分类、目标检测、场景理解等应用。然而，传统的图像解析方法主要依赖于单一模态的信息，例如图像像素值或基于图像的特征提取，这种单模态方法在某些情况下可能存在局限性，无法充分利用多模态信息的丰富性。

2、针对上述情况，现有技术中随着多模态数据的广泛应用，基于多模态信息的图像解析方法成为研究的热点。多模态信息包括图像、文本、语音、视频等不同模态的数据，这些信息相互关联并可以提供更全面和准确的图像理解和分析。通过综合利用多模态信息，可以实现更高级别的图像解析任务，如图像描述生成、多模态检索等，但是，现有技术中对于多模态数据无法进行并行解析，从而导致多模态数据解析较慢，解析效果不佳，无法满足用户需求。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于混合专家结构大模型训练的多模态数据解析方法、系统、终端及计算机可读存储介质，旨在解决现有技术中对于多模态数据无法进行并行解析，从而导致多模态数据解析较慢，解析效果不佳，无法满足用户需求的问题。

2、为实现上述目的，本发明提供一种基于混合专家结构大模型训练的多模态数据解析方法，所述基于混合专家结构大模型训练的多模态数据解析方法包括如下步骤：

3、获取历史多模态数据，并对所述历史多模态数据进行预处理，得到多组预处理多模态数据；

4、获取预设大规模训练模型，根据所述预设大规模训练模型中的专家网络数量确定训练并行模式，并根据所述训练并行模式对多组所述预处理多模态数据进行切分处理，构建得到多模态数据训练集；

5、根据所述多模态数据训练集对所述预设大规模训练模型进行模型训练，得到多模态数据解析模型；

6、获取当前多模态数据，并将所述当前多模态数据输入至所述多模态数据解析模型，得到多模态数据解析结果。

7、可选地，所述的基于混合专家结构大模型训练的多模态数据解析方法，其中，所述预处理包括：编码处理、二进制标识处理，模态数据划分处理；

8、所述获取历史多模态数据，并对所述历史多模态数据进行预处理，得到多组预处理多模态数据，具体包括：

9、获取历史多模态数据，并采用不同模态的编码器对所述历史多模态数据进行编码处理，得到多个模态序列；

10、将多个所述模态序列中的多模态数据按照模态类型进行二进制标识处理，得到多组标识模态数据；

11、对多组所述标识模态数据进行模态数据划分处理，得到多组所述预处理多模态数据。

12、可选地，所述的基于混合专家结构大模型训练的多模态数据解析方法，其中，所述训练并行模式包括数据并行模式以及专家并行和数据并行双并行模式；

13、所述获取预设大规模训练模型，根据所述预设大规模训练模型中的专家网络数量确定训练并行模式，并根据所述训练并行模式对多组所述预处理多模态数据进行切分处理，构建得到多模态数据训练集，具体包括：

14、获取所述预设大规模训练模型中的专家网络数量，并判断所述专家网络数量是否小于预设数量；

15、若是，则执行数据并行模式，并根据所述数据并行模式对多组所述预处理多模态数据进行第一切分处理，得到第一多模态数据训练集；

16、若否，则执行专家并行和数据并行双并行模式，并根据所述专家并行和数据并行双并行模式对多组所述预处理多模态数据进行第二切分处理，得到第二多模态数据训练集。

17、可选地，所述的基于混合专家结构大模型训练的多模态数据解析方法，其中，所述根据所述数据并行模式对多组所述预处理多模态数据进行第一切分处理，得到第一多模态数据训练集，具体包括：

18、根据所述数据并行模式将每组所述预处理多模态数据进行随机打乱处理，并将随机打乱处理后的预处理多模态数据按照预设大小进行第一切分处理，得到多组大小相等的第一切分组；

19、在每组大小相等的第一切分组中进行采样处理，得到多组采样组；

20、将每组所述预处理多模态数据中的多组采样组进行混合处理和随机打乱处理，得到所述第一多模态数据训练集。

21、可选地，所述的基于混合专家结构大模型训练的多模态数据解析方法，其中，所述根据所述专家并行和数据并行双并行模式对多组所述预处理多模态数据进行第二切分处理，得到第二多模态数据训练集，具体包括：

22、根据所述专家并行和数据并行双并行模式将每组所述预处理多模态数据进行随机打乱处理，并将随机打乱处理后的预处理多模态数据按照预设排序要求进行排序处理，得到排序结果；

23、根据所述排序结果将随机打乱处理后的预处理多模态数据按照预设大小进行第二切分处理，得到多组大小相等的第二切分组；

24、将每组所述预处理多模态数据中的多组大小相等的第二切分组进行混合处理和随机打乱处理，得到所述第二多模态数据训练集。

25、可选地，所述的基于混合专家结构大模型训练的多模态数据解析方法，其中，所述根据所述多模态数据训练集对所述预设大规模训练模型进行模型训练，得到多模态数据解析模型，具体包括：

26、通过对应的模态编码器对所述第一多模态数据训练集或所述第二多模态数据训练集进行编码处理和语义空间投影处理，得到多个投影结果数据集，并将多个所述投影结果数据集输入至所述预设大规模训练模型；

27、通过所述预设大规模训练模型中的共享模型部分将多个所述投影结果数据集输送至对应的专家网络进行解析处理，得到训练完成的多模态数据解析模型。

28、可选地，所述的基于混合专家结构大模型训练的多模态数据解析方法，其中，所述获取当前多模态数据，并将所述当前多模态数据输入至所述多模态数据解析模型，得到多模态数据解析结果，具体包括：

29、获取当前多模态数据，并将所述当前多模态数据输入至所述多模态数据解析模型；

30、根据所述多模态数据解析模型对所述当前多模态数据进行数据解析处理，得到所述多模态数据解析结果。

31、此外，为实现上述目的，本发明还提供一种基于混合专家结构大模型训练的多模态数据解析系统，其中，所述基于混合专家结构大模型训练的多模态数据解析系统包括：

32、数据预处理模块，用于获取历史多模态数据，并对所述历史多模态数据进行预处理，得到多组预处理多模态数据；

33、多模态数据切分模块，用于获取预设大规模训练模型，根据所述预设大规模训练模型中的专家网络数量确定训练并行模式，并根据所述训练并行模式对多组所述预处理多模态数据进行切分处理，构建得到多模态数据训练集；

34、解析模型构建模块，用于根据所述多模态数据训练集对所述预设大规模训练模型进行模型训练，得到多模态数据解析模型；

35、多模态数据解析模块，用于获取当前多模态数据，并将所述当前多模态数据输入至所述多模态数据解析模型，得到多模态数据解析结果。

36、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于混合专家结构大模型训练的多模态数据解析程序，所述基于混合专家结构大模型训练的多模态数据解析程序被所述处理器执行时实现如上所述的基于混合专家结构大模型训练的多模态数据解析方法的步骤。

37、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于混合专家结构大模型训练的多模态数据解析程序，所述基于混合专家结构大模型训练的多模态数据解析程序被处理器执行时实现如上所述的基于混合专家结构大模型训练的多模态数据解析方法的步骤。

38、本发明中，获取历史多模态数据，并对所述历史多模态数据进行预处理，得到多组预处理多模态数据；获取预设大规模训练模型，根据所述预设大规模训练模型中的专家网络数量确定训练并行模式，并根据所述训练并行模式对多组所述预处理多模态数据进行切分处理，构建得到多模态数据训练集；根据所述多模态数据训练集对所述预设大规模训练模型进行模型训练，得到多模态数据解析模型；获取当前多模态数据，并将所述当前多模态数据输入至所述多模态数据解析模型，得到多模态数据解析结果。本发明通过对获取的历史多模态数据进行切分和采样，能够保证每个进程获得的模态数据相近，总长度相似，最大程度减少了deepspeed在大规模的多模态数据训练上容易卡死的问题。同时，根据大规模训练模型中的专家网络数量来确定采用数据并行模式或专家并行和数据并行双并行模式，以此来构建多模态数据训练集对大规模训练模型进行训练，得到多模态数据解析模型；通过多模态数据解析模型能够实现对当前多模态数据的高效解析。