大模型预训练场景的GPU算力分组调度方法、系统及介质与流程

本发明涉及图像大数据处理，具体是一种大模型预训练场景的gpu算力分组调度方法、系统及介质。

背景技术：

1、大模型，也称基础模型，是指具有大规模参数和复杂计算结构的机器学习模型，能够处理海量数据、完成各种复杂的任务，如自然语言处理、计算机视觉、语音识别等。

2、大模型需要预训练过程，预训练过程就是对海量数据的处理过程，gpu面向的数据主要是图形数据，海量图形数据的处理进程极为繁琐，不同的算力调度方案取得的处理效率差异很大，如何提供一种更具效率的算力分组方式是本发明技术方案想要解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种大模型预训练场景的gpu算力分组调度方法、系统及介质，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种大模型预训练场景的gpu算力分组调度方法，所述方法包括：

4、在预训练的图像集中抽取图像数据，对图像数据进行循环下采样，直至图像的尺寸小于预设数值，记录下采样时长；

5、对图像数据进行图像处理，记录处理时长，根据图像数据的数量、处理时长和下采样时长确定下采样算力比例和处理算力比例；

6、基于下采样算力比例构建识别模块，由识别模块对图像数据进行循环下采样，记录下采样过程中的数据丢失量；

7、处理算力比例构建处理模块；

8、统计每张图像数据在循环下采样过程中的数据丢失量，得到数据丢失量数组；

9、计算每个处理模块已处理的图像数据的平均数组；

10、当对预训练的图像集进行处理时，由识别模块获取数据丢失量数组，将数据丢失量数组与平均数组进行比对，确定匹配的处理模块。

11、作为本发明进一步的方案：所述在预训练的图像集中抽取图像数据，对图像数据进行循环下采样，直至图像的尺寸小于预设数值，记录下采样时长的步骤包括：

12、在预训练的图像集中抽取图像数据，获取图像尺寸；

13、计算已选取的图像的尺寸均值，循环执行直至循环跳出条件；所述循环跳出条件包括相邻的尺寸均值的变化量小于预设的数值和选取的图像数量达到预设的数值；

14、根据尺寸均值和预设的最小尺寸对选取到的图像数据进行循环下采样；每次下采样的采样步长为一；

15、计算下采样时长的均值时长，作为最终的下采样时长。

16、作为本发明进一步的方案：所述对图像数据进行图像处理，记录处理时长，根据图像数据的数量、处理时长和下采样时长确定下采样算力比例和处理算力比例的步骤包括：

17、由gpu对图像数据进行图像处理，记录处理时长；

18、读取下采样时长，根据下采样时长和处理时长确定至少一组下采样算力比例和处理算力比例；

19、基于下采样算力比例和处理算力比例对选取到的图像数据进行处理，选取最优的下采样算力比例和处理算力比例。

20、作为本发明进一步的方案：根据下采样时长和处理时长确定至少一组下采样算力比例和处理算力比例的过程为：

21、由工作人员输入处理模块的数量范围，在数量范围内选取处理模块的数量；

22、对每一个选取的数量，确定下采样算力比例和处理算力比例；

23、下采样算力比例和处理算力比例满足的条件为：，；式中，为下采样算力比例，为处理算力比例；n为选取的数量，z为gpu总算力，x为下采样算力，y为处理算力，为下采样时长，为处理时长。

24、作为本发明进一步的方案：所述基于下采样算力比例构建识别模块，由识别模块对图像数据进行循环下采样，记录下采样过程中的数据丢失量的步骤包括：

25、基于下采样算力比例构建识别模块，由识别模块对图像数据进行循环下采样；

26、在每一次下采样过程中，对下采样得到的图像进行上采样；上采样的过程为，拷贝每一行的像素点，作为相邻行；

27、基于上采样得到的图像与下采样之前的图像确定数据丢失量；

28、所述数据丢失量的计算过程为：

29、；式中，对上采样得到的图像与下采样之前的图像的差值图像对应的绝对值矩阵；n为图像的行数，m为图像的列数；d为数据丢失量；为修正系数。

30、作为本发明进一步的方案：所述基于下采样算力比例构建识别模块，由识别模块对图像数据进行循环下采样，记录下采样过程中的数据丢失量的步骤还包括：

31、在每一次下采样过程中，提取下采样内容；

32、计算下采样内容中各像素点色值的标准差；

33、根据所述标准差对数据丢失量进行修正。

34、作为本发明进一步的方案：将数据丢失量数组与平均数组进行比对，确定匹配的处理模块的步骤包括：

35、计算数据丢失量数组与平均数组的余弦相似度；

36、根据所述余弦相似度确定每个处理模块的选取概率；

37、基于选取概率随机选取处理模块。

38、本发明技术方案还提供了一种大模型预训练场景的gpu算力分组调度系统，其特征在于，所述系统包括：

39、下采样模块，用于在预训练的图像集中抽取图像数据，对图像数据进行循环下采样，直至图像的尺寸小于预设数值，记录下采样时长；

40、算力切分模块，用于对图像数据进行图像处理，记录处理时长，根据图像数据的数量、处理时长和下采样时长确定下采样算力比例和处理算力比例；

41、丢失量获取模块，用于基于下采样算力比例构建识别模块，由识别模块对图像数据进行循环下采样，记录下采样过程中的数据丢失量；

42、构建模块，用于处理算力比例构建处理模块；

43、统计模块，用于统计每张图像数据在循环下采样过程中的数据丢失量，得到数据丢失量数组；

44、平均特征获取模块，用于计算每个处理模块已处理的图像数据的平均数组；

45、比对匹配模块，用于当对预训练的图像集进行处理时，由识别模块获取数据丢失量数组，将数据丢失量数组与平均数组进行比对，确定匹配的处理模块。

46、作为本发明进一步的方案：所述下采样模块包括：

47、抽样单元，用于在预训练的图像集中抽取图像数据，获取图像尺寸；

48、循环执行单元，用于计算已选取的图像的尺寸均值，循环执行直至循环跳出条件；所述循环跳出条件包括相邻的尺寸均值的变化量小于预设的数值和选取的图像数量达到预设的数值；

49、参数确定单元，用于根据尺寸均值和预设的最小尺寸对选取到的图像数据进行循环下采样；每次下采样的采样步长为一；

50、时长计算单元，用于计算下采样时长的均值时长，作为最终的下采样时长。

51、本发明技术方案还提供了一种介质，所述介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行时，实现所述的大模型预训练场景的gpu算力分组调度方法。

52、与现有技术相比，本发明的有益效果是：本发明将gpu中的算力资源切分出一个具有分类功能的识别模块和若干个处理模块，由识别模块对图像进行分类，下发至处理模块进行处理，使得每个处理模块尽量对相同类型的图像进行处理，省去了大量的gpu参数适配工作，极大地提高了图像处理效率。