异构GPU调度系统、方法、存储介质、电子设备及产品与流程

本发明涉及计算机，尤其涉及一种异构gpu调度系统、方法、存储介质、电子设备及产品。

背景技术：

1、图形处理器(graphic processing unit，gpu)是人工智能技术的核心组件之一，gpu调度旨在以高效的方式将工作负载分配到可用的gpu资源上，确保所有处理核心得到有效利用，并优化整个系统的性能。

2、目前，现有技术通常动态预测各模型服务在独占gpu时的吞吐量，有效适应复杂多变的工作负载，具体的，周期性执行吞吐量需求预测流程，针对预测线程分配得到的模型预测新周期内的吞吐量需求，采用获得的预测吞吐量需求，在调度时刻执行基于反馈控制策略的吞吐量调整流程，优化系统各模型的实际吞吐量分配。

3、但是，现有技术高度依赖于特定的硬件和软件环境，可能在不同的部署环境中表现不一致，在多样化的硬件环境中，难以统一调度多个类型(即，异构)gpu，导致整体资源利用率。

技术实现思路

1、本发明提供了一种异构gpu调度系统、方法、存储介质、电子设备及产品，解决了异构gpu调度不兼容的问题，实现了对异构gpu兼容调度。

2、根据本发明的一方面，提供了一种异构gpu调度系统，包括：调度策略计算平台、计算节点管理系统、多种gpu类型的gpu设备、各gpu类型分别对应的设备插件，其中，各类型的gpu分别对应的设备插件基于同一的封装标准进行封装得到；

3、每一gpu类型对应的设备插件分别用于监测对应gpu类型的gpu设备的资源状态信息；

4、调度策略计算平台接收待处理任务，基于待处理任务和/或各gpu类型的gpu设备的资源状态信息确定待处理任务对应的目标gpu类型；

5、计算节点管理系统用于创建目标gpu类型对应的计算节点；

6、调度策略计算平台通过目标gpu类型对应的设备插件为目标gpu类型对应的计算节点分配目标gpu类型的gpu资源，以及调用目标gpu类型对应的计算节点，以执行待处理任务。

7、可选的，计算节点管理系统中预先存储多个gpu类型分别对应的节点创建脚本模板；调度策略计算平台还用于解析待处理任务，生成待处理任务对应的计算节点参数；将计算节点参数和目标gpu类型传输至计算节点管理系统；计算节点管理系统基于目标gpu类型调用对应的节点创建脚本模板，基于调用的节点创建脚本模板和计算节点参数生成计算节点创建脚本；执行计算节点创建脚本创建目标gpu类型对应的计算节点。

8、可选的，计算节点参数包括目标gpu类型的gpu使用量资源量。

9、可选的，调度策略计算平台用于：基于待处理任务的业务类型，确定与业务类型相匹配的目标gpu类型。

10、可选的，任一gpu类型的gpu设备的资源状态信息包括资源使用数据和负载数据；调度策略计算平台还用于：基于待处理任务对应的计算节点参数和各gpu类型的gpu设备的资源状态信息进行匹配，确定待处理任务对应的目标gpu类型。

11、可选的，系统还包括各gpu类型对应的通信组件，不同的gpu类型对应的通信组件提供不同的通信协议。

12、可选的，调度策略计算平台还用于：在调度计算节点之后，将计算节点的资源状态信息和gpu类型对待处理任务进行验证，在计算节点的资源状态信息或计算节点的gpu类型中的至少一项与待处理任务不匹配的情况下，重新调度计算节点。

13、可选的，调度策略计算平台配置有显示设备，显示设备展示交互界面，交互界面用于输入待处理任务的配置信息。

14、可选的，待处理任务包括模型训练任务和推理任务的一项或多项。

15、可选的，调度策略计算平台还用于基于目标gpu类型调用待处理任务的任务执行脚本模板；基于待处理任务的配置信息和任务执行脚本模板生成待处理任务的任务执行脚本，将待处理任务的任务执行脚本通过目标gpu类型对应的设备插件下发至目标gpu类型对应的计算节点，以使目标gpu类型对应的计算节点执行待处理任务的任务执行脚本。

16、根据本发明的一方面，提供了一种异构gpu调度方法，应用于调度策略计算平台，方法包括：

17、通过各gpu类型对应的设备插件获取多个gpu类型的gpu设备的资源状态信息；

18、接收待处理任务，基于待处理任务和/或各gpu类型的gpu设备的资源状态信息确定待处理任务对应的目标gpu类型；

19、将目标gpu类型发送至计算节点管理系统，以使计算节点管理系统创建目标gpu类型对应的计算节点；

20、通过目标gpu类型对应的设备插件为目标gpu类型对应的计算节点分配目标gpu类型的gpu资源，以及调用目标gpu类型对应的计算节点，以执行待处理任务。

21、根据本发明的一方面，提供了一种异构gpu调度装置，配置于调度策略计算平台，装置包括：

22、资源状态信息获取模块，用于通过各gpu类型对应的设备插件获取多个gpu类型的gpu设备的资源状态信息；

23、目标gpu类型确定模块，用于接收待处理任务，基于待处理任务和/或各gpu类型的gpu设备的资源状态信息确定待处理任务对应的目标gpu类型；

24、计算节点创建模块，用于将目标gpu类型发送至计算节点管理系统，以使计算节点管理系统创建目标gpu类型对应的计算节点；

25、计算节点调用模块，用于通过目标gpu类型对应的设备插件为目标gpu类型对应的计算节点分配目标gpu类型的gpu资源，以及调用目标gpu类型对应的计算节点，以执行待处理任务。

26、根据本发明的另一方面，提供了一种电子设备，电子设备包括：

27、至少一个处理器；以及

28、与至少一个处理器通信连接的存储器；其中，

29、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的异构gpu调度方法。

30、根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的异构gpu调度方法。

31、根据本发明的另一方面，提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本发明任一实施例的异构gpu调度方法。

32、本发明实施例的技术方案，提供了一种异构gpu调度系统，包括：调度策略计算平台、计算节点管理系统、多种gpu类型的gpu设备、各gpu类型分别对应的设备插件；各类型的gpu分别对应的设备插件基于同一的封装标准进行封装得到；调度策略计算平台通过目标gpu类型对应的设备插件为目标gpu类型对应的计算节点分配目标gpu类型的gpu资源，以及调用目标gpu类型对应的计算节点，而不是仅调度相同gpu类型的gpu设备，解决了异构gpu调度不兼容的问题，实现了对异构gpu兼容调度。

33、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。