一种基于人工智能的算力弹性调度方法及系统与流程

本申请涉及云计算，具体涉及一种基于人工智能的算力弹性调度方法及系统。

背景技术：

1、随着人工智能技术的不断突破，关于人工智能技术的应用也越来越多。例如，在很多行业中已经引入人工智能客服；在视频处理领域也有许多人工智能生成视频和图像的应用。不同类型的人工智能模型对算力的需要也是各不相同，例如，人工智能客服对音频数据的处理能力要求高，而视频处理类人工智能模型对视频数据的处理能力要求高。并且随着人工智能技术应用的增多，为其提供算力支持的算力资源平台也随之增多，不同算力资源平台的架构以及接口都是不同的，因此同一个人工智能模型很难兼容不同的算力资源平台。

2、为解决人工智能模型兼容各异构算力资源平台的问题，在申请号为202011069120.9，名称为《用于人工智能ai的处理方法、装置、电子设备和存储介质》的中国专利中，公开了在各异构算力资源平台上分别设置容器，人工智能模型生成多个服务镜像，并分别配置于不同异构算力资源平台的容器内，从而实现人工智能模型兼容各异构算力资源平台。该方法可以兼容多个异构算力资源平台，但是不能根据不同人工智能模型对算力类型的需求，选择最优的算力资源平台，从而使云计算无法发挥最佳的计算效率。

技术实现思路

1、鉴于上述问题，本申请提供了一种基于人工智能的算力弹性调度方法及系统，用于解决上述人工智能计算在异构算力资源平台中无法发挥最佳的计算效率的技术问题。

2、为实现上述目的，本申请提供了一种基于人工智能的算力弹性调度方法，包括：

3、获取待部署的人工智能模型，获取所述人工智能模型中各子模块的功能信息，基于所述功能信息将所述人工智能模型分割成不同算力类型需求的子模块，并生成所述人工智能模型的服务镜像以及各所述子模块对应的子服务镜像；确定所述人工智能模型待部署的多个异构算力资源平台，针对各所述异构算力资源平台分别生成容器，并将所述服务镜像和各所述子模块对应的所述子服务镜像分别设置于各所述异构算力资源平台对应的所述容器内，并将所述容器挂载于对应的异构算力资源平台上，使所述人工智能模型和任意一个所述子模块在各所述异构算力资源平台上均可被单独调用；获取针对所述人工智能模型的计算请求数据，以及各所述异构算力资源平台当前的第一算力数据；基于所述计算请求数据分析得到各所述子模块的算力需求和算力类型，基于所述第一算力数据分析得到各所述异构算力资源平台当前的剩余算力和最佳算力类型，所述最佳算力类型包括：视频算力、语音算力、文字算力、存储算力中的任意一种或多种；基于预先设定的分配策略、各所述子模块的算力需求和算力类型以及各所述异构算力资源平台当前的剩余算力和最佳算力类型，从至少两个以上所述异构算力资源平台上确定不同的所述子服务镜像，调用所确定的各所述子服务镜像协同执行所述计算请求数据，以得到所述人工智能模型的计算结果。

4、为解决上述技术问题，本申请还提供了另一技术方案：

5、一种基于人工智能的算力弹性调度系统，包括：

6、人工智能模型，所述人工智能模型包括不同算力类型需求的多个子模块，以及所述人工智能模型的服务镜像和各所述子模块对应的子服务镜像；

7、多个异构算力资源平台，为所述人工智能模型的部署对象，各异构算力资源平台挂载有对应的容器，所述容器内设置有所述服务镜像和子服务镜像；

8、请求接收端，用于获取针对所述人工智能模型的计算请求数据，以及各所述异构算力资源平台当前的第一算力数据；基于所述计算请求数据分析得到各所述子模块的算力需求和算力类型，基于所述第一算力数据分析得到各所述异构算力资源平台当前的剩余算力和最佳算力类型，所述最佳算力类型包括：视频算力、语音算力、文字算力、存储算力中的任意一种或多种；基于预先设定的分配策略、各所述子模块的算力需求和算力类型以及各所述异构算力资源平台当前的剩余算力和最佳算力类型，从至少两个以上所述异构算力资源平台上确定不同的所述子服务镜像，调用所确定的各所述子服务镜像协同执行所述计算请求数据，以得到所述人工智能模型的计算结果。

9、区别于现有技术，上述技术方案生成人工智能模型对应的服务镜像以及各子模块对应的子服务镜像，并将服务镜像和子服务镜像设置于容器内，然后将容器挂载于对应的异构算力资源平台上；在接收到人工智能模型的计算请求数据时（即需要人工智能模型对计算请求数据进行处理时），获取各异构算力资源平台的第一算力数据，以及基于第一算力数据分析得到不同异构算力资源平台当前最佳算力类型（例如，异构算力资源平台一当前处理视频数据效率最佳，异构算力资源平台二当前处理文本数据的效率最佳），因此可以根据当前的计算请求数据得到当前人工智能模型的各子模块对算力类型需求（例如，子模块一对视频数据的算力要求高，子模块二对音频数据的算力要求高），因此基于上述分析可以生成算力类型相匹配的子模块与异构算力资源平台的对应关系表，最终根据所述对应关系表从两个以上的所述异构算力资源平台上确定不同的所述子服务镜像，从而使人工智能模型在执行计算时各异构算力资源平台都能执行其计算效率最佳的算力类型，从而实现算力弹性调度，并使人工智能模型处理效率最高，以及各异构算力资源平台的算力被合理利用。

10、上述技术实现要素：相关记载仅是本申请技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本申请的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解，以下结合本申请的具体实施方式及附图进行说明。

技术特征：

1.一种基于人工智能的算力弹性调度方法，其特征在于，包括：

2.根据权利要求1所述的基于人工智能的算力弹性调度方法，其特征在于，所述基于预先设定的分配策略、各所述子模块的算力需求和算力类型以及各所述异构算力资源平台当前的剩余算力和最佳算力类型，从至少两个以上所述异构算力资源平台上确定不同的所述子服务镜像，包括：

3.根据权利要求1所述的基于人工智能的算力弹性调度方法，其特征在于，所述针对各所述异构算力资源平台分别生成容器，包括：

4.根据权利要求3所述的基于人工智能的算力弹性调度方法，其特征在于，当资源组中实际资源占用量已达到所述资源组的资源配额上限，产生报警信息。

5.一种基于人工智能的算力弹性调度系统，其特征在于，包括：

6.根据权利要求5所述的基于人工智能的算力弹性调度系统，其特征在于，所述基于预先设定的分配策略、各所述子模块的算力需求和算力类型以及各所述异构算力资源平台当前的剩余算力和最佳算力类型，从至少两个以上所述异构算力资源平台上确定不同的所述子服务镜像，包括：

7.根据权利要求5所述的基于人工智能的算力弹性调度系统，其特征在于，所述针对各所述异构算力资源平台分别生成容器，包括：

8.根据权利要求7所述的基于人工智能的算力弹性调度系统，其特征在于，当资源组中实际资源占用量已达到所述资源组的资源配额上限，产生报警信息。

技术总结本发明公开了一种基于人工智能的算力弹性调度方法及系统，包括：生成人工智能模型的服务镜像以及各子模块对应的子服务镜像；生成多个容器，将服务镜像和子服务镜像设置于容器内并挂载异构算力资源平台上；分析各子模块的算力需求和算力类型，以及各异构算力资源平台的最佳算力类型；从两个以上异构算力资源平台调用算力资源相符的子服务镜像执行所述计算请求数据，得到人工智能模型的计算结果。本发明可以使同一人工智能模型兼容多个异构算力资源平台，并且可以使异构算力资源平台分配处理其计算效率最佳的数据类型对应的子模块。技术研发人员：曾广福,黄坦波,吴聿建受保护的技术使用者：知鱼智联科技股份有限公司技术研发日：技术公布日：2024/7/25