异构资源池作业执行方法、装置及非易失性存储介质与流程

本申请涉及分布式计算领域，具体而言，涉及一种异构资源池作业执行方法、装置及非易失性存储介质。

背景技术：

1、相关技术中在对作业进行编排，从而在多个资源池中协同完成作业执行工作时，通常只能在同构资源池中实现同构作业的编排，但是这种方式不适用于异构多资源池。因此在相关技术中无法实现在异构资源池中对作业进行编排。然而目前大部分企业用户的生产环境是多云环境，一项作业的训练、部署等可能需要在不同厂商的不同资源池上进行。因此相关技术中无法实现对跨资源池、跨技术架构、跨厂商的全流程作业的统一编排和高效执行。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种异构资源池作业执行方法、装置及非易失性存储介质，以至少解决相关技术中无法实现在异构资源池中对作业进行编排的技术问题。

2、根据本申请实施例的一个方面，提供了一种异构资源池作业执行方法，包括：接收目标作业的作业配置信息；依据目标作业的作业配置信息，将目标作业拆分为多个步骤，并将多个步骤中的每个步骤独立封装为执行模块；确定各个执行模块所需的资源类型，并依据资源类型将各个执行模块部署至对应的异构资源池中，其中，不同的异构资源池中的资源类型不同，异构资源池之间通过专用通信网络连接，并且任意两个异构资源池之间的数据传输协议为同一预设数据传输协议；依据各个执行模块对应的步骤之间的执行顺序和依赖关系，确定执行模块之间的执行顺序和依赖关系，并依据执行模块之间的执行顺序和依赖关系调用异构资源池中的资源执行各个执行模块。

3、可选地，依据资源类型将各个执行模块部署至对应的异构资源池中包括：依据资源类型确定至少一个备选异构资源池，其中，备选资源池与目标作业兼容；依据备选异构资源池的历史性能数据或理论性能数据，确定备选异构资源池在执行执行模块时的执行性能；确定执行模块在执行时所需的目标性能；比较目标性能和执行性能，从备选异构资源池中确定部署执行模块的异构资源池。

4、可选地，在存在多个执行性能在同一预设取值区间中的目标备选异构资源池情况下，从备选异构资源池中确定部署执行模块的异构资源池包括：确定各个目标备选异构资源池与已部署执行模块的异构资源池之间的地理距离；确定地理距离最短的目标备选异构资源池为目标异构资源池。

5、可选地，执行模块包括输入接口和输出接口；将多个步骤中的每个步骤独立封装为执行模块包括：确定各个执行模块对应的模板，其中，模板用于定义各个执行模块的执行流程和执行模块之间的连接关系；确定各个执行模块对应的设置窗口，其中，设置窗口用于对执行模块的参数进行调整。

6、可选地，依据资源类型将各个执行模块部署至对应的异构资源池中包括：确定执行模块对应的作业代码，数据集以及目标作业的作业配置信息；确定各个执行模块对应的作业包，其中，作业包中包括执行模块，执行模块对应的作业代码，执行模块对应的数据集以及目标作业的作业配置信息；将作业包上传到镜像仓库中，其中，镜像仓库用于存储作业包，以及将作业包分发至对应的异构资源池中。

7、可选地，作业配置信息包括以下至少之一：目标作业的作业名称，目标作业的作业类型，目标作业的执行所需资源信息。

8、可选地，接收目标作业的作业配置信息前，方法还包括：将各个异构资源池中的异构数据集统一处理为预设数据结构的数据集；确定多个预设作业类型，以及确定多个预设作业类型中的每个预设作业类型对应的训练模型；将训练模型拆分为多个子模型，并依据分布式训练框架和数据集对多个子模型进行训练；在训练完成后，依据子模型在运行时所需的资源类型，将子模型部署到资源类型对应的异构资源池中，其中，部署到异构资源池中的子模型用于执行执行模块。

9、根据本申请实施例的另一方面，还提供了一种异构资源池作业执行装置，包括：第一处理模块，用于接收目标作业的作业配置信息；第二处理模块，用于依据目标作业的作业配置信息，将目标作业拆分为多个步骤，并将多个步骤中的每个步骤独立封装为执行模块；第三处理模块，用于确定各个执行模块所需的资源类型，并依据资源类型将各个执行模块部署至对应的异构资源池中，其中，不同的异构资源池中的资源类型不同，异构资源池之间通过专用通信网络连接，并且任意两个异构资源池之间的数据传输协议为预设数据传输协议；第四处理模块，用于依据各个执行模块对应的步骤之间的执行顺序和依赖关系，确定执行模块之间的执行顺序和依赖关系，并依据执行模块之间的执行顺序和依赖关系调用异构资源池中的资源执行各个执行模块。

10、根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行异构资源池作业执行方法。

11、根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行异构资源池作业执行方法。

12、根据本申请实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现异构资源池作业执行方法。

13、在本申请实施例中，采用接收目标作业的作业配置信息；依据目标作业的作业配置信息，将目标作业拆分为多个步骤，并将多个步骤中的每个步骤独立封装为执行模块；确定各个执行模块所需的资源类型，并依据资源类型将各个执行模块部署至对应的异构资源池中，其中，不同的异构资源池中的资源类型不同，异构资源池之间通过专用通信网络连接，并且任意两个异构资源池之间的数据传输协议为同一预设数据传输协议；依据各个执行模块对应的步骤之间的执行顺序和依赖关系，确定执行模块之间的执行顺序和依赖关系，并依据执行模块之间的执行顺序和依赖关系调用异构资源池中的资源执行各个执行模块的方式，通过将目标作业拆分为多个步骤并确定每个步骤对应的执行模块所需的资源类型，将执行模块部署到对应的异构资源池中，并按照不同执行模块之间的执行顺序和依赖关系来执行各个执行模块，达到了在异构资源池中对作业进行编排的目的，从而实现了在异构资源池中高效完成作业的技术效果，进而解决了相关技术中无法实现在异构资源池中对作业进行编排技术问题。

技术特征：

1.一种异构资源池作业执行方法，其特征在于，包括：

2.根据权利要求1所述的异构资源池作业执行方法，其特征在于，依据所述资源类型将各个所述执行模块部署至对应的异构资源池中包括：

3.根据权利要求2所述的异构资源池作业执行方法，其特征在于，在存在多个执行性能在同一预设取值区间中的目标备选异构资源池情况下，从所述备选异构资源池中确定部署所述执行模块的异构资源池包括：

4.根据权利要求1所述的异构资源池作业执行方法，其特征在于，所述执行模块包括输入接口和输出接口；将所述多个步骤中的每个步骤独立封装为执行模块包括：

5.根据权利要求1所述的异构资源池作业执行方法，其特征在于，依据所述资源类型将各个所述执行模块部署至对应的异构资源池中包括：

6.根据权利要求1所述的异构资源池作业执行方法，其特征在于，所述作业配置信息包括以下至少之一：所述目标作业的作业名称，所述目标作业的作业类型，所述目标作业的执行所需资源信息。

7.根据权利要求1所述的异构资源池作业执行方法，其特征在于，接收目标作业的作业配置信息前，所述方法还包括：

8.一种异构资源池作业执行装置，其特征在于，包括：

9.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的异构资源池作业执行方法。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的异构资源池作业执行方法。

11.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至7中任意一项所述的异构资源池作业执行方法。

技术总结本申请公开了一种异构资源池作业执行方法、装置及非易失性存储介质。其中，该方法包括：接收目标作业的作业配置信息；依据目标作业的作业配置信息，将目标作业拆分为多个步骤，并将多个步骤中的每个步骤独立封装为执行模块；确定各个执行模块所需的资源类型，并依据资源类型将各个执行模块部署至对应的异构资源池中；依据各个执行模块对应的步骤之间的执行顺序和依赖关系，确定执行模块之间的执行顺序和依赖关系，并依据执行模块之间的执行顺序和依赖关系调用异构资源池中的资源执行各个执行模块。本申请解决了相关技术中无法实现在异构资源池中对作业进行编排的技术问题。技术研发人员：桑洁丽,张慷,储伟伟,王晓文,马骁骋受保护的技术使用者：中国电信股份有限公司技术研发日：技术公布日：2024/7/29