一种算力网络任务调度方法及装置与流程

本说明书的一个或多个实施例涉及计算机网络，特别的涉及一种算力网络任务调度方法及装置。

背景技术：

1、算力网络作为一种分布式系统，在算力资源收集和算力调度方面面临着诸多挑战和瓶颈问题。这些挑战不仅涉及到技术层面，还涉及到系统设计、可靠性等多个方面。

2、算力资源的收集涉及从分布式网络中的各个节点获取信息，以了解它们的可用性、性能和资源情况。然而，分布式网络的异构性是一个主要挑战。节点可能拥有不同类型的硬件和软件配置，导致资源信息的差异性，这增加了资源收集的复杂性。此外，节点的动态性也是一个问题。节点可能随时加入或离开网络，其资源信息也会随之变化，因此需要一种动态的机制来管理和更新资源信息。

3、算力调度涉及将任务分配给各个节点，并有效地利用它们的算力资源来完成任务。一个主要的挑战是如何有效地分配和利用各个节点的算力资源，以最大程度地提高系统的性能和效率。这涉及到一个复杂的优化问题，需要考虑任务的优先级、节点的可用性、性能和负载情况等多个因素。任务调度策略应该能够根据任务的特性和系统的实时状态来动态地调整任务的分配和调度。由于算力网络中节点的动态性（例如节点的加入、退出或故障）以及任务的多样性，调度系统需要具备一定的动态性和灵活性，以适应不断变化的环境。

技术实现思路

1、本说明书一个或多个实施例描述了一种算力网络任务调度方法及装置，通过对算力需求端需求参数、网络传输层能力以及算力供给端的能力指标进行统筹，计算得到最匹配的算力供给节点，以及最匹配的算力供给节点与算力需求节点之间的最短延时路径，进而输出最优调度方案。

2、第一方面，本说明书实施例提供了一种算力网络任务调度方法，执行于算力调度设备，包括：

3、基于算力网络中算力需求节点所需的cpu、gpu、内存、硬盘指标，形成算力网络需求侧的需求矩阵，并基于算力网络中若干算力供给节点能供给的cpu、gpu、内存、硬盘指标，形成算力网络供给侧的供给矩阵；

4、对需求矩阵和供给矩阵进行点乘运算，得到算力网络的评价矩阵；所述评价矩阵存储有算力网络中若干算力供给节点的综合cpu、gpu、内存、硬盘指标；

5、基于综合cpu、gpu、内存、硬盘指标，对评价矩阵中每一个算力供给节点进行供需匹配度评分，并根据供需匹配度评分从高到低排列每个算力供给节点，形成算力供给集合；

6、基于算力网络中各算力节点间的带宽和延时指标，分别形成算力网络的带宽邻接矩阵和延时邻接矩阵；所述算力网络中的算力节点包括算力供给节点、算力需求节点，以及位于算力供给节点和算力需求节点之间用于实现算力供给节点与算力需求节点通信的网络通信节点；

7、将算力需求侧作为源节点，将算力供给集合的第一个算力供给节点作为目的节点，利用dijkstra算法，基于算力网络的延时邻接矩阵，计算需求侧与供给侧之间的最短延时路径；

8、判断最短延时路径的所有算力供给节点的网络延时总和是否不大于需求侧的网络延时约束值，若是，则输出基于当前算力供给节点作为目的节点计算得到的最短延时路径，否则，依序遍历算力供给集合，将下一个算力供给节点作为目的节点，重复上述需求侧与供给侧之间的最短延时路径计算流程，直到最短延时路径的所有算力供给节点的网络延时总和不大于需求侧的网络延时约束值为止。

9、在一些实施方式下，基于算力网络中算力需求节点所需的cpu、gpu、内存、硬盘指标，形成算力网络需求侧的需求矩阵，包括：

10、根据算力网络需求侧的业务类型，确定该业务所需的cpu、gpu、内存、硬盘指标；

11、基于该业务所需的cpu、gpu、内存、硬盘指标，形成算力网络需求侧的需求矩阵。

12、在一些实施方式下，基于算力网络中若干算力供给节点能供给的cpu、gpu、内存、硬盘指标，形成算力网络供给侧的供给矩阵，包括：

13、获取算力网络中若干算力供给节点表征cpu、gpu、内存、硬盘指标的相关数据，分别形成cpu供给矩阵、gpu供给矩阵、内存供给矩阵、硬盘供给矩阵；

14、cpu供给矩阵、gpu供给矩阵、内存供给矩阵、硬盘供给矩阵构成了算力网络供给侧的供给矩阵。

15、在一些实施方式下，所述基于综合cpu、gpu、内存、硬盘指标，对评价矩阵中每一个算力供给节点进行供需匹配度评分，包括：

16、根据算力网络需求侧的业务类型，确定与该业务相关的cpu、gpu、内存、硬盘指标权重系数；

17、利用获取的cpu、gpu、内存、硬盘指标权重系数，对评价矩阵中每一个算力供给节点的综合cpu、gpu、内存、硬盘指标进行加权平均计算，得到每一个算力供给节点的供需匹配度评分。

18、在一些实施方式下，基于算力网络中各算力节点间的带宽和延时指标，分别形成算力网络的带宽邻接矩阵和延时邻接矩阵，包括：

19、获取算力网络的网络拓扑结构和算力网络中各个节点间的带宽和延时指标；

20、基于算力网络的网络拓补结构和算力网络中各个节点间的带宽指标，形成算力网络的带宽邻接矩阵；基于算力网络的网络拓补结构和算力网络中各个节点间的延时指标，形成算力网络的延时邻接矩阵；其中，无直接连接的节点间的带宽指标为0，无直接连接的节点间的延时指标为无穷大。

21、在一些实施方式下，基于算力网络中各算力节点间的带宽和延时指标，分别形成算力网络的带宽邻接矩阵和延时邻接矩阵，还包括：

22、对算力网络的带宽邻接矩阵中小于需求侧的带宽约束值的节点间带宽指标置为0，对算力网络的带宽邻接矩阵中不小于需求侧的带宽约束值的节点间带宽指标置为1，进而形成变化后的算力网络的带宽邻接矩阵；

23、当变化后的算力网络的带宽邻接矩阵中节点间带宽指标为0时，对算力网络的延时邻接矩阵中相关节点间延时指标置为无穷大，进而形成变化后的算力网络的延时邻接矩阵；

24、将变化后的算力网络的延时邻接矩阵用于后续最短延时路径计算。

25、在一些实施方式下，需求侧的带宽约束值和网络延时约束值根据算力网络需求侧的业务类型确定。

26、第二方面，本说明书实施例提供了一种算力网络任务调度装置，设于算力调度设备，包括：

27、第一模块，用于基于算力网络中算力需求节点所需的cpu、gpu、内存、硬盘指标，形成算力网络需求侧的需求矩阵，并基于算力网络中若干算力供给节点能供给的cpu、gpu、内存、硬盘指标，形成算力网络供给侧的供给矩阵；

28、第二模块，用于对需求矩阵和供给矩阵进行点乘运算，得到算力网络的评价矩阵；所述评价矩阵存储有算力网络中若干算力供给节点的综合cpu、gpu、内存、硬盘指标；

29、匹配模块，用于基于综合cpu、gpu、内存、硬盘指标，对评价矩阵中每一个算力供给节点进行供需匹配度评分，并根据供需匹配度评分从高到低排列每个算力供给节点，形成算力供给集合；

30、第三模块，用于基于算力网络中各算力节点间的带宽和延时指标，分别形成算力网络的带宽邻接矩阵和延时邻接矩阵；所述算力网络中的算力节点包括算力供给节点、算力需求节点，以及位于算力供给节点和算力需求节点之间用于实现算力供给节点与算力需求节点通信的网络通信节点；

31、计算模块，用于将算力需求侧作为源节点，将算力供给集合的第一个算力供给节点作为目的节点，利用dijkstra算法，基于算力网络的延时邻接矩阵，计算需求侧与供给侧之间的最短延时路径；

32、判断模块，用于判断最短延时路径的所有算力供给节点的网络延时总和是否不大于需求侧的网络延时约束值，若是，则输出基于当前算力供给节点作为目的节点计算得到的最短延时路径，否则，依序遍历算力供给集合，将下一个算力供给节点作为目的节点，触发计算模块重复上述需求侧与供给侧之间的最短延时路径计算流程，直到最短延时路径的所有算力供给节点的网络延时总和不大于需求侧的网络延时约束值为止。

33、在一些实施方式下，所述匹配模块包括：

34、权重系数获取单元，用于根据算力网络需求侧的业务类型，确定与该业务相关的cpu、gpu、内存、硬盘指标权重系数；

35、计算单元，用于利用获取的cpu、gpu、内存、硬盘指标权重系数，对评价矩阵中每一个算力供给节点的综合cpu、gpu、内存、硬盘指标进行加权平均计算，得到每一个算力供给节点的供需匹配度评分；

36、形成单元，用于根据供需匹配度评分从高到低排列每个算力供给节点，形成算力供给集合。

37、在一些实施方式下，所述第三模块包括：

38、获取单元，用于获取算力网络的网络拓扑结构和算力网络中各个节点间的带宽和延时指标；

39、矩阵形成单元，用于基于算力网络的网络拓补结构和算力网络中各个节点间的带宽指标，形成算力网络的带宽邻接矩阵；基于算力网络的网络拓补结构和算力网络中各个节点间的延时指标，形成算力网络的延时邻接矩阵；其中，无直接连接的节点间的带宽指标为0，无直接连接的节点间的延时指标为无穷大；

40、第一变换单元，用于对算力网络的带宽邻接矩阵中小于需求侧的带宽约束值的节点间带宽指标置为0，对算力网络的带宽邻接矩阵中不小于需求侧的带宽约束值的节点间带宽指标置为1，进而形成变化后的算力网络的带宽邻接矩阵；

41、第二变换单元，用于当变化后的算力网络的带宽邻接矩阵中节点间带宽指标为0时，对算力网络的延时邻接矩阵中相关节点间延时指标置为无穷大，进而形成变化后的算力网络的延时邻接矩阵；变化后的算力网络的延时邻接矩阵用于后续最短延时路径计算。

42、本说明书一些实施例提供的技术方案带来的有益效果至少包括：

43、本说明书实施例的一种算力网络任务调度方法及装置，对算力网络中各算力供给节点的算力资源、节点间的网络资源实现评估与量化，进而在算力调度设备侧构建算力网络的需求矩阵、供给矩阵、延时邻接矩阵、带宽邻接矩阵；基于需求矩阵和供给矩阵形成评价矩阵，基于评估矩阵可量化评估算力网络中算力供给端与算力需求端间的匹配关系，得出按匹配度评分从高到低排列的算力供给节点集合；最终根据高匹配的算力供给节点与算力需求节点间的算力网络现状规划出最优网络运行路径，实现算力网络资源的集约、高效利用。