一种面向异构编码分布式计算的期限感知负载分配方法及系统

本发明涉及分布式计算领域，具体涉及一种面向异构编码分布式计算的期限感知负载分配方法及系统。

背景技术：

1、分布式计算利用多个计算节点的并发处理能力已成为大规模机器学习和大数据分析的主流方法。然而，这些大规模分布式系统的性能很大程度上受到各个计算节点的掉队问题的显著影响。具体来说，由于网络环境的变化、资源共享和竞争、软硬件故障、工作负载不均匀等各种因素，计算节点的运行时间往往会显著波动。这种变化可能会显著延长分布式计算任务的总体计算时间。

2、为了减轻掉队者的影响，编码计算已成为一种有效的方法，其中编码的子任务在不同节点上并行执行，只需从部分子任务的结果中就可以解码恢复出所需的结果。针对各种不同的分布式计算任务，如矩阵乘法、梯度下降、数据洗牌、安全和隐私计算等，已经提出了许多高效的编码方案。

3、对于优化编码分布式计算的性能，如平均延迟和任务失败概率，一个重要问题是如何在计算之前适当地分配每个节点的工作负载。在计算节点(工作节点)同构的情况下，均匀负载分配方案，即给每个节点分配相同的工作负载，通常被认为是一种有效的负载分配策略。研究人员根据不同计算任务的特点和计算节点的运行时间模型，分析了每个节点的最优工作负载。

4、然而，大规模分布式计算系统通常由具有不同计算能力的异构节点组成，对于这种情况，均匀负载分配方案远非最优的。近年来，已经提出了多种有效的负载分配方案，用于异构集群上的编码计算。一种负载分配的方法是给每个计算节点分配足够多的工作负载，则其很难在任务完成时间期限内返回计算结果，同时还会消耗过多的存储资源。另一方面，如果在计算节点上部署的工作负载过少，导致其可能过早完成计算任务而处于闲置状态，影响了整体任务完成时间。然而，这类工作主要集中在最小化预期时延上，对于具有严格截止时间要求的实时性任务，如分布式路径规划、娱乐和物联网(iot)应用等，这些方案往往导致较高的任务失败概率。

技术实现思路

1、发明目的：为了解决现有方案中的不足，本发明提供一种面向异构编码分布式计算的期限感知负载分配方法及系统，能够根据节点的计算性能进行差异化负载分配，使其能更大程度的发挥节点潜力，保障计算任务能够大概率在一定时间内完成的要求。

2、技术方案：为了实现以上发明目的，本发明的技术方案如下：

3、一种面向异构编码分布式计算的期限感知负载分配方法，包括以下步骤：

4、对于由一个主节点和一组n个工作节点组成的分布式计算系统的矩阵-向量乘法任务，采用最大距离可分mds编码对计算矩阵进行预编码和部署，并建立典型运行时间模型下的期限感知负载分配问题，其中以pi(li)表示工作节点i在任务截止时间内将本地结果返回给主节点的概率，根据pi(li)建立任务成功概率模型p(l)，所述负载分配问题通过优化负载分配方案l＝{l1,l2,…,ln}来最小化整体任务失败概率1-p(l)，其中li表示工作节点i分配的工作负载；

5、基于中心极限定理来近似任务成功概率，将原负载分配问题转化为一个非凸多变量优化问题；

6、采用基于牛顿迭代法的迭代算法去求解优化问题，得到最优的负载分配方案，根据最优的负载分配方案为工作节点分配任务。

7、本发明还提供一种面向异构编码分布式计算的期限感知负载分配系统，包括：

8、负载分配问题建立模块，用于对于由一个主节点和一组n个工作节点组成的分布式计算系统的矩阵-向量乘法任务，采用最大距离可分mds编码对计算矩阵进行预编码和部署，并建立典型运行时间模型下的期限感知负载分配问题，其中以pi(li)表示工作节点i在任务截止时间内将本地结果返回给主节点的概率，根据pi(li)建立任务成功概率模型p(l)，所述负载分配问题通过优化负载分配方案l＝{l1,l2,…,ln}来最小化整体任务失败概率1-p(l)，其中li表示工作节点i分配的工作负载；

9、问题转换模块，用于基于中心极限定理来近似任务成功概率，将原负载分配问题转化为一个非凸多变量优化问题；

10、问题求解及应用模块，用于采用基于牛顿迭代法的迭代算法去求解优化问题，得到最优的负载分配方案，根据最优的负载分配方案为工作节点分配任务。

11、本发明还提供一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如上所述的面向异构编码分布式计算的期限感知负载分配方法的步骤。

12、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的面向异构编码分布式计算的期限感知负载分配方法的步骤。

13、本发明与现有技术相比，具有如下优点和有益效果：提供一种面向异构编码分布式计算的期限感知负载分配方法，通过建立典型运行时间模型下的期限感知负载分配问题，以及基于中心极限定理的近似处理方案，将优化问题转化为一个非凸多变量优化问题，并提出了一种高效的迭代算法来求解优化问题，最后实现负载分配。本发明能够根据节点的计算性能进行差异化负载分配，使其能更大程度的发挥节点潜力，最大化计算任务的计算成功概率同时还能降低系统尾时延和编码冗余度。

技术特征：

1.一种面向异构编码分布式计算的期限感知负载分配方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，根据pi(li)建立任务成功概率模型p(l)，包括：

3.根据权利要求1所述的方法，其特征在于，所述典型运行时间模型包括：

4.根据权利要求3所述的方法，其特征在于，基于中心极限定理来近似任务成功概率，原负载分配问题转化为如下问题：

5.根据权利要求4所述的方法，其特征在于，采用基于牛顿迭代法的迭代算法去求解优化问题，得到最优的负载分配方案包括：

6.根据权利要求5所述的方法，其特征在于，算法的初始化包括：将hcmm方案下的负载分配方案l＝{l1,l2,…,ln}作为初始值。

7.根据权利要求5所述的方法，其特征在于，工作节点i的最优值计算如下：

8.一种面向异构编码分布式计算的期限感知负载分配系统，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如权利要求1-7中任一项所述的面向异构编码分布式计算的期限感知负载分配方法的步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的面向异构编码分布式计算的期限感知负载分配方法的步骤。

技术总结本发明公开了一种面向异构编码分布式计算的期限感知负载分配方法及系统，该负载分配方法包括：对于由一个主节点和一组n个工作节点组成的分布式计算系统的矩阵‑向量乘法任务，采用MDS编码对计算矩阵进行预编码和部署，建立典型运行时间模型下的期限感知负载分配问题，以最小化任务失败概率；通过中心极限定理利用一种简单而有效的正态近似方法来近似失败概率，将原问题转化为一个非凸多变量优化问题；通过基于牛顿迭代法的高效迭代算法去求解优化问题，得到最优的负载分配方案。本发明能够根据节点的计算性能进行差异化负载分配，使其能更大程度的发挥节点潜力，保障计算任务能够大概率在一定时间内完成的要求。技术研发人员：唐斌,程诗瑛受保护的技术使用者：河海大学技术研发日：技术公布日：2024/12/2