一种提高任务稳定性的优化方法及终端与流程

本发明涉及计算机，特别涉及一种提高任务稳定性的优化方法及终端。

背景技术：

1、目前的很多系统都存在海量大数据的任务执行功能。在大数据场景下，系统主要都是通过mapperreduce的方式，即mr的方式来提高分布式任务的执行效率的，其主要的原理是：map任务下，拆分map任务到各个分布式的节点中，由各个节点自身读取数据，并处理数据后，保存处理结果数据在自身的节点中，之后各个reduce节点中会从map的子任务的节点的硬盘中读取数据来进行后续的处理，如果某个节点上运行的map任务在将map中间结果传送给reduce任务之前失败将在另个节点上重新运行这个map任务以再次构建map中间结果。

2、在这种方式下，map中各个子任务存储的结果数据都在本地磁盘中，只有一份数据；当某一个节点故障或者磁盘异常时，该磁盘的所有任务都将受到影响，无法读取数据并继续任务，而重新跑任务将会给任务执行时间带来很大的影响。

技术实现思路

1、本发明所要解决的技术问题是：提出一种提高任务稳定性的优化方法及终端，减少因磁盘节点故障等情况所增加的任务耗时，提高任务执行的稳定性。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种提高任务稳定性的优化方法，包括如下步骤：

4、s1、预设分布式系统存储文件，在每个根节点执行对应的子任务时，将执行的结果数据先后存入所述根节点对应的本地磁盘以及所述分布式系统存储文件中；

5、s2、依次从每个所述根节点对应的所述本地磁盘读取所述结果数据，同时判断是否发生读取异常，若是，则执行步骤s3；

6、s3、从所述分布式系统存储文件中读取对应的所述根节点的所述结果数据。

7、为了解决上述技术问题，本发明采用的另一技术方案为：

8、一种提高任务稳定性的优化终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

9、s1、预设分布式系统存储文件，在每个根节点执行对应的子任务时，将执行的结果数据先后存入所述根节点对应的本地磁盘以及所述分布式系统存储文件中；

10、s2、依次从每个所述根节点对应的所述本地磁盘读取所述结果数据，同时判断是否发生读取异常，若是，则执行步骤s3；

11、s3、从所述分布式系统存储文件中读取对应的所述根节点的所述结果数据。

12、本发明的有益效果在于：提供一种提高任务稳定性的优化方法及终端，针对分布式任务，预设分布式系统存储文件，从而在每个根节点执行对应的子任务时，不仅将结果数据存至本地磁盘，还将结果数据另存在分布式系统存储文件中，在读取数据时优先读取本地磁盘的数据，而在发生读取异常后再转而执行读取分布式系统存储文件上的数据，以本地磁盘为主，而以分布式系统存储文件为辅联动使用，有效减少因磁盘节点故障等情况所增加的任务耗时，提高任务执行的稳定性。

技术特征：

1.一种提高任务稳定性的优化方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种提高任务稳定性的优化方法，其特征在于，所述读取异常包括网路故障或所述本地磁盘故障。

3.根据权利要求2所述的一种提高任务稳定性的优化方法，其特征在于，所述步骤s2包括：

4.根据权利要求1所述的一种提高任务稳定性的优化方法，其特征在于，所述步骤s3包括：

5.根据权利要求1所述的一种提高任务稳定性的优化方法，其特征在于，所述将执行的结果数据先后存入所述根节点对应的本地磁盘以及所述分布式系统存储文件中包括：

6.一种提高任务稳定性的优化终端，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：

7.根据权利要求6所述的一种提高任务稳定性的优化终端，其特征在于，所述读取异常包括网路故障或所述本地磁盘故障。

8.根据权利要求7所述的一种提高任务稳定性的优化终端，其特征在于，所述步骤s2包括：

9.根据权利要求6所述的一种提高任务稳定性的优化终端，其特征在于，所述步骤s3包括：

10.根据权利要求6所述的一种提高任务稳定性的优化终端，其特征在于，所述将执行的结果数据先后存入所述根节点对应的本地磁盘以及所述分布式系统存储文件中包括：

技术总结本发明公开了一种提高任务稳定性的优化方法及终端，预设分布式系统存储文件，在每个根节点执行对应的子任务时，将执行的结果数据先后存入根节点对应的本地磁盘以及分布式系统存储文件中；依次从每个根节点读取结果数据，同时判断是否发生读取异常，若是，则执行步骤S3；从分布式系统存储文件中读取对应的根节点的结果数据。本发明在每个根节点执行对应的子任务时，不仅将结果数据存至本地磁盘，还将结果数据另存在分布式系统存储文件中，在读取数据时优先读取本地磁盘的数据，而在发生读取异常后再转而执行读取分布式系统存储文件上的数据，有效减少因磁盘节点故障等所增加的任务耗时，提高任务执行的稳定性。技术研发人员：刘德建,张少敏,郭孟祺,郑坦,郑锦斌,陈宏受保护的技术使用者：福建天晴在线互动科技有限公司技术研发日：技术公布日：2024/10/10