一种跨域异构存储集群的管理调度方法及系统与流程

本发明属于分布式虚拟存储相关，尤其涉及一种跨域异构存储集群的管理调度方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着大数据、云计算、物联网技术的发展，各行各业的数据呈现爆炸式增长，挖掘和有效利用海量数据信息已成为企业发展和科技进步的战略核心，而这些海量数据往往存在于不同存储系统中，使用不同的访问协议和接口，他们无法直接互相访问，难以实现统一的管理和共享，在需要多个数据中心并发处理海量数据的时候，一般采用数据迁移或重复存储的方式，严重影响了数据处理的效率。因此，亟需将不同区域的存储系统进行无缝整合，构筑基于数据密集型应用的存储底座，实现各异构存储系统的统一管理调度。

3、在这一背景下，分布式虚拟存储系统的出现提供了解决方案。分布式虚拟存储系统通过分布式的架构，将分散在不同区域的存储系统虚拟化，构建出统一的存储池，跨越地域限制，实现数据在不同存储系统间的共享，例如：hdfs、ceph、alluxio等。alluxio是一个开源的分布式虚拟存储系统，它在异构物理存储资源之上构建了一个统一的命名空间，将存储介质抽象成一个共享的文件系统，将分散的数据实现集中存储。现有分布式文件系统中沿用了传统本地文件系统对数据的存储机制，即首先利用硬盘存储持久化保存数据，在接收到一个文件数据的访问请求时，还需要首先在硬盘中找到这个文件数据对应的数据，并在将其置入内存后才能对其进行各式操作，而位于内存中的数据通常会在访问完成后的一段时间后移出内存，每个数据的访问过程类似，步骤繁琐、耗时较长。

4、因此，如何提升分布式虚拟存储系统的数据访问性能，减少延迟，降低对网络带宽和存储资源的不必要消耗，是目前需要解决的技术问题。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了一种跨域异构存储集群的管理调度方法及系统，采用非支配排序的遗传算法对构建的多目标优化模型进行约束条件求解，进行最优存储位置的选择，不仅提高了数据访问性能，减少延迟，并降低了对网络带宽和存储资源的不必要消耗。

2、为实现上述目的，本发明的第一个方面提供一种跨域异构存储集群的管理调度方法，包括：

3、根据不同待存储数据集存储在不同存储系统上的存储成本、吞吐量，以及待存储数据集与不同存储系统的相对位置，构建存储调度的多目标优化模型；

4、构建约束条件，以所有待存储数据集的总存储成本最小、总吞吐量最大以及待存储数据集与即将存储的存储系统的位置最近为目标，采用非支配排序的遗传算法对所述多目标优化问题进行优化求解，得到满足约束条件的所述多目标优化模型的pareto最优解集，根据pareto最优解集得到待存储数据集的存储调度结果。

5、本发明的第二个方面提供一种跨域异构存储集群的管理调度系统，包括：

6、多目标模型构建模块：根据不同待存储数据集存储在不同存储系统上的存储成本、吞吐量，以及待存储数据集与不同存储系统的相对位置，构建存储调度的多目标优化模型；

7、多目标模型求解模块：构建约束条件，以所有待存储数据集的总存储成本最小、总吞吐量最大以及待存储数据集与即将存储的存储系统的位置最近为目标，采用非支配排序的遗传算法对所述多目标优化问题进行优化求解，得到满足约束条件的所述多目标优化模型的pareto最优解集，根据pareto最优解集得到待存储数据集的存储调度结果。

8、本发明的第三个方面提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行一种跨域异构存储集群的管理调度方法。

9、本发明的第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行一种跨域异构存储集群的管理调度方法。

10、以上一个或多个技术方案存在以下有益效果：

11、在本发明中，以总存储成本最小、总吞吐量最大以及待存储数据集与即将存储的存储系统的位置最近为优化目标，采用非支配排序的遗传算法进行约束条件求解，进行最优存储位置的选择，不仅提高了数据访问性能，减少延迟，并降低了对网络带宽和存储资源的不必要消耗。

12、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种跨域异构存储集群的管理调度方法，其特征在于，包括：

2.如权利要求1中的一种跨域异构存储集群的管理调度方法，其特征在于，所述约束条件包括：每个待存储数据集只能存储在一个存储系统上；待存储数据集的大小不大于即将存储的存储系统的剩余容量。

3.如权利要求1中的一种跨域异构存储集群的管理调度方法，其特征在于，采用非支配排序的遗传算法对所述多目标优化问题进行优化求解，具体为：

4.如权利要求3中的一种跨域异构存储集群的管理调度方法，其特征在于，利用基于参考点的小生境保存策略，自适应调整参考点使恰有n个参考点满足ρj＝1，则去掉增加的ρj＝0的参考点，所去掉的参考点中不包括原参考点；其中，n为所述后代种群中个体的大小，ρj为参考点的小生境数量。

5.如权利要求3中的一种跨域异构存储集群的管理调度方法，其特征在于，采用二进制交叉算子和多项式变异对种群中个体进行交叉和变异，通过自适应调整交叉和变异率，生成后代种群，具体为：当个体与其自身最近的个体之间的距离小于个体之间的平均距离时，随迭代次数的增加，增加交叉和变异概率；当个体与其自身最近的个体之间的距离大于个体之间的平均距离时，随迭代次数的增加，减小交叉和变异概率。

6.如权利要求3中的一种跨域异构存储集群的管理调度方法，其特征在于，在初始化种群阶段，对每个初始生成的染色体，判断是否满足所设定的存储系统剩余容量和吞吐量的阈值要求，对不满足要求的染色体进行筛除。

7.如权利要求3中的一种跨域异构存储集群的管理调度方法，其特征在于，还包括对待存储数据集和存储系统进行编码，具体为：染色体长度为n，表示n个待存储的数据集；在染色体的基因串对应的位置赋予存储系统编号，表示对应的待存储数据集被分配到对应的存储系统上。

8.一种跨域异构存储集群的管理调度系统，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的一种跨域异构存储集群的管理调度方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的一种跨域异构存储集群的管理调度方法。

技术总结本发明提出了一种跨域异构存储集群的管理调度方法及系统，以总存储成本最小、总吞吐量最大以及待存储数据集与即将存储的存储系统的位置最近为优化目标，采用非支配排序的遗传算法进行约束条件求解，进行最优存储位置的选择，不仅提高了数据访问性能，减少延迟，并降低了对网络带宽和存储资源的不必要消耗。技术研发人员：王春晓,刘秋月,臧书昌,王英龙,赵志刚,温华岗,陈静,张俭,郝国鹏受保护的技术使用者：山东省计算中心（国家超级计算济南中心）技术研发日：技术公布日：2024/7/25