技术新讯 > 电子通信装置的制造及其应用技术 > 一种面向云边网络系统的数据副本迁移方法及系统与流程  >  正文

一种面向云边网络系统的数据副本迁移方法及系统与流程

  • 国知局
  • 2024-08-08 16:52:24

本发明涉及数据多副本,尤其涉及一种面向云边网络系统的数据副本迁移方法及系统。

背景技术:

1、随着互联网的急速发展和数据的爆炸性增长,公众对高效,快速,分布式存储提出了更高的要求。基于云计算(cloud computing)技术的数据存储平台被称为云存储(cloudstorage)系统。云存储为机构与个人都提供了一个成本低廉、管理便捷的高效率数据存储与数据托管解决方案。云存储将数据中心(data center)集中管理的多个物理设备上的存储资源虚拟为统一的存储资源池,为用户及各种应用系统提供基础的支撑存储平台。

2、云存储系统将存储封装成服务提供给用户使用,实际存储设备以及管理对于用户透明;用户按需租赁使用存储空间,按需付费,降低硬件设备购置成本;硬件设施维护、管理和升级、数据复制和备份等工作交由云存储提供商集中完成,用户只需关注自身核心业务;数据存储集中管理,可以对空间进行统一的规划和扩展,存储空间灵活可控。

3、对网络系统中的节点及信息资源调查分析发现:除了云服务器上的存储资源外,大规模的网络边缘节点是具有高性能cpu和大容量硬盘的计算设备,且很多设备上的资源处于低利用率低闲置状态。如果能将这些闲置资源与云服务器资源融合在一起可以挖掘出难以想象的巨大计算处理能力以及海量存储潜力。

4、云边网络系统将网络核心的云数据中心和网络边缘的终端节点上的各类资源有机聚合成更大规模的资源池,供上层应用调用。因此,本发明提供的一种面向云边网络系统的数据副本迁移方法,将原本集中存储于云数据中心的数据进行复制后,按照特定的规则,将数据副本迁移到合适的网络边缘计算设施上,从而充分利用网络边缘计算设施提供的存储资源,并提升数据的服务质量和安全可靠性。

技术实现思路

1、鉴于上述现有存在的问题,提出了本发明。

2、因此,本发明提供了一种面向云边网络系统的数据副本迁移方法,一种能够有效提高求解效率,缩短数据副本迁移距离和迁移时间,使云数据中心周边边缘计算设施剩余容量达到均衡状态的基于关联度的复合边缘计算设施分配方法。

3、为解决上述技术问题,本发明提供如下技术方案,一种面向云边网络系统的数据副本迁移方法,包括:

4、建立待迁移数据副本的坐标系,并基于坐标系计算待迁移数据副本与云核心节点、边缘计算设施和业务关联数据副本的距离;根据距离,获得各个边缘计算设施对待迁移数据副本的吸引量和云核心节点对待迁移数据副本的驱动量,并计算各个可选迁移边缘计算设施网络存储位置之间连线和直角坐标系中x轴之间的夹角;根据待迁移数据副本的各个业务关联待迁移数据副本的关联度吸引量、驱动量、夹角和关联度,获取待迁移数据副本的关联数据副本所在的边缘计算设施,选择最合适的边缘计算设施作为待迁移数据副本的最终迁移目标,并完成迁移规划;采用正交分解法,对待迁移数据副本的协量进行分解和计算,以优化迁移效果。

5、作为本发明所述的一种面向云边网络系统的数据副本迁移方法的一种优选方案,其中:所述建立待迁移数据副本的坐标系包括:根据待迁移数据副本的网络存储位置x建立数据所对应的坐标系xoy,基于坐标系xoy获得待迁移数据副本网络存储位置x与云核心节点网络存储位置o之前的距离,作为初始距离do;获得待迁移数据副本网络存储位置x分别与各个边缘计算设施网络存储位置gm之间的距离,作为待迁移数据副本分别对应各个边缘计算设施的迁移距离m表示边缘计算设施的总数;获得待迁移数据副本网络存储位置x分别与所对应各个业务关联待迁移数据副本网络存储位置xr之间的距离,作为待迁移数据副本分别对应各个业务关联待迁移数据副本的关系距离r表示与待迁移数据副本具有业务关联的待迁移数据副本总数。

6、作为本发明所述的一种面向云边网络系统的数据副本迁移方法的一种优选方案,其中:所述根据距离,获得各个边缘计算设施对待迁移数据副本的吸引量包括,针对各个边缘计算设施,获得满足条件所对应的各个边缘计算设施,作为对应于待迁移数据副本的各个可选迁移边缘计算设施,ρg表示预设边缘计算设施合理迁移距离,分别针对各个可选迁移边缘计算设施,获得各个可选迁移边缘计算设施分别针对待迁移数据副本的吸引量表示为:

7、

8、其中,i={1、…、i},i≤m,i表示对应于待迁移数据副本的可选迁移边缘计算设施的个数,表示第i个可选迁移边缘计算设施针对待迁移数据副本的吸引量,k表示预设吸引量系数,ρ(x,gi)表示待迁移数据副本网络存储位置x与第i个可选迁移边缘计算设施网络存储位置gi之间的距离。

9、作为本发明所述的一种面向云边网络系统的数据副本迁移方法的一种优选方案,其中:所述根据距离,获得云核心节点对待迁移数据副本的驱动量的距离包括,根据公式获得云核心节点针对待迁移数据副本的驱动量frep(x):

10、

11、其中,m表示预设驱动量系数,ρ(x,o)表示待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间的距离,表示待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间的单位向量,ρ0表示云核心节点的驱动量作用半径。

12、作为本发明所述的一种面向云边网络系统的数据副本迁移方法的一种优选方案,其中:所述计算夹角包括,获得待迁移数据副本网络存储位置x分别与各个可选迁移边缘计算设施经网络存储位置gi之间的连线,并分别获得各个连线与直角坐标系xoy中x轴之间的夹角αi,αi表示待迁移数据副本网络存储位置与第i个可选迁移边缘计算设施之间连线和直角坐标系xoy中x轴之间的夹角;获得待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间连线和直角坐标系xoy中x轴之间的夹角β;

13、根据待迁移数据副本网络存储位置x分别与各个可选迁移边缘计算设施网络存储位置gi之间连线和直角坐标系xoy中x轴之间的夹角αi,以及待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间连线和直角坐标系xoy中x轴之间的夹角β,获得各个和frep(x)作用于直角坐标系xoy中x轴上的第一x轴协量fsumx1(x),以及获得各个和frep(x)作用于直角坐标系xoy中y轴上的第一y轴协量fsumy1(x);由fsumx1(x)和fsumy1(x)获得作用于待迁移数据副本的第一协量f1(x),并获得第一协量f1(x)与直角坐标系xoy中x轴的第一夹角η1。

14、作为本发明所述的一种面向云边网络系统的数据副本迁移方法的一种优选方案,其中:所述待迁移数据副本的各个业务关联待迁移数据副本的关联度包括,针对待迁移数据副本的各个业务关联待迁移数据副本,判断是否存在满足条件所对应的各个业务关联待迁移数据副本,当满足条件时,针对满足条件的各个业务关联待迁移数据副本,选择其中与待迁移数据副本之间最高关联度所对应的一位业务关联待迁移数据副本,作为待迁移数据副本所对应的可选业务关联待迁移数据副本,并获得待迁移数据副本所对应可选业务关联待迁移数据副本对待迁移数据副本的关联度frel(x):

15、frel(x)=-b·ρ(x,x*)

16、其中,b表示预设关联度系数,ρ(x,x*)表示待迁移数据副本网络存储位置x与对应可选业务关联待迁移数据副本网络存储位置x*之间的距离;

17、所述迁移规划包括,根据待迁移数据副本网络存储位置x与对应可选业务关联待迁移数据副本网络存储位置x*之间连线和直角坐标系xoy中x轴之间的夹角σ*,并且结合第一x轴协量fsumx1(x)和第一y轴协量fsumy1(x),获得作用于待迁移数据副本的第二协量f2(x),并获得第二协量f2(x)与直角坐标系xoy中x轴的第二夹角η2;

18、判断夹角ε=|σ*-η2|与预设可选业务关联待迁移数据副本所对应的业务关联是否对应,当不满足条件时,根据协量f1(x)的夹角η1确定数据副本的迁移方向,根据迁移方向,获取待迁移数据副本在其迁移方向上对应的关联数据副本xr所在的边缘计算设施,作为待迁移数据副本x的最终边缘计算设施,完成针对待迁移数据副本的迁移规划;

19、同时,获得待迁移数据副本网络存储位置x与所对应可选业务关联待迁移数据副本网络存储位置x*之间的连线,并获得连线与直角坐标系xoy中x轴之间的夹角σ*;

20、当计算夹角与预设可选业务关联待迁移数据副本所对应的业务关联对应后,针对待迁移数据副本网络存储位置x分别与各个可选迁移边缘计算设施网络存储位置gi之间连线和直角坐标系xoy中x轴之间的夹角αi,获得各个可选迁移边缘计算设施所对应|η2-αi|的值,最后将最小值对应的可选迁移边缘计算设施,作为待迁移数据副本x的最终迁移边缘计算设施,完成针对待迁移数据副本的迁移规划;

21、所述采用正交分解法包括,根据待迁移数据副本网络存储位置x分别与各个可选迁移边缘计算设施网络存储位置gi之间连线和直角坐标系xoy中x轴之间的夹角αi,以及待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间连线和直角坐标系xoy中x轴之间的夹角β,获得各个和frep(x)作用于直角坐标系xoy中x轴上的第一x轴协量fsumx1(x),以及获得各个和frep(x)作用于直角坐标系xoy中y轴上的第一y轴协量fsumy1(x);由fsumx1(x)和fsumy1(x)获得作用于待迁移数据副本的第一协量f1(x),并获得第一协量f1(x)与直角坐标系xoy中x轴的第一夹角η1;

22、根据待迁移数据副本网络存储位置x与所对应可选业务关联待迁移数据副本网络存储位置x*之间连线和直角坐标系xoy中x轴之间的夹角σ*,获得frel(x)作用于直角坐标系xoy中x轴上的第二x轴协量以及获得frel(x)作用于直角坐标系xoy中y轴上的第二y轴协量并且结合第一x轴协量fsumx1(x)和第一y轴协量fsumy1(x),获得作用于待迁移数据副本的第二协量f2(x),并获得第二协量f2(x)与直角坐标系xoy中x轴的第二夹角η2。

23、本发明的另一个目的是提供一种面向云边网络系统的数据副本迁移装置,其能通过对具有业务关联的待迁移数据副本建立逻辑聚合关系,将复杂的大规模数据副本迁移问题通过聚合函数进行描述,解决了对于复杂的云边环境下的数据副本有序化迁移建模问题。

24、作为本发明所述的一种面向云边网络系统的数据副本迁移装置的一种优选方案,其中包括:第一计算模块、第二计算模块、规划模块、优化模块;

25、所述第一计算模块,用于建立待迁移数据副本的坐标系,并基于坐标系计算待迁移数据副本与云核心节点、边缘计算设施和业务关联数据副本的距离;

26、所述第二计算模块,用于根据距离,获得各个边缘计算设施对待迁移数据副本的吸引量和云核心节点对待迁移数据副本的驱动量,并计算各个连线与坐标轴的夹角;

27、所述规划模块,用于根据待迁移数据副本的各个业务关联待迁移数据副本的关联度,选择最合适的边缘计算设施作为待迁移数据副本的最终迁移目标,并完成迁移规划;

28、所述优化模块,用于采用正交分解法,对待迁移数据副本的协量进行分解和计算,以优化迁移效果。

29、作为本发明所述的一种面向云边网络系统的数据副本迁移装置的一种优选方案,所述第一计算模块,具体用于根据待迁移数据副本的网络存储位置x建立数据所对应的坐标系xoy,基于坐标系xoy获得待迁移数据副本网络存储位置x与云核心节点网络存储位置o之前的距离,作为初始距离do;获得待迁移数据副本网络存储位置x分别与各个边缘计算设施网络存储位置gm之间的距离,作为待迁移数据副本分别对应各个边缘计算设施的迁移距离m表示边缘计算设施的总数;获得待迁移数据副本网络存储位置x分别与所对应各个业务关联待迁移数据副本网络存储位置xr之间的距离,作为待迁移数据副本分别对应各个业务关联待迁移数据副本的关系距离r表示与待迁移数据副本具有业务关联的待迁移数据副本总数。

30、作为本发明所述的一种面向云边网络系统的数据副本迁移装置的一种优选方案,所述第二计算模块具体用于针对各个边缘计算设施,获得满足条件所对应的各个边缘计算设施,作为对应于待迁移数据副本的各个可选迁移边缘计算设施,ρg表示预设边缘计算设施合理迁移距离,分别针对各个可选迁移边缘计算设施,获得各个可选迁移边缘计算设施分别针对待迁移数据副本的吸引量表示为:

31、

32、其中,i={1、…、i},i≤m,i表示对应于待迁移数据副本的可选迁移边缘计算设施的个数,表示第i个可选迁移边缘计算设施针对待迁移数据副本的吸引量,k表示预设吸引量系数,ρ(x,gi)表示待迁移数据副本网络存储位置x与第i个可选迁移边缘计算设施网络存储位置gi之间的距离。

33、作为本发明所述的一种面向云边网络系统的数据副本迁移装置的一种优选方案,所述第二计算模块具体用于根据公式获得云核心节点针对待迁移数据副本的驱动量frep(x):

34、

35、其中,m表示预设驱动量系数,ρ(x,o)表示待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间的距离,表示待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间的单位向量,ρ0表示云核心节点的驱动量作用半径;

36、所述计算夹角包括,获得待迁移数据副本网络存储位置x分别与各个可选迁移边缘计算设施经网络存储位置gi之间的连线,并分别获得各个连线与直角坐标系xoy中x轴之间的夹角αi,αi表示待迁移数据副本网络存储位置与第i个可选迁移边缘计算设施之间连线和直角坐标系xoy中x轴之间的夹角;获得待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间连线和直角坐标系xoy中x轴之间的夹角β;

37、根据待迁移数据副本网络存储位置x分别与各个可选迁移边缘计算设施网络存储位置gi之间连线和直角坐标系xoy中x轴之间的夹角αi,以及待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间连线和直角坐标系xoy中x轴之间的夹角β,获得各个和frep(x)作用于直角坐标系xoy中x轴上的第一x轴协量fsumx1(x),以及获得各个和frep(x)作用于直角坐标系xoy中y轴上的第一y轴协量fsumy1(x);由fsumx1(x)和fsumy1(x)获得作用于待迁移数据副本的第一协量f1(x),并获得第一协量f1(x)与直角坐标系xoy中x轴的第一夹角η1。

38、作为本发明所述的一种面向云边网络系统的数据副本迁移装置的一种优选方案,所述规划模块具体用于所述待迁移数据副本的各个业务关联待迁移数据副本的关联度通过以下步骤确定,针对待迁移数据副本的各个业务关联待迁移数据副本,判断是否存在满足条件所对应的各个业务关联待迁移数据副本,当满足条件时,针对满足条件的各个业务关联待迁移数据副本,选择其中与待迁移数据副本之间最高关联度所对应的一位业务关联待迁移数据副本,作为待迁移数据副本所对应的可选业务关联待迁移数据副本,并获得待迁移数据副本所对应可选业务关联待迁移数据副本对待迁移数据副本的关联度frel(x):

39、frel(x)=-b·ρ(x,x*)

40、其中,b表示预设关联度系数,ρ(x,x*)表示待迁移数据副本网络存储位置x与对应可选业务关联待迁移数据副本网络存储位置x*之间的距离。

41、根据待迁移数据副本网络存储位置x与对应可选业务关联待迁移数据副本网络存储位置x*之间连线和直角坐标系xoy中x轴之间的夹角σ*,并且结合第一x轴协量fsumx1(x)和第一y轴协量fsumy1(x),获得作用于待迁移数据副本的第二协量f2(x),并获得第二协量f2(x)与直角坐标系xoy中x轴的第二夹角η2;

42、判断夹角ε=|σ*-η2|与预设可选业务关联待迁移数据副本所对应的业务关联是否对应,当不满足条件时,根据协量f1(x)的夹角η1确定数据副本的迁移方向,根据迁移方向,获取待迁移数据副本在其迁移方向上对应的关联数据副本xr所在的边缘计算设施,作为待迁移数据副本x的最终边缘计算设施,完成针对待迁移数据副本的迁移规划;

43、当计算夹角与预设可选业务关联待迁移数据副本所对应的业务关联对应后,针对待迁移数据副本网络存储位置x分别与各个可选迁移边缘计算设施网络存储位置gi之间连线和直角坐标系xoy中x轴之间的夹角αi,获得各个可选迁移边缘计算设施所对应|η2-αi|的值,最后将最小值对应的可选迁移边缘计算设施,作为待迁移数据副本x的最终迁移边缘计算设施,完成针对待迁移数据副本的迁移规划。

44、作为本发明所述的一种面向云边网络系统的数据副本迁移装置的一种优选方案,所述优化模块具体应用于采用正交分解法,根据待迁移数据副本网络存储位置x分别与各个可选迁移边缘计算设施网络存储位置gi之间连线和直角坐标系xoy中x轴之间的夹角αi,以及待迁移数据副本网络存储位置x与云核心节点网络存储位置o之间连线和直角坐标系xoy中x轴之间的夹角β,获得各个和frep(x)作用于直角坐标系xoy中x轴上的第一x轴协量fsumx1(x),以及获得各个和frep(x)作用于直角坐标系xoy中y轴上的第一y轴协量fsumy1(x);由fsumx1(x)和fsumy1(x)获得作用于待迁移数据副本的第一协量f1(x),并获得第一协量f1(x)与直角坐标系xoy中x轴的第一夹角η1;

45、根据待迁移数据副本网络存储位置x与所对应可选业务关联待迁移数据副本网络存储位置x*之间连线和直角坐标系xoy中x轴之间的夹角σ*,获得frel(x)作用于直角坐标系xoy中x轴上的第二x轴协量以及获得frel(x)作用于直角坐标系xoy中y轴上的第二y轴协量并且结合第一x轴协量fsumx1(x)和第一y轴协量fsumy1(x),获得作用于待迁移数据副本的第二协量f2(x),并获得第二协量f2(x)与直角坐标系xoy中x轴的第二夹角η2。

46、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现一种面向云边网络系统的数据副本迁移方法的步骤。

47、一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现一种面向云边网络系统的数据副本迁移方法的步骤。

48、本发明的有益效果:本发明解决了对于复杂的云边环境难以建模的问题,使问题描述简单,同时提升了算法的计算效率;不仅如此,能够将待迁移数据副本位置、边缘计算设施分布及其容量等影响迁移规划的因素考虑在内,给待迁移数据副本提供及时的迁移引导,并且在算法的求解过程中,将边缘计算设施实时剩余容量参数作为系数,使得整个迁移过程中边缘计算设施的容量达到均衡状态,节省了大量迁移时间。随着迁移数据规模的增加,算法优势愈加明显。

本文地址:https://www.jishuxx.com/zhuanli/20240808/270916.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。