一种数据处理方法、装置、设备以及存储介质与流程

本技术涉及云，尤其涉及一种数据处理方法、装置、设备以及存储介质。

背景技术：

1、在分布式云场景下，该分布式云系统的边缘集群建立服务器的镜像文件，需通过利用互联网从该分布式云系统的中心集群的远程数据库下载。在下载过程中，因为成本限制，互联网设置的带宽较低，从而导致该云服务器在下载该镜像文件所需要的下载时间较长，进而导致该边缘集群的云服务器创建速度远低于中心集群。

2、目前通过提前缓存预热，边缘集群内共享的方式，可以加快边缘集群建立云服务器的创建速度。然而随着边缘集群的日常使用，镜像缓存会出现缓存倾斜，缓存失效等诸多问题。缓存倾斜会导致在共享传输时，大量资源从相同宿主机拉取，出现热点现象，进而影响热点宿主机的稳定性；缓存缺失会导致镜像文件需要重新利用互联网从中心集群下载，产生不符合预期的下载时间。

3、因此急需一种避免出现分布式云系统的边缘集群出现缓存倾斜和缓存缺失状态的数据处理方法。

技术实现思路

1、本技术实施例提供了一种数据处理方法、装置、设备以及存储介质，用于避免分布式云系统的边缘集群中出现缓存倾斜或者缓存缺失的状况，减少从分布式云系统的中心集群获取镜像文件的概率，从而保证边缘集群在根据镜像文件创建服务器的速度。

2、有鉴于此，本技术一方面提供一种数据处理方法，包括：获取镜像订阅列表和镜像缓存分布信息，该镜像订阅列表用于指示分布式云系统中边缘集群订阅的镜像文件，该镜像缓存分布信息用于指示该边缘集群缓存的镜像文件信息；根据该镜像订阅列表和该镜像缓存分布信息确定该边缘集群的镜像缓存结果；在该镜像缓存结果出现异常时，生成调度信息，该调度信息用于指示该边缘集群中的各个宿主机进行镜像缓存平衡操作；将该调度信息下发至该边缘集群；控制该边缘集群中的宿主机根据该调度信息调度镜像文件。

3、本技术另一方面提供一种数据处理装置，包括：获取模块，用于获取镜像订阅列表和镜像缓存分布信息，该镜像订阅列表用于指示分布式云系统中边缘集群订阅的镜像文件，该镜像缓存分布信息用于指示该边缘集群缓存的镜像文件信息；

4、处理模块，用于根据该镜像订阅列表和该镜像缓存分布信息确定该边缘集群的镜像缓存结果；

5、生成模块，用于在该镜像缓存结果出现异常时，生成调度信息，该调度信息用于指示该边缘集群中的各个宿主机进行镜像缓存平衡操作；

6、发送模块，用于将该调度信息下发至该边缘集群；

7、该处理模块，还用于控制该边缘集群中的宿主机根据该调度信息调度镜像文件。

8、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该生成模块，还用于根据该边缘集群的缓存大小创建该镜像订阅列表，该镜像订阅列表用于指示镜像文件与镜像文件对应的版本号的映射关系；

9、或者，

10、该生成模块，还用于根据该边缘集群的缓存大小和业务需求创建该镜像订阅列表，该镜像订阅列表用于指示镜像文件与镜像文件对应的版本号的映射关系；

11、或者，

12、该生成模块，还用于根据该边缘集群的业务需求创建该镜像订阅列表，该镜像订阅列表用于指示镜像文件与镜像文件对应的版本号的映射关系。

13、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该处理模块，还用于根据镜像文件的更新信息更新该镜像订阅列表中的该映射关系。

14、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

15、该获取模块，具体用于按照该第一周期从该数据库加载该镜像订阅列表，并按照该第一周期接收该边缘集群中各个宿主机上报的该镜像缓存分布信息，该数据库用于缓存该镜像订阅列表。

16、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该处理模块，具体用于在根据该镜像缓存分布信息确定目标比值超过第一阈值时，确定该边缘集群的镜像缓存结果为缓存倾斜，该目标比值为该边缘集群中各个宿主机缓存的镜像文件数量的最大值与最小值的比值，该缓存倾斜为该镜像缓存结果的异常情况；

17、将该镜像订阅列表与该镜像缓存分布进行比对得到比对结果，在该比对结果指示该边缘集群中存在宿主机缓存的镜像文件少于该镜像订阅列表中的镜像文件或者该边缘集群中缓存的镜像文件的版本号与该镜像订阅列表中对应的版本号不同时，确定该边缘集群的镜像缓存结果为缓存缺失，该缓存缺失为该镜像缓存结果的异常情况；

18、将该镜像订阅列表与该镜像缓存分布进行比对得到比对结果，在该比对结果指示该边缘集群中存在镜像文件的副本小于第二阈值时，确定该边缘集群的镜像缓存结果为缓存倾斜，该缓存倾斜为该镜像缓存结果的异常情况。

19、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该生成模块，具体用于获取该边缘集群的第一标识，并根据该镜像缓存结果确定待调度镜像文件和该待调度镜像文件的第二标识；

20、遍历该边缘集群的宿主机筛选出目的宿主机，并获取该目标宿主机的第三标识以及该源宿主机的第四标识，该源宿主机为该分布式云系统的中心集群的宿主机且部署数据库，该数据库存储镜像文件，该目的宿主机的缓存大小满足缓存该待调度镜像文件的条件，该目的宿主机用于获取该待调度镜像文件，该源宿主机用于提供该待调度镜像文件；

21、根据该第一标识、该第二标识、该第三标识和该第四标识生成该调度信息。

22、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该生成模块，具体用于获取该边缘集群的第一标识，并根据该镜像缓存结果确定待调度镜像文件和该待调度镜像文件的第二标识；

23、遍历该边缘集群的宿主机筛选出目的宿主机和源宿主机，并获取该目标宿主机的第三标识和该源宿主机的第四标识，该源宿主机为该边缘集群中的宿主机，该目的宿主机的缓存大小满足缓存该待调度镜像文件的条件，该目的宿主机用于获取该待调度镜像文件，该源宿主机用于提供该待调度镜像文件；

24、根据该第一标识、该第二标识、该第三标识和该第四标识生成该调度信息。

25、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该发送模块，具体用于根据该第一标识和该第二标识将该调度信息发送至该目的宿主机；

26、或者，

27、该发送模块，具体用于根据该第一标识将该调度信息发送至该边缘集群中的各个宿主机。

28、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该处理模块，具体用于初始化该目的宿主机和源宿主机的传输通道，该传输通道用于该目的宿主机和该源宿主机进行数据传输；

29、控制该目的宿主机通过该传输通道向该源宿主机发送同步请求；

30、控制该源宿主机通过该传输通道向该目的宿主机发送该待调度镜像文件。

31、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，在该源宿主机为该边缘集群中用于提供该待调度镜像文件的宿主机时，该获取模块，还用于获取该目的宿主机的第一网卡带宽，并获取该源宿主机的第二网卡带宽，该第一网卡带宽为该目的宿主机的云业务带宽，该第二网卡带宽为该源宿主机的云业务带宽；

32、该处理模块，还用于根据该第一网卡带宽和该第二网卡带宽计算空闲带宽；控制该源宿主机根据该空闲带宽更新该传输通道的传输带宽。

33、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该处理模块，具体用于获取该目的宿主机的第一带宽，并获取该源宿主机的第二带宽，该第一带宽为该目的宿主机的最大带宽，该第二带宽为该源宿主机的最大带宽；

34、获取该第一带宽减去该第一网卡带宽以及第一参数的第一差值，以及该第二带宽减去该第二网卡带宽以及该第一参数的第二差值；

35、取该第一差值和该第二差值中的最小值得到最大空闲带宽；

36、根据该最大空闲带宽计算得到该空闲带宽。

37、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，该处理模块，具体用于控制该源宿主机利用基于linux内核的流量控制器更新该传输通道的传输带宽；

38、或者，

39、该处理模块，具体用于控制该源宿主机利用基于业务层的流量控制器更新该传输通道的传输带宽。

40、本技术另一方面提供一种计算机设备，包括：存储器、处理器以及总线系统；

41、其中，存储器用于存储程序；

42、处理器用于执行存储器中的程序，处理器用于根据程序代码中的指令执行上述各方面的方法；

43、总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

44、本技术的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

45、本技术的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方面所提供的方法。

46、从以上技术方案可以看出，本技术实施例具有以下优点：根据边缘集群集订阅的镜像订阅列表和该边缘集群的镜像缓存分布信息确定该边缘集群的缓存情况；在该缓存情况出现异常时，生成调度信息，并根据调度信息调整边缘集群的镜像缓存，使得该边缘集群的镜像缓存避免出现缓存倾斜或者缓存缺失，减少从分布式云系统的中心集群获取镜像文件的概率，从而保证边缘集群在根据镜像文件创建服务器的速度。