一种数据管理方法及相关设备与流程

本技术涉及云计算，尤其涉及一种数据管理方法、数据管理系统、计算设备集群、计算机可读存储介质以及计算机程序产品。

背景技术：

1、随着云计算在各行各业的深度应用和发展，越来越多的个体用户、企业和组织使用基于云存储的数据容灾备份解决方案，有效降低了数据容灾系统的建设、维护难度及成本。与传统备份恢复技术相比，云容灾备份不需要部署大量基础设施，支持按需订阅、弹性扩容，兼容数据库、文件、虚拟化平台和操作系统及物理环境的备份，具有投入成本低、扩展性高、兼容性强等优势。

2、考虑到依赖单个云平台存在单点瓶颈，一旦云平台出现故障或彻底崩溃，将损失大量数据，威胁到数据的安全性和存储的可靠性，越来越多的用户选择在多个云平台(也可以简称为多云平台)备份数据，从而降低单个云平台失效的风险。

3、如何对多云平台的数据进行统一管理成为业界重点关注的问题。

技术实现思路

1、本技术提供了一种数据管理方法，该方法通过结合区块链网络去中心化、安全可信的特点，实现云链融合，提升多云备份数据的安全性。本技术还提供了该方法对应的数据管理系统、计算设备集群、计算机可读存储介质以及计算机程序产品。

2、第一方面，本技术提供一种数据管理方法，该方法可以由数据管理系统执行。数据管理系统包括客户端、多云平台以及区块链网络，该数据管理系统用于对多云平台的数据进行管理。

3、具体地，客户端接收用户配置的、针对待备份的数据的备份计划，该备份计划包括多云平台中用于备份的云节点的数量n以及备份副本数量b，然后客户端根据用于备份的云节点的数量n以及备份副本数量b，将待备份的数据分割为c个数据块，将c个数据块分散存储在多云平台中的n个云节点。针对c个数据块中的至少一个数据块，多云平台存储至少一个数据块的b个备份副本。客户端向区块链网络提供多云平台存储的数据的元数据(也称作备份元数据)，以使区块链网络将元数据编码为备份标识，并存储该备份标识。该备份标识用于对多云平台存储的数据进行寻址。

4、该方法将待备份的数据分块后分散存储在多云平台，并将其元数据提供给区块链网络进行统一编码，获得全局唯一的备份标识，通过链上的备份标识记录和管理多云平台中备份的数据，对多云平台中备份的数据进行统一定位、寻址，以便实现分布式的多云备份数据的管理。该方法结合区块链网络去中心化、安全可信的特点进行云链融合，提升多云备份数据的安全性，消除了传统方法存在的单点安全瓶颈。

5、在一些可能的实现方式中，备份标识可以包括短标识和长标识，其中，短标识可以包括数据标识，长标识可以包括数据在多云平台的存储地址，区块链网络可以接收用户提供的短标识，根据该短标识查找与短标识对应的长标识，解析该长标识获得数据在多云平台的存储地址，并返回数据在多云平台的存储地址。

6、该方法中利用短标识和长标识结合的方式确定备份标识，如此，用户利用短标识即可实现数据查询，降低用户的操作复杂度，区块链网络通过与短标识对应的长标识确定数据的存储地址，提升数据查询效率和准确率。

7、在一些可能的实现方式中，备份标识包括第一短标识、第一长标识和第二短标识和第二长标识，该第一短标识包括数据标识，该第一长标识包括版本集合，该第二短标识包括数据标识和版本集合中的目标版本，该第二长标识包括目标版本的数据在多云平台的存储地址。

8、该方法考虑到多云平台备份的数据可以有多个版本，在备份标识中加入数据的版本，从而通过链上的备份标识记录和管理多时间版本的数据，从而支持对多云平台备份的数据进行统一定位、寻址，以便实现分布式多云备份数据的管理。

9、在一些可能的实现方式中，区块链网络可以获取多云平台中云节点的状态参数，根据该状态参数，获得多云平台中云节点的权重，向客户端返回权重满足要求的n个云节点的节点标识。

10、该方法通过云节点的状态参数获得云节点的权重，从而确定用于分散存储数据的n个云节点，如此实现多云平台的调度，进而实现多云平台数据的高效管理。

11、在一些可能的实现方式中，状态参数可以包括节点带宽、节点成本、节点剩余存储容量、节点信誉信息中的一种或多种。该方法中，状态参数可以包括在订阅云服务后基本固定不变的静态参数(节点带宽和节点成本)以及取值可以动态调整的动态参数(节点剩余存储容量和节点信誉信息)，如此，随着数据在多云平台的备份，实现智能合约的更新。

12、在一些可能的实现方式中，节点信誉信息可以包括节点信誉值，该节点信誉值可以随着备份操作触发多云状态参数更新合约进行动态调整，例如节点信誉值可以根据审计结果进行动态调整，审计成功次数越多，云节点的节点信誉值(可信度)越高，审计失败次数越多，云节点的节点信誉值(可信度)越低。

13、在一些可能的实现方式中，区块链网络在计算多云平台中云节点的权重前，可以对云节点的状态参数进行归一化处理。通过选择合适的归一化函数处理参数向量，可以增强不同参数之间的可对比性，再通过合适的方法(例如熵权法)确定各项参数的影响系数，根据各项参数的差异程度处理其对权重的影响，能够提高多云调度计算的可信性和调度策略的灵活性。

14、在一些可能的实现方式中，区块链网络可以检查多云平台中数据的实际存储地址与区块链网络中存储的备份标识中记录的存储地址的一致性，若不一致，区块链网络可以根据备份标识中记录的存储地址在多云平台恢复数据。

15、该方法考虑到数据在备份完成后，云服务提供商的运维人员误删除文件或目录导致的不一致的情况，通过设置一致性验证机制，能够及时发现误删除操作导致不一致的情况，并能够及时恢复。

16、在一些可能的实现方式中，客户端可以创建备份存储事务，并执行该备份存储事务，以执行将c个数据块分散存储在多云平台中的n个云节点的事务操作以及向区块链网络提供多云平台存储的数据的元数据的事务操作。

17、该方法引入事务的概念，可以将事务定义为对数据管理系统中的数据进行备份，通过执行备份存储事务，实现备份数据存储，从而保障备份数据存储前后云链的一致性，提升多云备份数据的安全性。

18、在一些可能的实现方式中，客户端可以获取增量数据，创建备份更新书事务，并执行该备份更新事务，以执行将增量数据存储至多云平台的事务操作以及更新备份标识的事务操作。

19、该方法引入事务的概念，可以将事务定义为对数据管理系统中的数据进行增量更新，通过执行备份更新事务，实现备份增量更新，从而保障增量更新前后云链的一致性，提升多云备份数据的安全性。

20、在一些可能的实现方式中，客户端可以响应于删除操作，创建备份删除事务，并执行该备份删除事务，以执行删除指定数据标识对应的数据的事务操作以及删除该指定数据标识对应的备份标识的事务操作。

21、该方法引入事务的概念，可以将事务定义为对数据管理系统中的数据进行删除，通过执行备份删除事务，实现备份数据删除，从而保障备份数据删除前后云链的一致性，提升多云备份数据的安全性。

22、在一些可能的实现方式中，客户端可以通过重试和回滚机制，实现备份、更新、删除事务的一致性和原子性。例如，在将待备份的数据存储到多云平台的过程中，存在云平台的网络异常导致事务执行失败时，客户端可以通过重试和回滚。又例如，在增量数据存储至多云平台过程中，存在云平台的网络异常导致事务执行失败时，客户端可以进行回滚和重试。再例如，在从多云平台删除指定数据标识对应的数据的过程中，存在云平台的网络异常导致事务执行失败时，可以返回删除失败位置并更新区块链网络中的备份标识。

23、在一些可能的实现方式中，待备份的数据切割的数据块的数量等于c(n,n-q+1)，客户端可以根据待备份的数据切割的数据块的数量，生成调度分配表，该调度分配表记录n个云节点所要存储的数据块，接着根据调度分配表，将c个数据块分散存储在多云平台中的n个云节点。

24、该方法借鉴秘密分割(也称作门限秘密分割)的思想实现备份资源的调度，任何相应范围内的备份数据块出问题时，数据仍可以完整恢复，提高了数据备份的鲁棒性。此外，参与备份的云节点具有完全相同的重要性，多个节点崩溃所带来的影响与崩溃节点的数量相关，不存在任何特殊的或具有非同一般重要性的节点，实现了真正的去中心化的调度策略。

25、第二方面，本技术提供一种数据管理系统，所述系统包括客户端、多云平台以及区块链网络，所述系统用于对所述多云平台的数据进行管理；

26、所述客户端，用于接收用户配置的、针对待备份的数据的备份计划，所述备份计划包括所述多云平台中用于备份的云节点的数量n以及备份副本数量b；

27、所述客户端，还用于根据所述用于备份的云节点的数量以及所述备份副本数量，将所述待备份的数据分割为c个数据块，将所述c个数据块分散存储在所述多云平台中的n个云节点，针对所述c个数据块中的至少一个数据块，所述多云平台存储所述至少一个数据块的b个备份副本；

28、所述客户端，还用于向所述区块链网络提供所述多云平台存储的所述数据的元数据，以使所述区块链网络将所述元数据编码为备份标识，并存储所述备份标识，所述备份标识用于对所述多云平台存储的所述数据进行寻址。

29、在一些可能的实现方式中，所述备份标识包括短标识和长标识，所述短标识包括数据标识，所述长标识包括所述数据在所述多云平台的存储地址，所述区块链网络用于：

30、接收所述用户提供的所述短标识；

31、根据所述短标识查找与所述短标识对应的所述长标识，解析所述长标识获得所述数据在所述多云平台的存储地址，返回所述数据在所述多云平台的存储地址。

32、在一些可能的实现方式中，所述备份标识包括第一短标识、第一长标识和第二短标识和第二长标识，所述第一短标识包括数据标识，所述第一长标识包括版本集合，所述第二短标识包括数据标识和所述版本集合中的目标版本，所述第二长标识包括所述目标版本的所述数据在所述多云平台的存储地址。

33、在一些可能的实现方式中，所述区块链网络还用于：

34、获取所述多云平台中云节点的状态参数；

35、根据所述状态参数，获得所述多云平台中云节点的权重；

36、向所述客户端返回权重满足要求的所述n个云节点的节点标识。

37、在一些可能的实现方式中，所述状态参数包括节点带宽、节点成本、节点剩余存储容量、节点信誉信息中的一种或多种。

38、在一些可能的实现方式中，所述区块链网络还用于：

39、检查所述多云平台中所述数据的实际存储地址与所述区块链网络中存储的备份标识中记录的存储地址的一致性；

40、若不一致，根据所述备份标识中记录的存储地址在所述多云平台恢复所述数据。

41、在一些可能的实现方式中，所述客户端还用于：

42、创建备份存储事务；

43、执行所述备份存储事务，以执行所述将所述c个数据块分散存储在所述多云平台中的n个云节点的事务操作以及所述向所述区块链网络提供所述多云平台存储的所述数据的元数据的事务操作。

44、在一些可能的实现方式中，所述客户端还用于：

45、获取增量数据；

46、创建备份更新事务，并执行所述备份更新事务，以执行将所述增量数据存储至所述多云平台的事务操作以及更新所述备份标识的事务操作。

47、在一些可能的实现方式中，所述客户端还用于：

48、响应于删除操作，创建备份删除事务；

49、执行所述备份删除事务，以执行删除指定数据标识对应的数据的事务操作以及删除所述指定数据标识对应的备份标识的事务操作。

50、在一些可能的实现方式中，所述待备份的数据切割的数据块的数量等于c(n,n-q+1)，所述客户端具体用于：

51、根据待备份的数据切割的数据块的数量，生成调度分配表，所述调度分配表记录所述n个云节点所要存储的数据块；

52、根据所述调度分配表，将所述c个数据块分散存储在所述多云平台中的n个云节点。

53、第三方面，本技术提供一种计算设备集群。所述计算设备集群包括至少一台计算设备，所述至少一台计算设备包括至少一个处理器和至少一个存储器。所述至少一个处理器、所述至少一个存储器进行相互的通信。所述至少一个处理器用于执行所述至少一个存储器中存储的指令，以使得计算设备或计算设备集群执行如第一方面或第一方面的任一种实现方式所述的数据管理方法。

54、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，所述指令指示计算设备或计算设备集群执行上述第一方面或第一方面的任一种实现方式所述的数据管理方法。

55、第五方面，本技术提供一种包含指令的计算机程序产品，当其在计算设备或计算设备集群上运行时，使得计算设备或计算设备集群执行上述第一方面或第一方面的任一种实现方式所述的数据管理方法。

56、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。