基于IPFS协议的绿色混合式数据中心数据存算管理方法与流程

本技术涉及数据存算，特别涉及一种基于ipfs协议的绿色混合式数据中心数据存算管理。

背景技术：

1、随着数字化的发展，数据中心规模逐渐扩大，负载均衡的挑战和能耗问题也日益突出。如何有效管理这些数据中心的能源消耗，成为了亟待解决的挑战。混合式数据中心作为一种新型的架构，结合了中心式数据中心和分布式数据中心的优点。随着绿色清洁能源成为分布式数据中心节点的供电来源之一，“中心式+分布式”的混合式数据中心模式将逐渐成为下一步数据中心研究的热点。由于分布式数据中心节点主要由绿色能源(如水电、光伏、风能)直接供电，能源供应的不稳定性相较于传统火电会大大增加。在能源供应产生波动的情况下，分布式数据中心节点的运行情况可能会不稳定，节点离线的情况可能发生，再加上服务器负载的波动等其他故障情况，计算任务的调度将变得更加复杂和困难。

2、现有的数据存储技术缺少对于此类混合式架构的安全存储策略。在基于ipfs(interplanetary file system，星际文件系统)的数据中心层面，缺乏对网络条件有波动、分布式节点有故障的情况下进行数据完整存储的方法；在当前基于授时机制的区块链技术中，缺少在断网情况下进行数据安全上传的相关方法；在数据存储策略中，也缺乏基于混合式数据中心框架视角下，进行数据存储与维护的相关方法。

3、综上所述，由于新能源供电不稳定，容易导致分布式数据中心有节点离线，使得数据中心难以保证数据完整安全存储和计算任务有效执行，亟待解决。

技术实现思路

1、本技术提供一种基于ipfs协议的绿色混合式数据中心数据存算管理方法，以解决由于新能源供电不稳定，容易导致分布式数据中心有节点离线，使得数据中心难以保证数据完整安全存储和计算任务有效执行等问题。

2、本技术第一方面实施例提供一种基于ipfs协议的绿色混合式数据中心数据存算管理方法，包括以下步骤：判断目标分布式节点是否满足预设在线条件；如果所述目标分布式节点满足所述预设在线条件，则根据目标待存储数据对应的第一时间戳、哈希值和预设存储验证要求将所述目标待存储数据上传至所述目标分布式节点，否则赋予所述目标待存储数据第二时间戳，并在所述目标分布式节点满足所述预设在线条件时，基于所述第二时间戳、所述哈希值和所述预设存储验证要求，将所述目标待存储数据上传至所述目标分布式节点；基于所述哈希值、所述第一时间戳或所述第二时间戳，生成多个区块链区块，并通过预设ipfs分布式数据中心将所述目标待存储数据分解为多个数据片，且利用其他分布式节点和所述多个区块链区块对每个数据片进行备份，同时生成所述每个数据片对应的索引，以通过所述预设ipfs分布式数据中心利用所述索引获取完整的目标待存储数据。

3、可选地，在本技术的一个实施例中，所述如果所述目标分布式节点满足所述预设在线条件，则根据目标待存储数据对应的第一时间戳、哈希值和预设存储验证要求将所述目标待存储数据上传至所述目标分布式节点，包括：计算所述目标待存储数据的所述第一时间戳和所述哈希值，并将所述目标待存储数据、所述第一时间戳和所述哈希值发送至所述预设ipfs分布式数据中心；基于所述预设ipfs分布式数据中心和所述目标分布式节点，对所述第一时间戳和所述哈希值进行存储验证，并在所述第一时间戳和所述哈希值满足所述预设存储验证要求的情况下，将所述目标待存储数据上传至所述目标分布式节点。

4、可选地，在本技术的一个实施例中，所述否则赋予所述目标待存储数据第二时间戳，并在所述目标分布式节点满足所述预设在线条件时，基于所述第二时间戳、所述哈希值和所述预设存储验证要求，将所述目标待存储数据上传至所述目标分布式节点，包括：通过预设授时中心赋予所述目标待存储数据第二时间戳，并将所述目标待存储数据对应的存储任务信息添加至预设的存储任务队列，且将所述第二时间戳和所述哈希值发送至所述预设ipfs分布式数据中心；实时判断所述目标分布式节点是否满足所述预设在线条件，并在所述目标分布式节点满足所述预设在线条件的情况下，根据所述预设ipfs分布式数据中心和所述目标分布式节点对所述第二时间戳和所述哈希值进行存储验证，以在所述第二时间戳和所述哈希值满足所述预设存储验证要求时，从所述存储任务队列中获取所述目标待存储数据，并将所述目标待存储数据上传至所述目标分布式节点。

5、可选地，在本技术的一个实施例中，所述基于所述哈希值、所述第一时间戳或所述第二时间戳，生成多个区块链区块，包括：在所述预设ipfs分布式数据中心接收所述目标待存储数据的情况下，控制预设区块链系统生成多个区块链区块；在所述多个区块链区块中的每个区块链区块中存储上一个区块链区块的区块哈希值、所述目标待存储数据对应的哈希值、所述第一时间戳或所述第二时间戳对应的可信时间凭证。

6、可选地，在本技术的一个实施例中，所述通过预设ipfs分布式数据中心将所述目标待存储数据分解为多个数据片，且利用其他分布式节点和所述多个区块链区块对每个数据片进行备份，同时生成所述每个数据片对应的索引，以通过所述预设ipfs分布式数据中心利用所述索引获取完整的目标待存储数据，包括：将所述多个数据片中预设数量的数据片存储至预设集中式数据中心，并将剩余数据片存储至所述预设ipfs分布式数据中心的至少一个分布式节点中；获取所述至少一个分布式节点的每个分布式节点中的数据片在所述目标待存储数据中id信息和顺序信息，并根据所述id信息和所述顺序信息构建所述每个数据片对应的索引；通过所述预设ipfs分布式数据中心控制所述其他分布式节点对所述每个分布式节点中的数据片进行备份，得到相应的备份数据；在所有分布式节点中存在一个或多个分布式节点不满足所述预设在线条件的情况下，获取所述预设集中式数据中心中的数据片，并根据所述索引获取所述每个分布式节点中的数据片或备份数据；基于所述设集中式数据中心中的数据片、所述每个分布式节点中的数据片或备份数据，获取所述完整的目标待存储数据。

7、本技术第二方面实施例提供一种基于ipfs协议的绿色混合式数据中心数据存算管理装置，包括：判断模块，用于判断目标分布式节点是否满足预设在线条件；上传模块，用于如果所述目标分布式节点满足所述预设在线条件，则根据目标待存储数据对应的第一时间戳、哈希值和预设存储验证要求将所述目标待存储数据上传至所述目标分布式节点，否则赋予所述目标待存储数据第二时间戳，并在所述目标分布式节点满足所述预设在线条件时，基于所述第二时间戳、所述哈希值和所述预设存储验证要求，将所述目标待存储数据上传至所述目标分布式节点；管理模块，用于基于所述哈希值、所述第一时间戳或所述第二时间戳，生成多个区块链区块，并通过预设ipfs分布式数据中心将所述目标待存储数据分解为多个数据片，且利用其他分布式节点和所述多个区块链区块对每个数据片进行备份，同时生成所述每个数据片对应的索引，以通过所述预设ipfs分布式数据中心利用所述索引获取完整的目标待存储数据。

8、可选地，在本技术的一个实施例中，所述上传模块包括：计算单元，用于计算所述目标待存储数据的所述第一时间戳和所述哈希值，并将所述目标待存储数据、所述第一时间戳和所述哈希值发送至所述预设ipfs分布式数据中心；第一验证单元，用于基于所述预设ipfs分布式数据中心和所述目标分布式节点，对所述第一时间戳和所述哈希值进行存储验证，并在所述第一时间戳和所述哈希值满足所述预设存储验证要求的情况下，将所述目标待存储数据上传至所述目标分布式节点。

9、可选地，在本技术的一个实施例中，所述上传模块还包括：添加单元，用于通过预设授时中心赋予所述目标待存储数据第二时间戳，并将所述目标待存储数据对应的存储任务信息添加至预设的存储任务队列，且将所述第二时间戳和所述哈希值发送至所述预设ipfs分布式数据中心；第二验证单元，用于实时判断所述目标分布式节点是否满足所述预设在线条件，并在所述目标分布式节点满足所述预设在线条件的情况下，根据所述预设ipfs分布式数据中心和所述目标分布式节点对所述第二时间戳和所述哈希值进行存储验证，以在所述第二时间戳和所述哈希值满足所述预设存储验证要求时，从所述存储任务队列中获取所述目标待存储数据，并将所述目标待存储数据上传至所述目标分布式节点。

10、可选地，在本技术的一个实施例中，所述管理模块包括：控制单元，用于在所述预设ipfs分布式数据中心接收所述目标待存储数据的情况下，控制预设区块链系统生成多个区块链区块；第一存储单元，用于在所述多个区块链区块中的每个区块链区块中存储上一个区块链区块的区块哈希值、所述目标待存储数据对应的哈希值、所述第一时间戳或所述第二时间戳对应的可信时间凭证。

11、可选地，在本技术的一个实施例中，所述管理模块还包括：第二存储单元，用于将所述多个数据片中预设数量的数据片存储至预设集中式数据中心，并将剩余数据片存储至所述预设ipfs分布式数据中心的至少一个分布式节点中；构建单元，用于获取所述至少一个分布式节点的每个分布式节点中的数据片在所述目标待存储数据中id信息和顺序信息，并根据所述id信息和所述顺序信息构建所述每个数据片对应的索引；备份单元，用于通过所述预设ipfs分布式数据中心控制所述其他分布式节点对所述每个分布式节点中的数据片进行备份，得到相应的备份数据；获取单元，用于在所有分布式节点中存在一个或多个分布式节点不满足所述预设在线条件的情况下，获取所述预设集中式数据中心中的数据片，并根据所述索引获取所述每个分布式节点中的数据片或备份数据；读取单元，用于所述设集中式数据中心中的数据片、所述每个分布式节点中的数据片或备份数据，获取所述完整的目标待存储数据。

12、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于ipfs协议的绿色混合式数据中心数据存算管理方法。

13、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于ipfs协议的绿色混合式数据中心数据存算管理方法。

14、由此，本技术的实施例具有以下有益效果：

15、本技术的实施例可通过判断目标分布式节点是否满足预设在线条件；如果目标分布式节点满足预设在线条件，则根据目标待存储数据对应的第一时间戳、哈希值和预设存储验证要求将目标待存储数据上传至目标分布式节点，否则赋予目标待存储数据第二时间戳，并在目标分布式节点满足预设在线条件时，基于第二时间戳、哈希值和预设存储验证要求，将目标待存储数据上传至目标分布式节点；基于哈希值、第一时间戳或第二时间戳，生成多个区块链区块，并通过预设ipfs分布式数据中心将目标待存储数据分解为多个数据片，且利用其他分布式节点和多个区块链区块对每个数据片进行备份，同时生成每个数据片对应的索引，以通过预设ipfs分布式数据中心利用索引获取完整的目标待存储数据。本技术可充分发挥集中式与分布式数据中心混合框架的系统优势，并结合ipfs文件系统、区块链存储等特点，有效减少了数据存储失效情况的发生，极大提升了数据存储的安全性。由此，解决了由于新能源供电不稳定，容易导致分布式数据中心有节点离线，使得数据中心难以保证数据完整安全存储和计算任务有效执行等问题。

16、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。