基于数据流处理的数据隐私及安全分布式存储方法及系统与流程

本发明涉及分布式存储，更具体地说，涉及一种基于数据流处理的数据隐私及安全分布式存储方法及系统。

背景技术：

1、数据流处理是一种对实时、连续、无限的数据流进行实时分析和处理的技术，数据流具有无限性、实时性、快速性和易失性等特点，被广泛应用于传感器数据监测、网络日志分析、金融交易等领域；

2、目前，在数据流处理中的数据分布式存储，大都只是简单的将采集到的数据作为一个独立的个体，进行分片处理后，将分出的片进行在存储系统中分布式存储，该种方式难以与数据流中持续流动的数据相匹配，即在进行分布式存储时，需要对数据完整性进行检测，而且为了满足安全性，还需要每一个次分布式存储，对各个分片数据均进行一次加密处理，效率较差，容易造成处理业务积压而最终导致网络堵塞，需要一种能够良好的基于数据流处理的数据隐私及安全分布式存储方法及系统来解决该种问题，以能够在持续的数据流动中进行数据分布式存储，避免网络堵塞。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于数据流处理的数据隐私及安全分布式存储方法，还提供了一种基于数据流处理的数据隐私及安全分布式存储系统。

2、本发明解决其技术问题所采用的技术方案是：

3、构造一种基于数据流处理的数据隐私及安全分布式存储方法，实现方法如下：

4、第一步：基于用户输入或选择的项目，构建项目框架；项目框架包括项目名称和项目内容，项目内容依据数据属性进行数据分类为多个数据子项；

5、第二步：依据数据子项的预估大小进行虚拟分布式存储，筛选符合要求的存储节点，获取最终反馈的多个存储节点地址数据，其中，每一数据子项均对应有多个的存储节点；

6、第三步：采用设定的私密加密算法，对选定的全部存储节点进行加密；

7、第四步：在设定的采集范围内持续采集实时数据包，并进行数据识别得到实时数据包的数据属性和大小；

8、第五步：对实时数据包依据数据属性与数据子项进行匹配，对于匹配失败的实时数据包进行舍弃，对于匹配成功的实时数据包进行如下处理：

9、若当前存在与数据子项对应的存储节点的剩余空间大于实时数据包的大小，则将实时数据包直接存入该存储节点；

10、否则，将实时数据包通过分片算法进行分片处理后进行分布式存储在与相匹配的数据子项对应的多个存储节点中。

11、本发明所述的基于数据流处理的数据隐私及安全分布式存储方法，其中，所述对项目内容进行虚拟式的分布式存储，筛选符合要求的存储节点，获取最终反馈的多个存储节点地址数据采用方法：

12、构建与项目内容的预设大小相当的虚拟存储文件，并采用无用数据对虚拟存储文件填充；

13、对虚拟存储文件进行拆分为与多个数据子项预估大小等大的虚拟子文件；

14、分布式存储服务器依据虚拟子文件大小进行分布式存储；

15、筛选符合要求的存储节点，获取最终反馈的多个存储节点地址数据；

16、保留存储节点中的存储空间，删除虚拟子文件中的数据。

17、本发明所述的基于数据流处理的数据隐私及安全分布式存储方法，其中，所述筛选符合要求的存储节点采用：

18、对获取的可用的存储节点进行性能排序；

19、优选设定数量的排序考前的存储节点为目标存储节点。

20、本发明所述的基于数据流处理的数据隐私及安全分布式存储方法，其中，所述方法还包括：

21、当存在存储节点因空间不足导致存储失败时，对分布式存储服务器反馈相应存储失败信息；

22、分布式存储服务器重新进行存储节点筛选后，对存储节点进行加密并将存储节点的地址添加到已有的存储节点地址列表中；

23、对因空间不足导致存储失败的实时数据包重新进行存储操作。

24、本发明所述的基于数据流处理的数据隐私及安全分布式存储方法，其中，所述方法还包括：

25、当存在存储节点因故障导致存储失败时，对分布式存储服务器反馈存储相应失败信息；

26、分布式存储服务器重新进行存储节点筛选后，对存储节点进行加密并将存储节点的地址添加到已有的存储节点地址列表中，剔除故障的数据节点的地址；

27、对因存储节点故障导致存储失败的实时数据包重新进行存储操作。

28、本发明所述的基于数据流处理的数据隐私及安全分布式存储方法，其中，所述方法还包括：

29、接收到用户的数据读取指令时，进行读取指令内容解析，与多个数据子项进行数据匹配，对匹配成功后的数据子项对应的存储节点进行解密，解密成功后进行数据读取。

30、本发明所述的基于数据流处理的数据隐私及安全分布式存储方法，其中，所述方法还包括：

31、接收到用户的项目撤销指令时，进行撤销指令确认，确认无误后发送至分布式存储系统，由分布式存储系统发送指令解密并释放全部的存储节点。

32、一种基于数据流处理的数据隐私及安全分布式存储系统，应用于如上述的基于数据流处理的数据隐私及安全分布式存储方法，其中，所述系统包括项目处理单元、虚拟存储单元、数据采集单元和分布式存储单元；

33、所述项目处理单元，用于基于用户输入或选择的项目，构建项目框架；项目框架包括项目名称和项目内容，项目内容依据数据属性进行数据分类为多个数据子项，将项目框架的信息发送至分布式存储单元；

34、所述虚拟存储单元，用于依据数据子项的预估大小进行虚拟分布式存储，筛选符合要求的存储节点，获取最终反馈的多个存储节点地址数据，其中，每一数据子项均对应有多个的存储节点；采用设定的私密加密算法，对选定的全部存储节点进行加密；

35、所述数据采集单元，用于在设定的采集范围内持续采集实时数据包，并进行数据识别得到实时数据包的数据属性和大小，并将实时数据包的数据属性和大小发送至分布式存储单元；

36、所述分布式存储单元，用于对实时数据包依据数据属性与数据子项进行匹配，对于匹配成功的实时数据包进行如下处理：若当前存在与数据子项对应的存储节点的剩余空间大于实时数据包的大小，则将实时数据包直接存入该存储节点；否则，将实时数据包通过分片算法进行分片处理后进行分布式存储在与相匹配的数据子项对应的多个存储节点中。

37、本发明的有益效果在于：应用本申请的方式方法，开创性的采用虚拟存储手段，提前在存储服务器中进行数据分布式存储的空间规划，并对规划好的空间进行统一加密处理，后续采集的实时数据包经过简单数据属性匹配后，即可快速的进行分布式存储，免去了数据整体性效验步骤，避免了可能对数据流处理中带来的数据堵塞情况，保障分布式存储的顺利进行的同时，兼顾数据的安全性。

技术特征：

1.一种基于数据流处理的数据隐私及安全分布式存储方法，其特征在于，实现方法如下：

2.根据权利要求1所述的基于数据流处理的数据隐私及安全分布式存储方法，其特征在于，所述对项目内容进行虚拟式的分布式存储，筛选符合要求的存储节点，获取最终反馈的多个存储节点地址数据采用方法：

3.根据权利要求2所述的基于数据流处理的数据隐私及安全分布式存储方法，其特征在于，所述筛选符合要求的存储节点采用：

4.根据权利要求1所述的基于数据流处理的数据隐私及安全分布式存储方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的基于数据流处理的数据隐私及安全分布式存储方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的基于数据流处理的数据隐私及安全分布式存储方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的基于数据流处理的数据隐私及安全分布式存储方法，其特征在于，所述方法还包括：

8.一种基于数据流处理的数据隐私及安全分布式存储系统，应用于如权利要求1-7任一所述的基于数据流处理的数据隐私及安全分布式存储方法，其特征在于，所述系统包括项目处理单元、虚拟存储单元、数据采集单元和分布式存储单元；

技术总结本发明涉及基于数据流处理的数据隐私及安全分布式存储方法及系统，实现方法如下：构建项目框架，依据数据子项的预估大小进行虚拟分布式存储，获取最终反馈的多个存储节点地址数据，采用设定的私密加密算法，对选定的全部存储节点进行加密；在设定的采集范围内持续采集实时数据包，对于匹配成功的实时数据包进行如下处理：若当前存在与数据子项对应的存储节点的剩余空间大于实时数据包的大小，则将实时数据包直接存入该存储节点；否则，将实时数据包通过分片算法进行分片处理后进行分布式存储在与相匹配的数据子项对应的多个存储节点中；应用本申请的方式方法，免去了数据整体性效验步骤，避免了可能对数据流处理中带来的数据堵塞情况。技术研发人员：张立旭受保护的技术使用者：优网云计算有限公司技术研发日：技术公布日：2024/9/2