一种分布式存储系统、数据存储方法以及产品与流程
- 国知局
- 2024-09-05 15:04:56
本技术实施例涉及数据存储的,具体而言,涉及一种分布式存储系统、数据存储方法以及产品。
背景技术:
1、在数字化发展的过程中,数据存储也成为重中之重,目前主流的数据存储包括有集中式存储和分布式存储两大类型,其中,分布式存储可以基于通用的服务器设备部署分布式存储软件以实现大型数据中心的存储需求,而且其分布式的技术架构为大规模场景下的快速扩容也提供了便捷,随着底层技术的不断优化其存储处理能力也得到了大幅度的提升,应用范围越来越大;同时,分布式存储为了保证数据的安全性,提供了多种数据保护机制,示例地数据保护机制多副本和纠删。
2、但是,分布式存储系统中不同的数据保护机制具有各自的存储特点以及缺陷,如多副本的数据保护机制在提高数据安全性的同时存储空间的利用率低;纠删的数据保护机制存储空间利用率高,但是读写效率低,尤其在数据写入时候效率会远低于多副本机制,无法满足业务高并发或高i/o(input/output,输入/输出)的需求。
3、因此,如何在数据存储的过程中合理地选择数据保护机制,以实现分布式存储系统的存储效率是一个亟待解决的问题。
技术实现思路
1、本技术实施例提供一种分布式存储系统、数据存储方法以及产品,旨在提高分布式存储系统的存储效率。
2、第一方面本技术实施例提供一种分布式存储系统,所述分布式存储系统为多个业务系统提供存储服务,所述分布式存储系统包括业务管理模块,其中:
3、所述业务管理模块,用于响应于当前业务系统发送的待存储业务数据的存储请求,确定所述当前业务系统对应的分类等级;根据所述当前业务系统对应的分类等级,确定所述待存储业务数据对应的数据存储模式;按照所述待存储业务数据对应的数据存储模式,将所述待存储业务数据存储在所述分布式存储系统中;
4、其中,所述业务管理模块中存储有不同的业务系统各自对应的分类等级以及各个分类等级和数据存储模式之间的映射关系,所述数据存储模式用于对所述待存储业务数据进行安全存储。
5、可选地,所述业务管理模块包括:
6、业务接口,用于获取任一业务系统的分类等级,所述分类等级包括关键数据、重要数据以及一般数据;
7、分类等级数据库,用于存储所述多个业务系统各自对应的分类等级;
8、执行单元,用于在所述分类等级数据库中查找所述当前业务系统对应的分类等级,根据所述当前业务系统对应的分类等级和各个分类等级和数据存储模式之间的映射关系,确定所述待存储业务数据对应的数据存储模式,并根据所述待存储业务数据对应的数据存储模式,将所述待存储业务数据存储在所述分布式存储系统中。
9、可选地,所述执行单元用于:
10、当所述当前业务系统对应的分类等级为关键数据时,确定所述待存储业务数据对应的数据存储模式为多副本存储模式;
11、当所述当前业务系统对应的分类等级为重要数据或一般数据时,确定所述待存储业务数据对应的数据存储模式为纠删模式。
12、可选地,所述业务管理模块还用于接收任一业务系统在连接所述分布式存储系统时发送的分类等级信息,在所述分类等级信息中获取并存储该业务系统对应的分类等级。
13、可选地,所述分布式存储系统还包括监控分析模块,所述监控分析模块用于:
14、对任一业务系统的分析维度信息进行监控,所述分析维度信息包括每秒进行读写操作的次数、吞吐量以及存储容量;
15、根据所述分析维度信息,分析得到该业务系统的分类等级;
16、将该业务系统的分类等级发送至所述业务管理模块。
17、可选地,所述监控分析模块包括:
18、监控单元,用于监测任一业务系统的多个历史业务数据,获取所述多个历史业务数据各自的分析维度信息;
19、存储单元,用于将该业务系统的多个历史业务数据各自的分析维度信息存储在所述分布式存储系统中的第一目标存储空间中;
20、分析单元,用于根据该业务系统的多个历史业务数据各自的分析维度信息,确定该业务系统的分类等级,并将所述分类等级发送至所述业务管理模块。
21、可选地,所述分析单元用于:
22、对于任一业务系统,根据该业务系统的多个历史业务数据各自的每秒进行读写操作的次数,确定第一平均值;
23、根据该业务系统的多个历史业务数据各自的吞吐量,确定第二平均值;
24、根据该业务系统的多个历史业务数据各自的存储大小,确定存储容量;
25、根据所述第一平均值、所述第二平均值和所述存储容量,计算得到等级得分;
26、根据该业务系统的等级得分与不同的分类等级各自对应的等级阈值,确定该业务系统的分类等级。
27、可选地,所述分析单元确定任一业务系统的等级得分的公式为:
28、等级得分=(第一平均值*50%+第二平均值*30%)/(存储容量*10%)。
29、可选地,所述监控单元,还用于在预设监控周期内对任一业务系统的各个业务存储数据的分析维度信息进行监控;
30、所述存储单元,用于将预设监控周期内该业务系统的各个业务存储数据的分析维度信息存储在所述分布式存储系统中的第二目标存储空间中;
31、分析单元,用于根据预设监控周期内该业务系统的各个业务存储数据的分析维度信息,得到该业务系统的更新后的分类等级,并将所述更新后的分类等级发送至所述业务管理模块;
32、所述业务管理模块用于根据该业务系统更新后的分类等级,替换该业务系统当前的分类等级。
33、可选地,所述分析单元用于在得到该业务系统的更新后的分类等级后,向所述存储单元发送分析完毕指令;
34、所述存储单元,用于响应于所述分析完毕指令,将所述第二目标存储空间中存储的该业务系统在预设监控周期内的第二分析维度信息删除。
35、可选地,所述分布式存储系统还包括转换模块,其中:
36、所述转换模块,用于在检测到所述业务管理模块中任一业务系统的分类等级变化时,根据变换后的分类等级,重新确定所述分布式存储系统中该业务系统存储的各个业务数据对应的更新后的数据存储模式,并根据所述更新后的数据存储模式,更改该所述分布式存储系统中该业务系统存储的各个业务数据的存储模式。
37、第二方面,本技术实施例提供一种分布式存储系统的数据存储方法,所述方法应用于分布式存储系统,所述方法包括:
38、响应于当前业务系统发送的待存储业务数据的存储请求,确定所述当前业务系统对应的分类等级;
39、根据所述当前业务系统对应的分类等级,确定所述待存储业务数据对应的数据存储模式;
40、按照所述待存储业务数据对应的数据存储模式,将所述待存储业务数据存储在所述分布式存储系统中;
41、其中,所述分布式存储系统中存储有不同的业务系统各自对应的分类等级以及各个分类等级和数据存储模式之间的映射关系,所述数据存储模式用于对所述待存储业务数据进行安全存储。
42、第三方面,本技术实施例提供一种计算机设备,包括:至少一个处理器,以及存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时执行实施例第二方面所述的分布式存储系统的数据存储方法。
43、第四方面,本技术实施例提供一种非易失性可读存储介质,所述非易失性可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时执行实施例第二方面所述的分布式存储系统的数据存储方法。
44、第五方面,本技术实施例提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现实施例第二方面所述的分布式存储系统的数据存储方法。
45、有益效果:
46、所述分布式存储系统为多个业务系统提供存储服务,所述分布式存储系统包括业务管理模块,所述业务管理模块首先响应于当前业务系统发送的待存储业务数据的存储请求,确定所述当前业务系统对应的分类等级;然后,根据所述当前业务系统对应的分类等级,确定所述待存储业务数据对应的数据存储模式;最后,按照所述待存储业务数据对应的数据存储模式,将所述待存储业务数据存储在所述分布式存储系统中。
47、所述业务管理模块中存储有不同的业务系统各自对应的分类等级以及各个分类等级和数据存储模式之间的映射关系,通过确定当前业务系统的分类等级,根据分类等级确定当前业务系统发送的待存储业务数据的数据存储模式,可以在数据存储的过程中合理地选择数据保护机制,而不是所有的业务数据均采用同一种数据保护的机制,可以有效地提高分布式存储系统的高效存储。
本文地址:https://www.jishuxx.com/zhuanli/20240905/289455.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表