一种二级存储网关及数据存储方法与流程

本发明属于云计算，尤其涉及一种二级存储网关及数据存储方法。

背景技术：

1、无论云上还是云下应用，都涉及对重要生产数据做备份或归档，需要使用二级存储。二级存储与生产存储相比，对iops(input/output operations per second，每秒输入/输出操作数)的要求不高，但通常数据量较大，保存时间较久。常见的二级存储后端存储介质通常为磁盘阵列、磁带、光盘等等，这类二级存储往往存在成本高、容量扩展性差、云上环境兼容性差等问题，并且需要用户自行维护庞杂的硬件。此外，在一些场景下还有使用方面的问题。例如，对于档案数据的归档或备份，存在数据量巨大(例如pb级)、保存时间长(例如20年、30年或永久)的特点，归档存储成本高昂。因为本地建设往往滞后于业务发展，往往难以准确规划存储空间的使用量，容易造成过度规划导致浪费，或者规划不足导致存储扩容对业务带来不连续的影响。在数据测试场景下，经常需要对历史问题的解决效果做测试分析和回归验证，数据副本的管理工作量繁琐复杂低效，并容易因多种临时数据而影响归档存储的有效容量。虽然云下有对应的cdm产品可在一定程度上解决副本管理问题，但cdm产品后端存储的扩展性仍然受限。

2、现有技术中，二级存储架构直接向用户提供块数据接口，如图1所示，现有技术的方案，至少存在以下技术问题：用户使用二级存储的门槛比较高，需针对对象接口做归档应用改造，而成本高，风险高，管理成本高。

技术实现思路

1、鉴于以上现有技术的不足，发明的目的在于提供一种二级存储网关及数据存储装置，适应了云上场景，有利于应用迁移上云。

2、本发明的第一方面，提出了一种二级存储网关，包括：

3、目标target模块，存储卷volume模块，索引节点inode模块，对象数据object模块；

4、target模块是所述二级存储网关面向主机启动器initiator的对接模块；

5、volume模块是所述二级存储网关在本地内核kernel创建的虚拟块设备，initiator通过所述target模块访问所述虚拟块设备；

6、volume模块与用户卷的偏移offset一一对应，volume模块按所述offset顺序分为多个inode模块，并记录offset与inode模块的映射关系；

7、每个inode模块按数据块粒度对应多个指纹fp，inode模块记录inode偏移量与fp的映射关系；

8、object模块与对象存储bucket中存储的对象一一对应，每个object包含多个fp的数据块。

9、进一步地，本发明的二级存储网关还包括：数据快照snapshot模块和克隆clone模块；

10、snapshot模块与用户卷的偏移offset一一对应，snapshot模块按所述offset顺序分为多个inode模块，并记录offset与inode模块的映射关系；

11、clone模块与用户卷的偏移offset一一对应，clone模块按所述offset顺序分为多个inode模块，并记录offset与inode模块的映射关系。

12、进一步地，fp模块包括：fp是数据块的唯一标识；fp模块记录被inode模块引用的次数和fp所在的对象和偏移。

13、进一步地，每新增一个inode，所述inode模块维护其包含的fp信息；每新增一个数据块，新增一个fp，记录所在对象的偏移信息。

14、进一步地，本发明的二级存储网关还用于：

15、若用户针对第一存储卷创建第一快照，所述二级存储网关冻结所有模块的io，并创建第一快照实体，基于第一存储卷对应的所有第一索引节点实体复制生成第三索引节点实体，基于第一存储卷对应的所有第二索引节点实体复制生成第四索引节点实体，并将所有第三索引节点实体和所有第四索引节点实体与第一快照实体关联。

16、进一步地，若针对所述第一存储卷更新尾部数据，所述第二索引节点实体更新或者新增fp和对象，但第三索引节点实体和第四索引节点实体保持不变。

17、进一步地，若基于第一快照创建第一克隆，并创建第一克隆实体，基于所述第一快照对应的所有第三索引节点实体复制生成第五索引节点实体，基于所述第一快照对应的所有第四索引节点实体复制生成第六索引节点实体，并将所有第五索引节点实体和第六索引节点实体与所述第一克隆实体关联；

18、第一克隆实体与所述第一快照实体和第一存储卷不再关联，若删除所述第一快照实体或者第一存储卷，所述第一克隆实体仍然有效。

19、进一步地，第一克隆实体数据更新，所述第六索引节点实体更新或者新增fp和数据块，但所述第一存储卷和所述第一快照实体保持不变。

20、进一步地，本发明的二级存储网关还包括：

21、存储库层repo模块，存储提供商provider模块和对象存储数据桶bucket模块；

22、repo模块用于为对象提供虚拟的数据存储空间，repo模块下辖多个provider模块；

23、provider模块与预定的云存储平台对应，provider模块下辖多个bucket模块；

24、bucket模块为预定的云存储平台下的对象存储数据桶。

25、本发明的第二方面，提出了一种数据存储方法，使用本发明的二级存储网关实现数据存储。

26、本发明有益效果如下：

27、本发明中使用对象存储作为数据存储介质，可提供低成本、高可用性、高扩展性等优点。二级存储网关可对归档应用提供标准的块接口，无需应用改造，不仅支持云下场景，也天然支持云上场景和迁移上云场景。数据管理粒度缩小为数据块，通过管理元数据可灵活支持volume的各种场景特性，支持重复数据管理，降低数据存储数量，进一步达到降低数据存储成本的作用。

技术特征：

1.一种二级存储网关，其特征在于，包括：

2.根据权利要求1所述的二级存储网关，其特征在于，还包括：

3.根据权利要求1或者2所述的二级存储网关，其特征在于，所述fp模块包括：

4.根据权利要求1或者2所述的二级存储网关，其特征在于，还用于：

5.根据权利要求2所述的二级存储网关，其特征在于，所述二级存储网关用于：

6.根据权利要求5所述的二级存储网关，其特征在于，所述二级存储网关用于：

7.根据权利要求5所述的二级存储网关，其特征在于，所述二级存储网关用于：

8.根据权利要求7所述的二级存储网关，其特征在于，所述二级存储网关用于：

9.根据权利要求1或2所述的二级存储网关，其特征在于，所述二级存储网关还包括：

10.一种数据存储方法，其特征在于，使用如权利要求1至9任一项所述的二级存储网关实现数据存储。

技术总结本发明涉及一种二级存储网关及数据存储方法，属于云计算技术领域，该二级存储网关包括：目标Target模块，存储卷Volume模块，索引节点Inode模块，对象数据Object模块。还可包括存储库层Repo模块，存储提供商Provider模块和对象存储数据桶Bucket模块。本发明还涉及使用该二级存储网关实现数据存储的方法。技术研发人员：胡斌,武昱受保护的技术使用者：天翼云科技有限公司技术研发日：技术公布日：2024/8/5