技术新讯 > 计算推算,计数设备的制造及其应用技术 > 对象管理方法、对象存储系统及计算设备与流程  >  正文

对象管理方法、对象存储系统及计算设备与流程

  • 国知局
  • 2024-11-06 14:23:53

本技术涉及对象存储,尤其涉及一种对象管理方法、对象存储系统及计算设备。

背景技术:

1、当前,对象存储系统的计算节点对存储节点中的对象进行管理时(例如,存储、加载等),需要通过网络进行跨节点迁移对象,例如:待管理对象需要通过网络在计算节点和存储待管理对象的存储节点之间进行迁移。由于对象管理过程中,需要通过网络在不同节点之间传输对象,因此,对象管理性能受限于网络性能,很难提升。

技术实现思路

1、本技术实施例提供一种对象管理方法、对象存储系统及计算设备,不仅能够避免网络性能限制对象管理性能的提升,还能够有效降低对象管理的耗时以及对象管理的成本。

2、为达到上述目的,本技术实施例采用如下技术方案:

3、第一方面,提供了一种对象管理方法,应用于对象存储系统,对象存储系统包括计算设备和计算扩展连接cxl存储池,计算设备和cxl存储池连接;该方法由计算设备执行;该方法包括:响应于目标对象的存储请求,确定目标对象的元数据;目标对象的元数据包括目标对象的目标标识和cxl存储池上的目标cxl存储空间的地址,目标cxl存储空间用于存储目标对象;将目标cxl存储空间映射为计算设备的第一虚拟地址空间;基于第一虚拟地址空间与目标cxl存储空间的映射关系,将目标对象写入目标cxl存储空间;存储目标对象的元数据。

4、该方案中,对象存储系统的计算设备需要存储对象时,先确定待存储对象(如:目标对象)的元数据,元数据包括目标对象的目标标识和用于存储目标对象的目标cxl存储空间的地址,之后,将目标cxl存储空间映射为计算设备的第一虚拟地址空间,并通过第一虚拟地址空间与目标cxl存储空间的映射关系,将目标对象写入目标cxl存储空间。由于将目标cxl存储空间映射为第一虚拟地址空间后,目标cxl存储空间相当于是计算设备的本地内存空间,计算设备便可以通过第一虚拟地址空间访问目标cxl存储空间,而不需要通过网络与cxl存储池通信,这样,待存储对象便可以通过计算设备与cxl存储池之间的cxl链路在计算设备和cxl存储池之间进行迁移,而不需要通过网络在计算设备和cxl存储池之间进行迁移,从而也就避免了计算设备和cxl存储池之间的网络性能限制对象存储性能的提升,提高了待存储对象的迁移效率,进而有助于实现高效、快速存储待存储对象,降低对象存储的开销,提高对象存储系统的性能。此外,在将目标对象写入目标cxl存储空间之后,存储目标对象的元数据,这样,在需要加载目标对象时,便可以根据目标对象的标识(即目标标识)查找到目标对象的元数据,从而得到用于存储目标对象的cxl存储空间的地址(即目标cxl存储空间的地址),进而有助于通过cxl存储空间和虚拟地址空间之间的映射关系,加载目标cxl存储空间中的目标对象,也即,不通过网络加载目标对象,以避免对象存储系统的加载性能受到网络性能的影响。

5、此外,由于对象管理过程中,不需要通过网络迁移对象,因此,迁移对象时也就是不需要执行序列化、反序列化、压缩待管理对象等,这样,能够有效降低对象管理的耗时,从而有助于提高对象管理的效率。另外,由于将目标cxl存储空间映射为第一虚拟地址空间后,目标cxl存储空间相当于是计算设备的本地内存空间,因此,计算设备管理目标cxl存储空间中的待管理对象(例如,待存储对象或待加载对象等)时,便不需要在计算设备和目标cxl存储空间同时存储待管理对象,这样,能够减小待管理对象占用的对象存储系统的存储空间,从而能够避免影响对象存储系统的总拥有成本(total cost of ownership,tco)。

6、在一种可能的实现方式中,该方法还包括:发送第一分配请求,第一分配请求用于请求为计算设备分配cxl存储空间;接收第一响应信息,第一响应信息用于指示cxl存储池上的第一cxl存储空间属于计算设备,第一cxl存储空间用于存储计算设备创建的对象;确定目标对象的元数据,包括:从第一cxl存储空间中确定目标cxl存储空间;为目标对象分配目标标识,目标标识用于与目标cxl存储空间建立对应关系,对应关系用于指示目标cxl存储空间为目标对象的存储空间。

7、另一种可能的实现方式中,该方法还包括:在第一cxl存储空间的使用量大于或等于使用阈值的情况下,发送第三分配请求,第三分配请求用于请求为计算设备分配cxl存储空间;接收第三响应信息,第三响应信息用于指示cxl存储池上的第二cxl存储空间属于计算设备;第二cxl存储空间用于存储计算设备创建的对象。

8、另一种可能的实现方式中,确定目标对象的元数据,包括:发送第二分配请求,第二分配请求用于请求为目标对象分配cxl存储空间;接收第二响应信息,第二响应信息用于指示cxl存储池上的目标cxl存储空间用于存储目标对象;为目标对象分配目标标识,目标标识用于与目标cxl存储空间建立对应关系,对应关系用于指示目标cxl存储空间为目标对象的存储空间。

9、另一种可能的实现方式中,存储目标对象的元数据,包括:向一个或多个管理设备发送元数据存储请求,元数据存储请求用于请求存储目标对象的元数据;管理设备为用于管理对象的元数据的设备。

10、另一种可能的实现方式中,方法还包括:响应于目标对象的加载请求,根据目标对象的标识,获取目标对象的元数据;将目标对象的元数据指示的目标cxl存储空间,映射为计算设备的第二虚拟地址空间;基于第二虚拟地址空间与目标cxl存储空间的映射关系,加载目标cxl存储空间中存储的目标对象。

11、另一种可能的实现方式中,根据目标对象的标识,获取目标对象的元数据,包括:根据目标对象的标识,从计算设备的存储介质中,获取目标对象的元数据。

12、另一种可能的实现方式中,根据目标对象的标识,获取目标对象的元数据,包括:向元数据管理设备发送元数据获取请求,元数据获取请求携带有目标对象的目标标识,元数据获取请求用于请求获取目标对象的元数据;接收元数据管理设备返回的目标对象的元数据。

13、另一种可能的实现方式中,加载目标cxl存储空间中存储的目标对象,包括:根据目标对象的元数据,重构目标cxl存储空间中存储的目标对象,得到目标对象对应的富数据;加载目标对象对应的富数据。

14、另一种可能的实现方式中,该方法还包括:响应于目标对象的删除请求,发送元数据删除请求;元数据删除请求携带有目标对象的标识,元数据删除请求用于请求删除目标对象的元数据。

15、另一种可能的实现方式中,对象存储系统还包括持久化存储池;方法还包括:响应于目标事件,将cxl存储池存储的至少部分对象写入持久化存储池;目标事件用于指示持久化至少部分对象。

16、另一种可能的实现方式中,将cxl存储池存储的至少部分对象写入持久化存储池之后,方法还包括:发送元数据更新请求,元数据更新请求用于请求更新至少部分对象的元数据;至少部分对象的更新后的元数据用于指示至少部分对象存储在持久化存储池。

17、另一种可能的实现方式中,目标对象的元数据还包括:目标对象的创建时间、目标对象的最新访问时间、目标对象的最新修改时间、目标对象的cxl存储空间的地址、目标对象占用的cxl存储空间大小、目标对象是否已持久化、目标对象的数据类型、目标对象的字节序中的至少一项。

18、第二方面,提供了一种对象管理方法,应用于对象存储系统,对象存储系统包括计算设备和计算扩展连接cxl存储池;该方法包括:接收第一分配请求,第一分配请求用于请求为计算设备分配cxl存储空间;响应于第一分配请求,从cxl存储池中确定第一cxl存储空间;返回第一响应信息,第一响应信息用于指示cxl存储池上的第一cxl存储空间属于计算设备;第一cxl存储空间用于存储计算设备创建的对象。

19、在一种可能的实现方式中,该方法还包括:获取cxl存储池的属性信息;基于cxl存储池的属性信息,执行初始化操作。

20、另一种可能的实现方式中,该方法还包括:在检测到目标事件的情况下,发送持久化指令;持久化指令用于指示持久化cxl存储池中的至少部分对象。

21、另一种可能的实现方式中,目标事件包括:计算设备下电、计算设备存在异常、cxl存储池的剩余cxl存储空间小于或等于资源阈值中的至少一项。

22、另一种可能的实现方式中,该方法还包括:接收第二分配请求,第二分配请求用于请求为目标对象分配cxl存储空间;响应于第二分配请求,从cxl存储池中确定目标cxl存储空间;返回第二响应信息,第二响应信息用于指示cxl存储池上的目标cxl存储空间属于目标对象,目标cxl存储空间用于存储目标对象。

23、另一种可能的实现方式,该方法还包括:接收第三分配请求,第三分配请求用于请求为计算设备分配cxl存储空间;响应于第三分配请求,从cxl存储池中确定第二cxl存储空间;返回第三响应信息,第三响应信息用于指示cxl存储池上的第二cxl存储空间属于计算设备;第二cxl存储空间用于存储计算设备生成的对象。

24、第三方面,提供了一种对象管理方法,应用于对象存储系统,对象存储系统包括计算设备和计算扩展连接cxl存储池;该方法包括:接收元数据存储请求,元数据存储请求用于请求存储目标对象的元数据;响应于存储请求,存储目标对象的元数据。

25、在一种可能的实现方式中,该方法还包括:接收元数据获取请求,元数据获取请求用于请求获取目标对象的元数据;响应于获取请求,返回目标对象的元数据。

26、另一种可能的实现方式中,该方法还包括:接收元数据删除请求,元数据删除请求用于请求删除目标对象的元数据;响应于元数据删除请求,删除目标对象的元数据。

27、另一种可能的实现方式中,该方法还包括:接收元数据更新请求,元数据更新请求用于请求更新至少部分对象的元数据;响应于元数据更新请求,更新至少部分对象的元数据,更新后的至少对象的元数据用于指示至少部分对象存储在非易失性存储池。

28、另一种可能的实现方式中,该方法还包括:接收元数据持久化请求,元数据持久化请求用于请求持久化存储至少部分对象的元数据;响应于元数据持久化请求,将至少部分对象的元数据存储至非易失性存储池。

29、第四方面,提供了一种对象管理装置,该装置包括:用于执行第一方面提供的任意一种方法的功能单元,各个功能单元所执行的动作通过硬件实现或通过硬件执行相应的软件实现。例如,对象管理装置可以包括:管理模块、映射模块、业务模块和元数据服务模块;管理模块,用于响应于目标对象的存储请求,确定目标对象的元数据;目标对象的元数据包括目标对象的目标标识和cxl存储池上的目标cxl存储空间的地址,目标cxl存储空间用于存储目标对象;映射模块,用于将目标cxl存储空间映射为计算设备的第一虚拟地址空间;业务模块,用于基于第一虚拟地址空间与目标cxl存储空间的映射关系,将目标对象写入目标cxl存储空间;元数据服务模块,用于存储目标对象的元数据。

30、第五方面,提供了一种对象管理装置,该装置包括:用于执行第二方面提供的任意一种方法的功能单元,各个功能单元所执行的动作通过硬件实现或通过硬件执行相应的软件实现。例如,对象管理装置可以包括:资源管理模块;资源管理模块,用于接收第一分配请求,第一分配请求用于请求为计算设备分配cxl存储空间;资源管理模块,还用于响应于第一分配请求,从cxl存储池中确定第一cxl存储空间;资源管理模块,还用于返回第一响应信息,第一响应信息用于指示cxl存储池上的第一cxl存储空间属于计算设备;第一cxl存储空间用于存储计算设备创建的对象。

31、第六方面,提供了一种对象管理装置,该装置包括:用于执行第二方面提供的任意一种方法的功能单元,各个功能单元所执行的动作通过硬件实现或通过硬件执行相应的软件实现。例如,对象管理装置可以包括:元数据管理模块;元数据管理模块,用于接收元数据存储请求,元数据存储请求用于请求存储目标对象的元数据;元数据管理模块,还用于响应于存储请求,存储目标对象的元数据。

32、第七方面,提供了一种对象存储系统,对象存储系统包括计算设备和cxl存储池,计算设备和cxl存储池通过cxl链路连接;计算设备,用于响应于目标对象的存储请求,确定目标对象的元数据;目标对象的元数据包括目标对象的目标标识和cxl存储池上的目标cxl存储空间的地址,目标cxl存储空间用于存储目标对象;计算设备,还用于将目标cxl存储空间映射为计算设备的第一虚拟地址空间;计算设备,还用于基于第一虚拟地址空间与目标cxl存储空间的映射关系,将目标对象写入cxl存储的目标cxl存储空间;计算设备,还用于存储目标对象的元数据。

33、需要说明的,在第七方面中,计算设备还可以用于执行上述第一方面提供的任意一种可能的实现方式,此处不再赘述。

34、第八方面,提供一种对象存储系统,对象存储系统包括:对象管理模块,用于响应于目标对象的存储请求,确定目标对象的元数据;目标对象的元数据包括目标对象的目标标识和cxl存储池上的目标cxl存储空间的地址,目标cxl存储空间用于存储目标对象;业务负载模块,用于将目标cxl存储空间映射为计算设备的第一虚拟地址空间;业务负载模块,还用于基于第一虚拟地址空间与目标cxl存储空间的映射关系,将目标对象写入目标cxl存储空间;对象管理模块,还用于存储目标对象的元数据。

35、第九方面,提供了一种计算机设备,包括处理器、存储器及存储在存储器上的计算机程序/指令;处理器执行计算机程序/指令,以使计算设备实现上述第一方面提供的任意一种方法。

36、第十方面,提供了一种计算机设备,包括处理器、存储器及存储在存储器上的计算机程序/指令;处理器执行计算机程序/指令,以使计算设备实现上述第二方面提供的任意一种方法。

37、第十一方面,提供了一种计算机设备,包括处理器、存储器及存储在存储器上的计算机程序/指令;处理器执行计算机程序/指令,以使计算设备实现上述第三方面提供的任意一种方法。

38、第十二方面,提供了一种计算设备集群,包括:至少一个计算设备;至少一个计算设备中的每个计算设备包括处理器、存储器及存储在存储器上的计算机程序/指令;每个计算设备的处理器执行计算机程序/指令,以使每个计算设备实现上述第一方面提供的任意一种方法。

39、第十三方面,提供了一种计算设备集群,包括:至少一个计算设备;至少一个计算设备中的每个计算设备包括处理器、存储器及存储在存储器上的计算机程序/指令;每个计算设备的处理器执行计算机程序/指令,以使每个计算设备实现上述第二方面提供的任意一种方法。

40、第十四方面,提供了一种计算设备集群,包括:至少一个计算设备;至少一个计算设备中的每个计算设备包括处理器、存储器及存储在存储器上的计算机程序/指令;每个计算设备的处理器执行计算机程序/指令,以使每个计算设备实现上述第三方面提供的任意一种方法。

41、第十五方面,提供了一种处理器,处理器用于执行上述第一方面提供的任意一种方法。

42、第十六方面,提供了一种处理器,处理器用于执行上述第二方面提供的任意一种方法。

43、第十七方面,提供了一种处理器,处理器用于执行上述第三方面提供的任意一种方法。

44、第十八方面,提供了一种芯片,芯片包括:处理器和接口电路;接口电路,用于接收代码指令并传输至处理器;处理器,用于运行代码指令以执行上述第一方面提供的任意一种方法。

45、第十九方面,提供了一种芯片,芯片包括:处理器和接口电路;接口电路,用于接收代码指令并传输至处理器;处理器,用于运行代码指令以执行上述第二方面提供的任意一种方法。

46、第二十方面,提供了一种芯片,芯片包括:处理器和接口电路;接口电路,用于接收代码指令并传输至处理器;处理器,用于运行代码指令以执行上述第三方面提供的任意一种方法。

47、第二十一方面,提供了一种计算机可读存储介质,存储有计算机程序/指令,当计算机程序/指令在计算设备上运行时,使得计算设备执行上述第一方面提供的任意一种方法。

48、第二十二方面,提供了一种计算机可读存储介质,存储有计算机程序/指令,当计算机程序/指令在计算设备上运行时,使得计算设备执行上述第二方面提供的任意一种方法。

49、第二十三方面,提供了一种计算机可读存储介质,存储有计算机程序/指令,当计算机程序/指令在计算设备上运行时,使得计算设备执行上述第三方面提供的任意一种方法。

50、第二十四方面,提供了一种计算机程序产品,包括:计算机程序/指令,当计算机程序/指令在计算设备上运行时,使得计算设备执行上述第一方面提供的任意一种方法。

51、第二十五方面,提供了一种计算机程序产品,包括:计算机程序/指令,当计算机程序/指令在计算设备上运行时,使得计算设备执行上述第二方面提供的任意一种方法。

52、第二十六方面,提供了一种计算机程序产品,包括:计算机程序/指令,当计算机程序/指令在计算设备上运行时,使得计算设备执行上述第三方面提供的任意一种方法。

53、其中,第二方面至第二十六方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。

本文地址:https://www.jishuxx.com/zhuanli/20241106/321814.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。