技术新讯 > 计算推算,计数设备的制造及其应用技术 > 数据处理方法、设备、可读存储介质和程序产品与流程  >  正文

数据处理方法、设备、可读存储介质和程序产品与流程

  • 国知局
  • 2025-01-10 13:30:24

本技术涉及存储,特别是涉及一种数据处理方法、设备、可读存储介质和程序产品。

背景技术:

1、在存储系统中,小块写指的是向存储介质(如硬盘驱动器、固态硬盘ssd等)写入相对较小的数据块的操作,通常是主机端节点向部署有存储系统的当前设备端节点发送小块写指令,当前设备端节点将对应的数据写入日志中,并对日志中的数据进行解析生成对应的缓存实例,再将缓存实例写入缓存中,即可响应主机端节点写入完成,接下来再将缓存中的缓存实例固化至存储介质中,完成对数据的存储。

2、在当前设备端节点发生故障时,业务中断,此时通常会启用备用设备端节点,由备用设备端节点代替当前设备端节点新建缓存实例,再将缓存实例写入缓存中,以实现缓存重建过程。

3、但是,上述方式存在缓存重建效率低的问题,进而影响业务恢复效率。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高业务恢复效率的数据处理方法、设备、可读存储介质和程序产品。

2、第一方面,本技术提供了一种数据处理方法,包括:

3、在第二节点存在故障的情况下,确定第一节点中第一日志包括的多个待缓存重建的第一数据,多个第一数据与第二节点中第二日志包括多个第二数据相同;

4、将各第一数据写入第一节点中的摆渡池中;

5、输出提示信息,提示信息用于提示缓存重建完成。

6、上述实施例中,当第二节点存在故障的情况下,作为备用的第一节点可以直接从第一日志中获取到与第二节点的第二日志中相同的待缓存重建的第一数据,第一节点将这些第一数据先写入至摆渡池后,即可输出提示缓存重建完成,主机端节点可以立刻开始下发小块写指令,缩短了缓存重建完成的周期,提高了业务恢复效率。

7、在其中一个实施例中,将各第一数据写入第一节点的内存中的摆渡池中,包括:

8、针对每个第一数据,按照预设映射方式对第一数据进行映射处理,得到第一数据对应的第一映射地址;

9、根据第一映射地址将第一数据写入摆渡池中。

10、上述实施例中,对各第一数据进行映射处理,得到各第一数据对应的第一映射地址,并按照各第一数据对应的第一映射地址将各第一数据写入至摆渡池中,使得后续可以快速利用各第一数据的第一映射地址找到各第一数据,便于第一数据的管理。

11、在其中一个实施例中,摆渡池中包括多个内存空间,根据第一映射地址将第一数据写入摆渡池中,包括:

12、将第一映射地址与各内存空间对应的映射地址进行匹配处理;

13、将第一数据写入匹配成功的映射地址对应的内存空间中。

14、上述实施例中,将摆渡池划分为多个映射地址不同的内存空间,第一节点将第一映射地址相同的第一数据写入相同的内存空间,便于后续的数据读取,提高了缓存重建的效率。

15、在其中一个实施例中,方法还包括:

16、接收主机端节点发送的写指令,写指令携带初始写入数据;

17、在未到达过渡内存清理时间的情况下,检测摆渡池是否为空,得到检测结果;

18、根据检测结果,将初始写入数据对应的缓存实例写入第一节点的缓存中。

19、上述实施例中,第一节点在执行主机端节点发送的写指令的同时,对摆渡池中的第一数据进行处理,无感缓存重建,在提高缓存重建效率的同时,提升了用户的使用体验。

20、在其中一个实施例中,根据检测结果,将初始写入数据对应的缓存实例写入第一节点的缓存中,包括:

21、若检测结果为摆渡池不为空,则按照预设映射方式对初始写入数据进行映射处理,得到初始写入数据对应的第二映射地址;

22、根据第二映射地址在摆渡池中确定第二映射地址对应的目标内存空间,并在目标内存空间不为空的情况下,将初始写入数据与目标内存空间中的目标第一数据进行匹配处理;

23、若初始写入数据与目标第一数据匹配,则在目标内存空间中删除目标第一数据,并将初始写入数据对应的缓存实例写入第一节点的缓存中。

24、上述实施例中,在摆渡池不为空的情况下,先对初始写入数据进行映射处理,从而根据映射处理的得到的第二映射地址找到目标内存空间,再检测内存空间是否为空,若不为空,再对初始写入数据与目标第一数据进行匹配,并根据匹配结果将初始写入数据对应的缓存实例写入缓存中,避免了不必要的计算资源的开销。

25、在其中一个实施例中,初始写入数据与目标第一数据匹配表征初始写入数据与目标第一数据完全相同,将初始写入数据对应的缓存实例写入第一节点的缓存中,包括:

26、根据初始写入数据生成缓存实例;

27、将缓存实例写入第一节点的缓存中。

28、上述实施例中,对于完全相同的第一数据,第一节点可以直接将摆渡池中的目标第一数据进行删除,并将初始写入数据对应的缓存实例写入第一节点的缓存中,在对初始写入数据执行写指令的同时完成了对目标第一数据的缓存重建,减少了计算资源的开销。

29、在其中一个实施例中,初始写入数据与目标第一数据匹配表征初始写入数据与目标第一数据部分相同,将初始写入数据对应的缓存实例写入第一节点的缓存中,包括:

30、根据目标第一数据中与初始写入数据不相同的部分,对初始写入数据进行补缺处理,得到目标写入数据;

31、根据目标写入数据生成缓存实例,并将缓存实例写入第一节点的缓存中。

32、上述实施例中,对于部分相同的目标第一数据,第一节点先利用目标第一数据对初始写入数据进行补缺处理,所得到目标写入数据中包括完整的目标第一数据与初始写入数据,将目标写入数据对应的缓存实例写入第一节点对应的缓存中,确保了数据的完整性。

33、在其中一个实施例中,方法还包括:

34、若初始写入数据与目标第一数据不匹配,则根据初始写入数据生成缓存实例,并将缓存实例写入第一节点的缓存中。

35、上述实施例中,对于不匹配的目标第一数据,第一节点无需对其进行处理,可以直接将初始写入数据对应的缓存实例写入缓存中,提高了数据写入的效率。

36、在其中一个实施例中,根据检测结果,将初始写入数据对应的缓存实例写入第一节点的缓存中,还包括:

37、若检测结果为摆渡池为空,则根据初始写入数据生成缓存实例,并将缓存实例写入第一节点的缓存中。

38、上述实施例中,先检测摆渡池是否为空,再进行后续的从数据处理,避免了第一节点直接根据各初始写入数据对各第一数据进行比对所导致的不必要的资源浪费。

39、在其中一个实施例中,方法还包括:

40、若到达过渡内存清理时间,则将摆渡池中的各第一数据对应的缓存实例写入第一节点的缓存中,并在摆渡池中删除各第一数据。

41、上述实施例中,在到达预设的过渡内存清理时间后,会直接对摆渡池中的第一数据进行缓存重建,避免存在遗漏的第一数据长期没有进行缓存重建,提高了数据的安全性。

42、第二方面,本技术还提供了一种数据处理装置,包括:

43、确定模块,用于在第二节点存在故障的情况下,确定第一节点中第一日志包括的多个待缓存重建的第一数据,多个第一数据与第二节点中第二日志包括多个第二数据相同;

44、过渡模块,用于将各第一数据写入第一节点中的摆渡池中;

45、提示模块,用于输出提示信息,提示信息用于提示缓存重建完成。

46、第三方面,本技术实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面的方法的步骤。

47、第四方面,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

48、第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

49、上述数据处理方法、设备、可读存储介质和程序产品,在第二节点存在故障的情况下,确定第一节点中第一日志包括的多个待缓存重建的第一数据,并将各第一数据写入第一节点中的摆渡池中,即可输出提示信息,其中,多个第一数据与第二节点中第二日志包括多个第二数据相同,提示信息用于提示缓存重建完成。这样,当第二节点存在故障的情况下,作为备用的第一节点可以直接从第一日志中获取到与第二节点的第二日志中相同的待缓存重建的第一数据,第一节点将这些第一数据先写入至摆渡池后,即可输出提示缓存重建完成,主机端节点可以立刻开始下发小块写指令,缩短了缓存重建完成的周期,提高了业务恢复效率。

本文地址:https://www.jishuxx.com/zhuanli/20250110/353562.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。