数据的存储方法及装置、非易失性存储介质、电子设备与流程

本技术涉及大数据存储，具体而言，涉及一种数据的存储方法及装置、非易失性存储介质、电子设备。

背景技术：

1、相关技术中，大数据场景中的数据冷热分离存储策略往往依赖于预设的配置，用户需要根据不同目录来设置不同的分配策略，数据依据对应策略被存储到不同的硬盘存储设备中。但上述方式在实际应用中存在一定局限性：1)在真实的生产环境中，难以事先准确预测冷数据与热数据的分类及其各自所占的比例，如果数据存储在如固态硬盘(solidstate drive，ssd)和硬盘驱动器(hard disk drive，hdd)这类固定的盘符，后期扩展存储容量和调整存储策略将十分困难，因此，存在冷热数据迁移困难的问题。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种数据的存储方法及装置、非易失性存储介质、电子设备，以至少解决由于相关技术无法自动化进行冷热数据迁移的技术问题。

2、根据本技术实施例的一个方面，提供了一种数据的存储方法，包括：接收待存储数据，并获取待存储数据的访问信息，其中，访问信息包括：访问待存储数据的通信协议、待存储数据的访问时间；根据访问时间确定待存储数据的类型，并根据通信协议确定查询位置，其中，查询位置用于记载待存储数据的原始存储对象，待存储数据的类型包括：冷数据和热数据；在查询位置查询得到待存储数据的原始存储对象，并根据待存储数据的类型和原始存储对象的类型确定是否需要修改待存储数据的原始存储路径；在确定需要修改原始存储路径的情况下，执行与待存储数据的类型对应的修改策略，其中，修改策略用于修改存储路径，不同类型的待存储数据对应的修改策略不同。

3、可选地，根据访问时间确定待存储数据的类型，包括：确定待存储数据对应的多个访问时间中与当前时间距离最近的目标访问时间；确定目标访问时间与当前时间的时间差；在时间差小于或者等于第一预设值的情况下，确定待存储数据为热数据，其中，第一预设值为热数据响应时长的平均值；在时间差大于或者等于第二预设值，并且小于或者等于第三预设值的情况下，确定待存储数据为冷数据，其中，第二预设值为冷数据最短响应时长的平均值，第三预设值为冷数据最长响应时长的平均值，第二预设值大于第一预设值，第三预设值大于第二预设值。

4、可选地，通信协议包括：分布式文件系统hdfs采用的第一类通信协议、云环境文件系统jfs采用的第二类通信协议，根据通信协议确定询查询位置，包括：在通信协议为第一类通信协议的情况下，确定查询位置为hdfs的命名节点namenode；在通信协议为第二类通信协议的情况下，确定查询位置为jfs的键值数据库。

5、可选地，原始存储对象的类型包括：用于组成热集群的高性能存储设备、用于组成冷集群的高容量存储设备，其中，高性能存储设备是数据读写速度大于预设速度的存储设备，高容量存储设备是数据存储容量大于预设容量的存储设备；根据类型和原始存储对象的类型确定是否修改待存储数据的原始存储路径，包括：在待存储数据的类型为冷数据，且原始存储对象的类型为高性能存储设备的情况下，确定需要修改原始存储路径；在待存储数据的类型为热数据，且原始存储对象的类型为高性能存储设备的情况下，确定不需要修改原始存储路径；在待存储数据的类型为冷数据，且原始存储对象的类型为高容量存储设备的情况下，确定不需要修改原始存储路径；在待存储数据的类型为热数据，且原始存储对象的类型为高容量存储设备的情况下，确定需要修改原始存储路径。

6、可选地，执行与类型对应的修改策略，包括：执行与冷数据对应的第一类修改策略，其中，第一类修改策略指示将原始存储路径修改为指向高容量存储设备的第一存储路径；执行与热数据对应的第二类修改策略，其中，第二类修改策略指示将原始存储路径修改为指向高性能存储设备的第二存储路径。

7、可选地，原始存储对象的类型还包括：用于组成冷集群的旧存储设备，其中，旧存储设备是应用时长大于预设时长的存储设备；根据类型和原始存储对象的类型确定是否修改待存储数据的原始存储路径，还包括：在待存储数据的类型为冷数据，且原始存储对象为旧存储设备的情况下，确定不需要修改原始存储路径。

8、可选地，执行与待存储数据的类型对应的修改策略，还包括：执行与冷数据对应的第三类修改策略，其中，第三类修改策略指示将原始存储路径修改为指向旧存储设备的第三存储路径。

9、可选地，数据的存储方法还包括：按照预设频率获取目标存储对象的快照，其中，目标存储对象用于存储热数据，第一次获取的快照用于记录目标存储对象的全部数据，除第一次以外获取的快照用于记录目标存储对象相对于上一个快照生成时刻的增量数据；将快照存储在冷集群中，其中，冷集群是由多个用于存储冷数据的存储对象组成的集群。

10、根据本技术实施例的另一方面，还提供了一种数据的存储装置，包括：接收模块，用于接收待存储数据，并获取待存储数据的访问信息，其中，访问信息包括：访问待存储数据的通信协议、待存储数据的访问时间；第一确定模块，用于根据访问时间确定待存储数据的类型，并根据通信协议确定查询位置，其中，查询位置用于记载待存储数据的原始存储对象，待存储数据的类型包括：冷数据和热数据；第二确定模块，用于在查询位置查询得到待存储数据的原始存储对象，并根据待存储数据的类型和原始存储对象的类型确定是否需要修改待存储数据的原始存储路径；执行模块，用于在确定需要修改原始存储路径的情况下，执行与待存储数据的类型对应的修改策略，其中，修改策略用于修改存储路径，不同类型的待存储数据对应的修改策略不同。

11、根据本技术实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有计算机程序，其中，在非易失性存储介质所在设备通过运行计算机程序执行上述的数据的存储方法。

12、根据本技术实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为通过计算机程序执行上述的数据的存储方法。

13、根据本技术实施例的另一方面，还提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现上述的数据的存储方法的步骤。

14、在本技术实施例中，采用接收待存储数据，并获取待存储数据的访问信息，其中，访问信息包括：访问待存储数据的通信协议、待存储数据的访问时间；根据访问时间确定待存储数据的类型，并根据通信协议确定查询位置，其中，查询位置用于记载待存储数据的原始存储对象，待存储数据的类型包括：冷数据和热数据；在查询位置查询得到待存储数据的原始存储对象，并根据待存储数据的类型和原始存储对象的类型确定是否需要修改待存储数据的原始存储路径；在确定需要修改原始存储路径的情况下，执行与待存储数据的类型对应的修改策略，其中，修改策略用于修改存储路径，不同类型的待存储数据对应的修改策略不同的方式，通过统一命名空间集中管理冷热数据，在接收数据时直接识别数据的类型，通过修改其存储路径的方式修改用于存储该数据的存储对象，达到了自动迁移数据的目的，实现了在用户无感知的情况下进行数据迁移的技术效果，进而解决了由于相关技术无法自动化进行冷热数据迁移技术问题。