一种业务数据存储方法、设备及介质与流程

本申请涉及计算机，尤其涉及一种业务数据存储方法、设备及介质。

背景技术：

1、随着企业规模迅速扩大及企业信息化程度不断提高，会面临以下问题：首先是新增业务数据不断增加，但是历史数据一直在数据库中，占用大量存储资源，增加了企业存储资源及运维成本。其次，随着日期的推移，数据的价值也在递减，如果所有数据存储在一个数据库中，会导致企业不能有效发掘数据价值，不利于企业长期发展。最后，目前企业对于历史数据如何切割，最常见的方法是选取一个时间节点，将历史数据单独存储于硬盘或者其他文件系统，新数据重新初始化并记入数据库，但是当需要查询历史数据的时候，往往比较复杂繁琐，严重影响工作效率。

2、综上所述，需要一种更简单高效的业务数据存储的技术方案。

技术实现思路

1、本申请实施例提供一种业务数据存储方法、设备及介质，用于解决需要一种更简单高效的业务数据存储的技术方案的问题。

2、本申请实施例采用下述技术方案：

3、一方面，本申请实施例提供了一种业务数据存储方法，该方法包括：对查询请求进行解析，得到待查询业务数据；在预先构建的温度标注关系表中，检索所述待查询业务数据的温度值；所述温度标注关系表中包括每条业务数据分别对应的温度值；在预先构建的温度分区规则表中，检索所述温度值的存储分区；所述温度分区规则表中包括不同温度区间分别对应的存储分区；向所述存储分区中进行查询，得到目标业务数据。

4、一个示例中，所述对查询请求进行解析，得到待查询业务数据之前，所述方法还包括：生成存储规则库；所述存储规则库用于表示每个业务状态的业务状态温度值、不同时间区间的时效性温度值、不同浏览量区间的浏览量温度值、不同业务状态的温度系数值以及不同温度值区间的存储分区；针对数据库中的每条业务数据，在所述存储规则库中进行匹配，确定每条业务数据的业务状态温度值、时效性温度值、浏览量温度值和温度系数值；根据各自的温度系数值，对业务状态温度值、时效性温度值和浏览量温度值进行加权求和，得到每条业务数据的温度值；根据每条业务数据的温度值，生成温度标注关系表；基于所述存储规则库，确定每条业务数据的温度值的存储分区，将每条数据存储至相应的存储分区。

5、一个示例中，所述生成存储规则库，具体包括：生成业务状态温度值规则表；所述业务状态温度值规则表的字段包括业务状态名称和业务状态温度值；生成数据时效性温度值规则表；所述数据时效性温度值规则表的字段包括起始时间、结束时间和时效性温度值；生成数据浏览量温度值规则表；所述数据浏览量温度值规则表的字段包括最低浏览次数、最高浏览次数和浏览量温度值；生成维度系数规则表；所述维度系数规则表的字段包括维度名称和温度系数值；所述维度名称包括业务状态、时效性和浏览量；生成温度分区规则表；所述温度分区规则表的字段包括最低温度值、最高温度值、存储分区和存储容量。

6、一个示例中，所述方法还包括：将存储分区标记为热数据分区、温数据分区和冷数据分区；所述热数据分区的温度值高于所述温数据分区的温度值，所述温数据分区的温度值高于所述冷数据分区的温度值。

7、一个示例中，所述将每条数据存储至相应的存储分区之后，所述方法还包括：确定预热任务数据表的表结构；所述表结构的字段包括预热任务唯一标识、预热任务执行状态、需要预热执行的sql语句、预热任务开始执行时间、预热任务结束执行时间、预热任务执行频率和缓存数据保留时长；sql语句用于将冷数据分区的业务数据缓存至温数据分区；获取单条预热任务的相关信息，将所述单条预热任务的相关信息填充至所述预热任务表；根据所述预热任务表，向所述冷数据分区获取需要缓存至温数据分区的业务数据。

8、一个示例中，所述根据所述预热任务表，向所述冷数据分区获取需要缓存至温数据分区的业务数据，具体包括：针对单条预热任务，在到达预热任务开始执行时间时，按照预热任务执行频率进行sql语句查询，以向冷数据分区进行查询待缓存的业务数据，并将所述待缓存的业务数据缓存至温数据分区，在所述温数据分区生成缓存业务数据的缓存标识。

9、一个示例中，所述向所述存储分区中进行查询，得到目标业务数据，具体包括：确定待查询业务数据的存储分区具有冷数据分区；判断冷数据分区存储的业务数据在温数据分区是否具有缓存标识；若是，在温数据分区缓存的业务数据中进行查询，以得到目标业务数据。

10、一个示例中，所述在温数据分区缓存的业务数据中进行查询，以得到目标业务数据，具体包括：在温数据分区缓存的业务数据中进行查询，得到第一业务数据；确定待查询业务数据的存储分区具有热数据分区和温数据分区；在所述热数据分区中进行查询，得到第二业务数据，在所述温数据分区中进行查询，得到第三业务数据；对所述第一业务数据、所述第二业务数据和所述第三业务数据，得到目标业务数据。

11、另一方面，本申请实施例提供了一种业务数据存储设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的一种业务数据存储方法。

12、另一方面，本申请实施例提供了一种业务数据存储非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令能够执行上述任一项所述的一种业务数据存储方法。

13、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

14、能够实时对数据库中的业务数据进行标注温度值，进而基于业务数据的温度值，对业务数据进行分区存储，从而在降低存储成本的基础上，方便进行查询，提高查询效率。此外，对外提供统一的数据管理接口，数据接口对外透明，不必再关注不同温度的业务数据对应的分区及存储方式，也可以极大提升开发效率和查询效率。此外，能够实时对业务数据进行温度标注，最大化发掘业务数据的价值。

技术特征：

1.一种业务数据存储方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对查询请求进行解析，得到待查询业务数据之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述生成存储规则库，具体包括：

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述将每条数据存储至相应的存储分区之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述预热任务表，向所述冷数据分区获取需要缓存至温数据分区的业务数据，具体包括：

7.根据权利要求6所述的方法，其特征在于，所述向所述存储分区中进行查询，得到目标业务数据，具体包括：

8.根据权利要求7所述的方法，其特征在于，所述在温数据分区缓存的业务数据中进行查询，以得到目标业务数据，具体包括：

9.一种业务数据存储设备，其特征在于，包括：

10.一种业务数据存储非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令能够执行上述权利要求1-8任一项所述的一种业务数据存储方法。

技术总结本申请公开了一种业务数据存储方法、设备及介质，方法包括：对查询请求进行解析，得到待查询业务数据；在预先构建的温度标注关系表中，检索待查询业务数据的温度值；温度标注关系表中包括每条业务数据分别对应的温度值；在预先构建的温度分区规则表中，检索温度值的存储分区；温度分区规则表中包括不同温度区间分别对应的存储分区；向存储分区中进行查询，得到目标业务数据。能够实时对数据库中的业务数据进行标注温度值，进而基于业务数据的温度值，对业务数据进行分区存储，从而在降低存储成本的基础上，方便进行查询，提高查询效率。此外，能够实时对业务数据进行温度标注，最大化发掘业务数据的价值。技术研发人员：徐会,国文峰,李腾受保护的技术使用者：浪潮通用软件有限公司技术研发日：技术公布日：2024/11/18