数据查询方法、装置、计算机设备、可读存储介质和程序产品与流程

本申请涉及大数据，特别是涉及一种数据查询方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、伴随分布式系统的飞速发展，用户和业务对分布式系统的要求越来越高，用户需要更快的访问速度来获得良好的体验，因此出现了一种新兴数据库，主要采用键值对（key-value）方式存储数据。当系统面临商品秒杀、营销推广、热点新闻等业务场景，即系统在单位时间内对一个key进行极高并发的访问，极易形成单点热key问题，此时单台数据库的性能将会受到极大冲击，甚至突破物理网卡上限造成数据库故障甚至宕机，最终会对后端关系型数据库形成极大流量冲击，从而影响整个系统的服务链路质量，甚至造成服务不可用。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够减轻数据库的访问压力的数据查询方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种数据查询方法，所述方法应用于代理集群中任一代理节点，所述方法包括：

3、周期性统计预设时间段内各索引的访问频率，并将所述访问频率发送至第一集群中，以指示所述第一集群根据各代理节点反馈的访问频率，预测热点索引，并将所述热点索引、以及对应的数据值注册至第二集群中，形成第一热点列表；

4、监听所述第二集群中的所述第一热点列表，并将所述第一热点列表缓存至本地存储空间中，形成第二热点列表；

5、在获取到客户端发送的数据查询请求的情况下，基于所述数据查询请求中携带的目标索引，在所述第二热点列表中进行查询；

6、若所述目标索引在所述第二热点列表中，则将所述本地存储空间中存储的与所述目标索引对应的目标数据值反馈至所述客户端。

7、在其中一个实施例中，所述方法还包括：

8、若所述目标索引不在所述第二热点列表中，则从数据库中读取所述目标索引对应的目标数据值，并将所述目标数据值反馈至客户端。

9、在其中一个实施例中，所述方法还包括：

10、若所述目标热点索引的访问量达到带宽上限，则对所述目标热点索引的访问进行限流。

11、在其中一个实施例中，所述方法还包括：

12、若产生针对所述第一热点列表的更新操作，则根据更新后的第一热点列表，更新所述第二热点列表，以使得更新后的第二热点列表与更新后的第一热点列表一致。

13、在其中一个实施例中，所述更新操作包括热点索引变更操作、过期操作和删除操作。

14、在其中一个实施例中，所述方法还包括：

15、将所述第二热点列表推送至所述代理集群中其他代理节点，以使得所述代理集群中所有代理节点本地存储的第二热点列表保持一致。

16、第二方面，本申请还提供了一种数据查询装置，包括：

17、热点发现模块，用于周期性统计预设时间段内各索引的访问频率，并将所述访问频率发送至第一集群中，以指示所述第一集群根据各代理节点反馈的访问频率，预测热点索引，并将所述热点索引、以及对应的数据值注册至第二集群中，形成第一热点列表；

18、热点监听模块，用于监听所述第二集群中的所述第一热点列表，并将所述第一热点列表缓存至本地存储空间中，形成第二热点列表；

19、本地查询模块，用于在获取到客户端发送的数据查询请求的情况下，基于所述数据查询请求中携带的目标索引，在所述第二热点列表中进行查询；

20、热点反馈模块，用于若所述目标索引在所述第二热点列表中，则将所述本地存储空间中存储的与所述目标索引对应的目标数据值反馈至所述客户端。

21、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述数据查询方法的步骤。

22、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据查询方法的步骤。

23、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据查询方法的步骤。

24、上述数据查询方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过代理集群中任一代理节点，周期性统计预设时间段内各索引的访问频率，各代理节点将统计的访问频率数据发送至第一集群，通过代理节点来统计索引的访问频率，减轻了服务端的压力，避免了客户端的内存泄露问题，并且通过第一集群基于各代理节点反馈的访问频率，从全局视角预测热点索引，比单一客户端或数据库自带监控命令更加准确，并且在预测热点索引的过程中，降低了热点索引规模汇总的难度，提高了数据收集和分析的效率；进一步，将预测出的热点索引及其对应的数据值注册至第二集群，形成第一热点列表，确保了热点索引的集中管理和快速访问；最后，代理节点监听第二集群中的第一热点列表，并将其缓存至本地存储空间，形成第二热点列表，当客户端发送查询请求时，可以直接从第二热点列表中进行查询，从而快速响应客户端的查询请求，并减轻数据库的访问压力。

技术特征：

1.一种数据查询方法，其特征在于，所述方法应用于代理集群中任一代理节点，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述更新操作包括热点索引变更操作、过期操作和删除操作。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

7.一种数据查询装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结本申请涉及一种数据查询方法、装置、设备、介质和程序产品，涉及大数据技术领域。所述方法包括：周期性统计预设时间段内各索引的访问频率，并将访问频率发送至第一集群中，以指示第一集群根据各代理节点反馈的访问频率，预测热点索引，并将热点索引、以及对应的数据值注册至第二集群中，形成第一热点列表；监听第二集群中的第一热点列表，并将第一热点列表缓存至本地存储空间中，形成第二热点列表；在获取到客户端发送的数据查询请求的情况下，基于数据查询请求中携带的目标索引，在第二热点列表中进行查询；若目标索引在第二热点列表中，则将本地存储空间中存储的与目标索引对应的目标数据值反馈至客户端。采用本方法能够减轻数据库的访问压力。技术研发人员：傅兵,武文斌,朱文涛,黄海鹏受保护的技术使用者：中国工商银行股份有限公司技术研发日：技术公布日：2024/8/20