数据查询方法、装置、计算机设备及可读存储介质与流程
- 国知局
- 2024-08-22 15:00:26
本技术涉及数据处理,特别是涉及一种数据查询方法、装置、计算机设备及可读存储介质。
背景技术:
1、目前,随着互联网的飞速发展和大力普及,积累的数据呈爆炸式增长。现有技术中,对所有数据以原数据存储数据库中,若上游对下游的调用频次较高,对数据库产生巨大的查询压力,可能导致数据吞吐异常,严重时会引发集群服务的雪崩,使得数据查询延迟较高,数据查询效率较低。
技术实现思路
1、有鉴于此,本技术提供了一种数据查询方法、装置、计算机设备及可读存储介质,主要目的在于解决上游对下游的调用频次较高,对数据库产生巨大的查询压力,可能导致数据吞吐异常,严重时会引发集群服务的雪崩,使得数据查询延迟较高,数据查询效率较低的问题。
2、依据本技术第一方面,提供了一种数据查询方法,该方法包括:
3、响应于数据查询请求,获取查询信息包括的多个数据项;
4、根据多个数据项和预设映射表,判断待查询数据是否存储于第一存储;
5、若是,根据多个数据项和预设映射表,生成查询表达式;
6、根据查询表达式,在第一存储中调取目标数据;
7、若否,根据多个数据项,在第二存储中调取目标数据。
8、可选地,多个数据项包括待查询数据的数据类别和至少一个查询参数,根据多个数据项和预设映射表,判断待查询数据是否存储于第一存储的步骤,具体包括:
9、将数据类别和至少一个查询参数与预设映射表进行匹配,判断预设映射表中是否包含数据类别和至少一个查询参数;
10、若是,确定待查询数据存储于第一存储;
11、若否,确定待查询数据存储于第二存储。
12、可选地,根据多个数据项和预设映射表,生成查询表达式的步骤,具体包括:
13、根据多个数据项,在预设映射表中,确定目标方法和目标参数组合;
14、根据数据类别、目标方法和目标参数组合,生成查询表达式。
15、可选地,根据多个数据项,在第二存储中调取目标数据的步骤,具体包括:
16、根据多个数据项,生成查询条件;
17、根据查询条件,在第二存储中调取存储数据;
18、获取存储数据的数据结构;
19、根据数据结构,确定目标解析规则;
20、根据目标解析规则对存储数据进行解析,生成目标数据。
21、可选地,根据多个数据项,在第二存储中调取目标数据之后,还包括:
22、根据目标数据,确定数据类型;
23、根据数据类型和预设存储规则,判断目标数据是否符合第一存储的存储条件;
24、若符合,将目标数据存储至第一存储。
25、可选地,响应于数据查询请求,获取查询信息包括的多个数据项之前,还包括:
26、接收同一时间对于待查询数据进行查询的多个数据查询请求;
27、获取多个数据查询请求的接收顺序;
28、根据接收顺序,确定多个数据查询请求的执行顺序;
29、按照执行顺序和预设执行时间,依次执行每个数据查询请求。
30、可选地,该方法还包括:
31、获取待存储的多个业务数据;
32、根据每个业务数据的数据类型,在多个业务数据中,确定满足第一存储对应的存储条件的至少一个目标业务数据;
33、根据每个目标业务数据,确定目标映射关系,其中,目标映射关系为目标业务数据的数据类别、接口方法、有效参数组合和存储期限之间的对应关系;
34、将每个目标业务数据存储至第一存储。
35、依据本技术第二方面,提供了一种数据查询装置,该装置包括:
36、获取模块,用于响应于数据查询请求,获取查询信息包括的多个数据项;
37、判断模块,用于根据多个数据项和预设映射表,判断待查询数据是否存储于第一存储;
38、生成模块,用于若是,根据多个数据项和预设映射表,生成查询表达式;
39、调取模块,用于根据查询表达式,在第一存储中调取目标数据;
40、调取模块,还用于若否,根据多个数据项,在第二存储中调取目标数据。
41、可选地,多个数据项包括待查询数据的数据类别和至少一个查询参数,判断模块,具体用于:
42、将数据类别和至少一个查询参数与预设映射表进行匹配,判断预设映射表中是否包含数据类别和至少一个查询参数;
43、若是,确定待查询数据存储于第一存储;
44、若否,确定待查询数据存储于第二存储。
45、可选地,生成模块,具体用于:
46、根据多个数据项,在预设映射表中,确定目标方法和目标参数组合;
47、根据数据类别、目标方法和目标参数组合,生成查询表达式。
48、可选地,调取模块,具体用于:
49、根据多个数据项,生成查询条件;
50、根据查询条件,在第二存储中调取存储数据;
51、获取存储数据的数据结构;
52、根据数据结构,确定目标解析规则;
53、根据目标解析规则对存储数据进行解析,生成目标数据。
54、可选地,该装置还包括:
55、确定模块,用于根据目标数据,确定数据类型。
56、可选地,判断模块,还用于根据数据类型和预设存储规则,判断目标数据是否符合第一存储的存储条件。
57、可选地,该装置还包括:
58、存储模块,用于若符合,将目标数据存储至第一存储。
59、可选地,该装置还包括:
60、接收模块,用于接收同一时间对于待查询数据进行查询的多个数据查询请求。
61、可选地,获取模块,还用于获取多个数据查询请求的接收顺序;
62、确定模块,还用于根据接收顺序,确定多个数据查询请求的执行顺序。
63、可选地,该装置还包括:
64、执行模块,用于按照执行顺序和预设执行时间,依次执行每个数据查询请求。
65、可选地,获取模块,还用于获取待存储的多个业务数据;
66、确定模块,还用于根据每个业务数据的数据类型,在多个业务数据中,确定满足第一存储对应的存储条件的至少一个目标业务数据;
67、确定模块,还用于根据每个目标业务数据,确定目标映射关系,其中,目标映射关系为目标业务数据的数据类别、接口方法、有效参数组合和存储期限之间的对应关系;
68、存储模块,还用于将每个目标业务数据存储至第一存储。
69、依据本技术第三方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面中任一项所述方法的步骤。
70、依据本技术第四方面,提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
71、借由上述技术方案,本技术提供的一种数据查询方法、装置、计算机设备及可读存储介质,相较于现有技术中,将所有数据统一存储至原数据库中,当上游调取下游数据时,只能在原数据库中的海量数据中搜索待查询数据,查询效率较低,且容易导致吞吐异常的技术问题,本技术通过将部分类型数据存储至第一存储,实现了对数据的分类存储,使得数据存储颗粒度更细致。当用户想要查询数据时,能够基于数据的类别和查询参数与第一存储的映射表中进行匹配,判断待查询数据是否存储于第一存储中,无需直接访问原数据库,以实现数据的快速查询,大大缩短了数据查询时间,提高数据查询效率的同时,确保系统的稳定运行。
72、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
本文地址:https://www.jishuxx.com/zhuanli/20240822/280759.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。