基于潘多拉指标的数据查询方法、装置、设备及存储介质与流程

本发明涉及金融科技，尤其涉及基于潘多拉指标的数据查询方法、装置、设备及存储介质。

背景技术：

1、在金融领域等大数据分析平台潘多拉指标中，存在数据量超亿级别的预构建模型，如订单流水指标，行为发生指标的原子、复杂派生构建，在应用到平台的智能分析报表，对外指标查询接口，以及移动端报表的查询时，需要稳定大批量的查询支持和稳定的数据分析，而现有的数据查询方式对于大数据的查询方式十分繁琐，无法做到大数据查询结果快速稳定的输出。

技术实现思路

1、有鉴于此，本发明的目的是为了克服现有技术中的不足，提供基于潘多拉指标的数据查询方法、装置、设备及存储介质。

2、本发明提供如下技术方案：

3、第一方面，本申请提供了基于潘多拉指标的数据查询方法，包括：

4、获取查询请求，根据所述查询请求建立查询父线程，并根据所述查询请求的批次创建批次编号；

5、在所述查询父线程中创建查询子线程，通过所述查询子线程判断是否需要进行联机分析处理引擎查询；

6、若需要进行联机分析处理引擎查询，则将所述查询请求划分为多个分批查询请求；

7、基于所述分批查询请求的时间窗口，根据所述批次编号判断同一个分批查询请求是否为同一批次的查询请求；

8、若为同一批次的查询请求，则根据第一查询策略进行查询，并在查询超过第一时间后返回第一查询结果；

9、若不为同一批次的查询请求，则根据第二查询策略进行查询，并在查询超过第二时间后返回第二查询结果。

10、一种实施方式中，所述通过所述查询子线程判断是否需要进行联机分析处理引擎查询，包括：

11、根据查询请求的密码散列函数和待查询数据生成键值对，将所述键值对存储在本地缓存和分布式缓存中；

12、通过所述查询子线程查询所述本地缓存或分布式缓存，若查询到与所述查询请求对应的目标键值对，则直接返回所述目标键值对；

13、若未查询到所述目标键值对，则进行所述联机分析处理引擎查询。

14、一种实施方式中，所述基于所述分批查询请求的时间窗口，根据所述批次编号判断同一个分批查询请求是否为同一批次的查询请求，包括：

15、将所述分批查询请求划分为多个周期，根据所述批次编号，判断同一个周期内的目标查询请求是否为同一批次的查询请求。

16、一种实施方式中，所述若为同一批次的查询请求，则根据第一查询策略进行查询，包括：

17、若同一个周期内的所述目标查询请求为同一批次的查询请求，则判断是否存在相同查询；

18、若存在相同查询，则将所述相同查询根据进入查询队列的时间顺序，进行数据查询等待。

19、一种实施方式中，所述判断是否存在相同查询，包括：

20、若不存在相同查询，则将所述查询队列划分为核心队列和等待队列；

21、按照查询请求的时间顺序，将所述查询请求列入所述等待队列，并将所述等待队列中的查询请求按照第一容量，分批输入至所述核心队列；

22、所述核心队列按照所述第一容量，分批将所述查询提交给所述联机分析处理引擎，所述第一容量为所述核心队列的查询最大数量。

23、一种实施方式中，所述在查询超过第一时间后返回第一查询结果，包括：

24、若不存在相同查询，则设定所述等待队列的第一等待时间，和所述核心队列的第一查询时间，将所述第一等待时间和所述第一查询时间的和作为所述第一时间；

25、若查询超过所述第一时间，则所述查询父线程停止等待并返回异常，所述查询子线程继续执行查询。

26、一种实施方式中，所述若不为同一批次的查询请求，则根据第二查询策略进行查询，并在查询超过第二时间后返回第二查询结果，包括：

27、若不为同一批次的查询请求，则确定查询队列的第二等待时间和所述联机分析处理引擎的第二查询时间；将所述第二等待时间和所述第二查询时间的和作为所述第二时间；

28、若查询超过所述第二时间，则返回异常并进行下一批次查询。

29、第二方面，本申请提供了基于潘多拉指标的数据查询装置，包括：

30、获取模块，用于获取查询请求，根据所述查询请求建立查询父线程，并根据所述查询请求的批次创建批次编号；

31、创建模块，用于在所述查询父线程中创建查询子线程，通过所述查询子线程判断是否需要进行联机分析处理引擎查询；

32、划分模块，用于若需要进行联机分析处理引擎查询，则将所述查询请求划分为多个分批查询请求；

33、判断模块，用于基于所述分批查询请求的时间窗口，根据所述批次编号判断同一个分批查询请求是否为同一批次的查询请求；

34、第一查询模块，用于若为同一批次的查询请求，则根据第一查询策略进行查询，并在查询超过第一时间后返回第一查询结果；

35、第二查询模块，用于若不为同一批次的查询请求，则根据第二查询策略进行查询，并在查询超过第二时间后返回第二查询结果。

36、第三方面，本申请提供了一种计算机设备，所述计算机设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施如第一方面所述的基于潘多拉指标的数据查询方法。

37、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如第一方面所述的基于潘多拉指标的数据查询方法。

38、本发明的实施例具有如下有益效果：

39、本发明提供的基于潘多拉指标的数据查询方法，采用的统一指标查询引擎策略，根据业务场景和数据时间窗口动态计算，可以有策略的进行数据快速分析和对外api的数据输出，在此基础上能快速展示用户所需要的加工数据和分析数据，高效对比数据。做出更快的决策等等，这能够帮助企业改善数据分析方式，提高数据加工效率和展示能力。

40、为使本发明的上述目的、特征和优点能更明显和易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

技术特征：

1.基于潘多拉指标的数据查询方法，其特征在于，包括：

2.根据权利要求1所述的基于潘多拉指标的数据查询方法，其特征在于，所述通过所述查询子线程判断是否需要进行联机分析处理引擎查询，包括：

3.根据权利要求1所述的基于潘多拉指标的数据查询方法，其特征在于，所述基于所述分批查询请求的时间窗口，根据所述批次编号判断同一个分批查询请求是否为同一批次的查询请求，包括：

4.根据权利要求3所述的基于潘多拉指标的数据查询方法，其特征在于，所述若为同一批次的查询请求，则根据第一查询策略进行查询，包括：

5.根据权利要求4所述的基于潘多拉指标的数据查询方法，其特征在于，所述判断是否存在相同查询，包括：

6.根据权利要求5所述的基于潘多拉指标的数据查询方法，其特征在于，所述在查询超过第一时间后返回第一查询结果，包括：

7.根据权利要求6所述的基于潘多拉指标的数据查询方法，其特征在于，所述若不为同一批次的查询请求，则根据第二查询策略进行查询，并在查询超过第二时间后返回第二查询结果，包括：

8.基于潘多拉指标的数据查询装置，其特征在于，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施如权利要求1至7中任一项所述的基于潘多拉指标的数据查询方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如权利要求1至7中任一项所述的基于潘多拉指标的数据查询方法。

技术总结本发明提供基于潘多拉指标的数据查询方法、装置、设备及存储介质，方法包括：获取查询请求，根据查询请求建立查询父线程和批次编号；在查询父线程中创建查询子线程，通过查询子线程判断是否需要进行联机分析处理引擎查询；若需要进行联机分析处理引擎查询，则将查询请求划分为多个分批查询请求；基于分批查询请求的时间窗口，根据批次编号判断同一个分批查询请求是否为同一批次的查询请求；若为同一批次的查询请求，则根据第一查询策略进行查询，并在查询超过第一时间后返回第一查询结果；若不为同一批次的查询请求，则根据第二查询策略进行查询，并在查询超过第二时间后返回第二查询结果。本发明可以提高查询速度，实现数据快速分析和数据输出。技术研发人员：王博文受保护的技术使用者：平安银行股份有限公司技术研发日：技术公布日：2024/9/17