基于数据查询的分析方法、设备和介质与流程

本申请涉及计算机，特别是涉及一种基于数据查询的分析方法、一种电子设备和一种计算机可读存储介质。

背景技术：

1、大数据分析背景下，各行各业对数据的重视度都在增加，期望挖掘出数据潜在的价值进而提供自身行业的发展。随着大数据平台的日渐成熟与数据处理组件的日益丰富，数据的使用门槛得到不断的降低。从最早的人工编写复杂的数据处理程序，到进一步精简的脚本语言，再到基于简单易用的结构化查询语言(structured query language，sql)来处理数据。甚至出现了各类拖拽生成数据处理流的应用平台，通过平台的一层层封装，让数据处理过程更加便捷。数据计算处理的门槛不断降低，让越来越多的人可以享受到数据处理的优势，每个用户只要简单学点sql数据处理语法，就可以快速的查询到想要的数据，从而让越来越多的用户直接参与到大数据的行列中，即时的探索和挖掘数据价值。

2、数据处理在给用户提供便利的同时，也产生的一些问题。因为通过上层应用对数据处理的简化，只是让用户不必了解数据处理的复杂过程，比如不必了解数据的存储位置及存储方式，不必了解数据的实际存储格式，也不必了解数据处理过程中的流转过程与处理过程等。但是，数据查询处理的复杂性并不会消失，而且可能会由于使用门槛的降低而更加复杂。

3、因为非数据专业相关的用户并不理解数据处理的过程，反而会随着数据使用的随意性导致数据处理的复杂度和数据处理的消耗急剧增加。例如，用户只需要查询关心的最近一周数据，却经常扫描全量历史数据进行暴力扫描过滤。或者是频繁关联数十张不同的数据大表，而结果仅仅是为了获取一个简单的汇总数据。又或者是对于一张不会出现重复单据的订单表，为了避免重复计数而盲目增加计算消耗十分高的去重操作等。复杂的以及不合理的数据查询还会导致数据查询消耗极大的增加。

技术实现思路

1、本申请实施例提供了一种基于数据查询的分析方法，减少查询的资源消耗。

2、相应的，本申请实施例还提供了一种电子设备和一种计算机可读存储介质，用以保证上述系统的实现及应用。

3、为了解决上述问题，本申请实施例公开了一种基于数据查询的分析方法，所述方法包括：

4、采集数据服务端的日志数据；

5、基于所述日志数据确定查询操作的操作树；

6、对所述操作树进行遍历，基于目标节点提取多个公共表达式；

7、对所述多个公共表达式按照合并规则进行合并，生成公共查询信息；

8、基于所述公共查询信息进行反馈。

9、可选的，所述基于所述日志数据确定查询操作的操作树，包括：

10、从所述日志数据中获取查询操作的查询逻辑信息，基于所述查询逻辑信息生成对应的操作树。

11、可选的，所述对所述操作树进行遍历，基于目标节点提取公共表达式，包括：

12、对所述操作树从底层向上层进行遍历，获取目标节点对应的子操作树；

13、基于所述子操作树，提取目标节点对应公共表达式。

14、可选的，所述对所述操作树从底层向上层进行遍历，获取目标节点对应的子操作树，包括：

15、对所述操作树从底层向上层进行遍历，若检测到节点对应的算子为目标算子，将所述目标算子对应的节点作为目标节点；

16、以目标节点为根节点从操作树中提取子操作树。

17、可选的，所述对所述操作树从底层向上层进行遍历，获取目标节点对应的子操作树，包括：

18、对所述操作树从底层向上层进行遍历；

19、当检测到节点对应算子为第一类算子时，获取所述第一类算子对应的子操作树；

20、当检测到节点对应算子为第二类算子时，获取所述第二类算子对应的子操作树，并忽略其他节点对应的算子，直到检测到叶子节点；

21、当检测到节点对应算子为第三类算子时，若之前已经检测到目标类算子，则获取所述第三类算子对应的子操作树。

22、可选的，所述基于所述子操作树确定节点对应公共表达式，包括：

23、获取所述子操作树对应的关键信息，生成标签数据；

24、读取所述子操作树，按照各节点对应的算子生成公共表达式。

25、可选的，所述对所述多个公共表达式按照合并规则进行合并，生成公共查询信息，包括：

26、对所述公共表达式进行归一化处理；

27、对归一化的两个公共表达式按照合并规则进行合并，生成公共查询信息。

28、可选的，所述对归一化的各公共表达式按照合并规则进行合并，生成公共查询信息，包括以下至少一种步骤：

29、获取两个公共表达式的源表信息，对所述源表信息进行排序并合并；

30、若两个公共表达式包括第三类算子，则对所述第三类算子的条件信息进行合并；

31、对两个公共表达式进行聚合分析，将分析得到的并集构成聚合列。

32、可选的，所述基于所述公共查询信息进行反馈，包括以下至少一种步骤：

33、基于所述公共查询信息生成查询报表，反馈所述查询报表；

34、基于所述公共查询信息生成提示信息，反馈所述提示信息；

35、基于所述公共查询信息生成对应查询操作的查询服务，反馈所述查询服务的接口信息。

36、可选的，还包括：统计各公共表达式对应的资源消耗信息和查询频率，添加到查询信息中。

37、可选的，所述对所述公共表达式进行归一化处理，包括以下至少一种步骤：

38、获取所述公共表达式的标签数据，对所述标签数据中的源表信息按照设定排序规则进行排序并合并；

39、将第一类算子和第三类算子对应的条件进行封装；

40、将遍历到的指定算子调整到表达式的顶端。

41、本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被处理器执行时，执行如本申请实施例所述的方法。

42、本申请实施例还公开了一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，执行如本申请实施例所述的方法。

43、与现有技术相比，本申请实施例包括以下优点：

44、本申请实施例中，采集数据服务端的日志数据，基于日志数据可以确定查询操作的各项信息，然后可基于所述日志数据确定查询操作的操作树，确定查询操作对应的执行逻辑，再对所述操作树进行遍历，基于目标节点提取多个公共表达式，基于执行逻辑确定查询操作的公共表达式，再对所述多个公共表达式按照合并规则进行合并，生成公共查询信息，该查询公共信息能够反应用户查询操作的各项情况，基于所述公共查询信息进行反馈，能够提供更合理的查询服务给用户，在满足用户需求的同时，降低资源消耗。

技术特征：

1.一种基于数据查询的分析方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述日志数据确定查询操作的操作树，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述操作树进行遍历，基于目标节点提取公共表达式，包括：

4.根据权利要求3所述的方法，其特征在于，所述对所述操作树从底层向上层进行遍历，获取目标节点对应的子操作树，包括：

5.根据权利要求3所述的方法，其特征在于，所述对所述操作树从底层向上层进行遍历，获取目标节点对应的子操作树，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述多个公共表达式按照合并规则进行合并，生成公共查询信息，包括：

7.根据权利要求6所述的方法，其特征在于，所述对归一化的各公共表达式按照合并规则进行合并，生成公共查询信息，包括以下至少一种步骤：

8.根据权利要求1所述的方法，其特征在于，基于所述公共查询信息进行反馈，包括以下至少一种步骤：

9.一种电子设备，包括：处理器；

10.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，执行如权利要求1-8中任一项所述的方法。

技术总结本申请实施例提供了一种基于数据查询的分析方法、设备和介质。所述方法包括：采集数据服务端的日志数据；基于所述日志数据确定查询操作的操作树；对所述操作树进行遍历，基于目标节点提取多个公共表达式；对所述多个公共表达式按照合并规则进行合并，生成公共查询信息；基于所述公共查询信息进行反馈。能够提供更合理的查询服务给用户，在满足用户需求的同时，降低资源消耗。技术研发人员：熊雨婷,张庭,章琦皓受保护的技术使用者：浙江菜鸟供应链管理有限公司技术研发日：技术公布日：2024/10/17