一种对银行海量离线数据进行OLAP查询方法与流程

本发明涉及银行日志和业务系统领域，尤其涉及一种对银行海量离线数据进行olap查询方法。

背景技术：

1、纤维素作为大分子生物质材料，用在锂离子电池，为开发绿色、高性能电池提供了前景。对纤维素纳米晶(cnf)进行锂化后形成锂化纤维素纳米晶(li-cnf)在锂离子电池工作中起到补锂的作用，有利于提升锂离子电池的循环寿命和能量密度。

2、现有技术中主要对羧甲基纤维素进行锂化反应生成羧甲基纤维素锂(cmc-li)，并在合成过程中主要使用水溶液进行反应，羧甲基纤维素中含有少量结晶水，极大影响锂离子电池性能。

3、目前对于海量离线数据进行olap查询分析的方案多种多样，其中有的是基于内存计算原理，有的是基于预计算原理，但是对于海量明细数据查询以及多维聚合数据查询都存在响应效率慢的问题。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种对银行海量离线数据进行olap查询方法。

2、根据本发明的一个方面，提供了一种对银行海量离线数据进行olap查询方法，所述查询方法包括：

3、步骤s1：对接数据源；

4、步骤s2：对数据源表进行自定义维度建模；

5、步骤s3：全量快照处理；

6、步骤s4：对维度模型自定义聚合索引，形成多维聚合规则；

7、步骤s5：根据多维聚合规则，把数据源加载到维度模型中，形成数据明细和各种维度聚合的预计算结果；

8、步骤s6：对所述预计算结果查询并可视化展现。

9、可选的，所述步骤s1：对接数据源具体包括：对接数据源，对海量数据表分片存储。

10、可选的，所述步骤s2：对数据源表进行自定义维度建模具体包括：

11、对数据源表进行自定义维度建模，把事实表leftjoin维度表，不使用innerjoin或rightjoin，确保对事实表单表进行明细数据查询；

12、对于亿级数据量的大维度表，把维度表作为事实表单独建模，确保对亿级数据量的大维度表进行明细数据查询；

13、得到对应的维度模型，同时对海量事实表和海量维度表进行明细数据查询。

14、可选的，所述步骤s3：全量快照处理具体包括：

15、全量快照处理，把维度模型中数十万级数据量以内的小维度表进行全量快照处理，对小维度表进行明细数据查询。

16、可选的，所述步骤s4：对维度模型自定义聚合索引，形成多维聚合规则具体包括：

17、对维度模型自定义聚合索引，定义高基维为必须维度，常用维度组合定义精确索引，非常用维度组合定义兜底索引，控制索引数量，形成最终的多维聚合规则。

18、可选的，所述步骤s5：根据多维聚合规则，把数据源加载到维度模型中，形成数据明细和各种维度聚合的预计算结果具体包括：

19、根据多维聚合规则，把事实表和维度表数据加载到维度模型中，形成数据明细和各种维度聚合的预计算结果，使得对每张表的明细数据和维度模型的聚合结果进行高效查询。

20、可选的，所述步骤s6：对所述预计算结果查询并可视化展现具体包括：

21、前端页面调用apache kylin的restapi对结果值进行olap高效查询分析并可视化展现。

22、本发明提供的一种对银行海量离线数据进行olap查询方法，所述查询方法包括：步骤s1：对接数据源；步骤s2：对数据源表进行自定义维度建模；步骤s3：全量快照处理；步骤s4：对维度模型自定义聚合索引，形成多维聚合规则；步骤s5：根据多维聚合规则，把数据源加载到维度模型中，形成数据明细和各种维度聚合的预计算结果；步骤s6：对所述预计算结果查询并可视化展现。采用olap查询分析，提高了查询效率。

23、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种对银行海量离线数据进行olap查询方法，其特征在于，所述查询方法包括：

2.根据权利要求1所述的一种对银行海量离线数据进行olap查询方法，其特征在于，所述步骤s1：对接数据源具体包括：对接数据源，对海量数据表分片存储。

3.根据权利要求1所述的一种对银行海量离线数据进行olap查询方法，其特征在于，所述步骤s2：对数据源表进行自定义维度建模具体包括：

4.根据权利要求1所述的一种对银行海量离线数据进行olap查询方法，其特征在于，所述步骤s3：全量快照处理具体包括：

5.根据权利要求1所述的一种对银行海量离线数据进行olap查询方法，其特征在于，所述步骤s4：对维度模型自定义聚合索引，形成多维聚合规则具体包括：

6.根据权利要求1所述的一种对银行海量离线数据进行olap查询方法，其特征在于，所述步骤s5：根据多维聚合规则，把数据源加载到维度模型中，形成数据明细和各种维度聚合的预计算结果具体包括：

7.根据权利要求1所述的一种对银行海量离线数据进行olap查询方法，其特征在于，所述步骤s6：对所述预计算结果查询并可视化展现具体包括：

技术总结本发明提供的一种对银行海量离线数据进行OLAP查询方法，所述查询方法包括：步骤S1：对接数据源；步骤S2：对数据源表进行自定义维度建模；步骤S3：全量快照处理；步骤S4：对维度模型自定义聚合索引，形成多维聚合规则；步骤S5：根据多维聚合规则，把数据源加载到维度模型中，形成数据明细和各种维度聚合的预计算结果；步骤S6：对所述预计算结果查询并可视化展现。采用OLAP查询分析，提高了查询效率。技术研发人员：王和宏,李俊受保护的技术使用者：北银金融科技有限责任公司技术研发日：技术公布日：2024/9/12