一种数据分析系统的制作方法

本发明涉及大数据领域，特别涉及一种数据分析系统。

背景技术：

1、大数据分析平台是现代社会中不可或缺的工具。随着信息技术的飞速发展，越来越多的数据被产生和积累，人们自然而然地想要从这些数据中获取有用的信息，并将其转化为决策和行动的依据。

2、现有的大数据分析平台缺少数据源支持、数据整合以及数据分析治理等功能，数据分析速度缓慢，不能及时响应日新月异的大数据变化趋势，严重影响到企业的运转效率。

技术实现思路

1、鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种数据分析系统。

2、一种数据分析系统，包括：数据源管理模块、数据整合模块、数据集管理模块、指标管理模块、数据分析模块和系统管理模块；

3、所述数据源管理模块，用于管理接入的数据源；

4、所述数据整合模块，用于执行etl过程设计和数据导入导出，以整合所述数据源的数据，其中，所述etl过程设计涉及作业定义、作业试运行、作业断点调试和作业调度管理；

5、所述数据集管理模块，用于创建并管理表格，其中，所述表格包括主题表和维表；

6、所述指标管理模块，用于进行指标管理；

7、所述数据分析模块，用于进行可视化数据分析；

8、所述系统管理模块，用于进行系统资源管理和系统内信息管理。

9、可选的，在某些可选的实施方式中，所述数据源管理模块，包括：主流数据库管理单元、自定义数据库管理单元和数据导入管理单元；

10、所述主流数据库管理单元，用于接入主流数据库，以获得所述主流数据库中的数据，其中，所述主流数据库包括关系型数据库和分布式数据库；

11、所述自定义数据库管理单元，用于根据其他数据库进行自定义改造，以获得所述其他数据库中的数据，其中，所述其他数据库是除了所述主流数据库以外的数据库；

12、所述数据导入管理单元，用于导入多种类型的文件数据。

13、可选的，在某些可选的实施方式中，所述数据整合模块，包括：作业定义单元、作业运行单元、作业调试单元、调度管理单元和数据导入导出单元；

14、所述作业定义单元，用于基于图形化的方式，定义所述etl过程设计所涉及的作业、作业间的前后继承关系和作业间的调度顺序；

15、所述作业运行单元，用于控制各所述作业运行，以获得各所述作业的运行情况；

16、所述作业调试单元，用于在各所述作业的程序代码中设置断点，以在各所述作业运行的过程中进行断点调试；

17、所述调度管理单元，用于确定作业调度组合并调度相应的作业；

18、所述数据导入导出单元，用于将数据导入作业和从作业中导出数据。

19、可选的，在某些可选的实施方式中，所述数据集管理模块，包括：主题表创建单元、数据预处理单元、表关联单元、订阅收藏单元和维表创建单元；

20、所述主题表创建单元，用于创建主题表，其中，所述主题表为记录交易的事实表；

21、所述数据预处理单元，用于对数据进行预处理，其中，所述预处理包括数据获取、数据清理、数据集成、数据转换和数据标准化；

22、所述表关联单元，用于分析多张所述主题表的关联关系，并基于所述关联关系建立新的主题表；

23、所述订阅收藏单元，用于订阅和/或收藏目标主题表；

24、所述维表创建单元，用于根据主题表，建立相应的维表，其中，所述维表是相应主题表的维度表。

25、可选的，在某些可选的实施方式中，所述主题表创建单元，包括：第一表创建子单元和第二表创建子单元；

26、所述第一表创建子单元，用于根据现有的数据库表或者数据库视图创建主题表；

27、所述第二表创建子单元，用于根据用户自定义的sql语句创建主题表。

28、可选的，在某些可选的实施方式中，所述指标管理模块，包括：指标口径单元、指标建模单元、指标固化单元和指标应用单元；

29、所述指标口径单元，用于根据现有指标进行运算，得到新指标的口径；

30、所述指标建模单元，用于对指标建立模型并将模型划分至相应的主题表；

31、所述指标固化单元，用于从作业中抽取相应指标的数据并将所述指标的数据固化至相应主题表；

32、所述指标应用单元，用于生效应用各指标。

33、可选的，在某些可选的实施方式中，所述数据分析模块，包括：报表分析单元、敏捷分析单元、报告分析单元、屏幕分析单元和移动分析单元；

34、所述报表分析单元，用于根据预先定义的分析报表，对数据进行分析；

35、所述敏捷分析单元，用于根据用户所选择的指标和维表，对数据进行分析；

36、所述报告分析单元，用于根据对数据进行分析的结果，生成报告；

37、所述屏幕分析单元，用于自定义制作图表的页面效果，并展示所述图表；

38、所述移动分析单元，用于提供远程浏览访问途经，以便于用户通过其他电子设备远程访问权限范围内的报表、报告和图表。

39、可选的，在某些可选的实施方式中，所述系统管理模块，包括：全局检索单元、公告管理单元、站内管理单元、资源备份单元、日志记录单元和系统展示单元；

40、所述全局检索单元，用于根据关键字，搜索相应的产品资源，其中，所述产品资源包括主题表、分析报表和etl过程；

41、所述公告管理单元，用于发布公共信息，其中，所述公共信息包括：新闻和待处理工作；

42、所述站内管理单元，用于接收和发送站内信息，其中，所述站内信息包括：站内消息和站内邮件；

43、所述资源备份单元，用于备份和下载系统资源；

44、所述日志记录单元，用于记录用户对系统的操作信息；

45、所述系统展示单元，用于展示系统配置和系统运行状态。

46、借由上述技术方案，本发明提供的一种数据分析系统，包括：数据源管理模块、数据整合模块、数据集管理模块、指标管理模块、数据分析模块和系统管理模块；所述数据源管理模块，用于管理接入的数据源；所述数据整合模块，用于执行etl过程设计和数据导入导出，以整合所述数据源的数据，其中，所述etl过程设计涉及作业定义、作业试运行、作业断点调试和作业调度管理；所述数据集管理模块，用于创建并管理表格，其中，所述表格包括主题表和维表；所述指标管理模块，用于进行指标管理；所述数据分析模块，用于进行可视化数据分析；所述系统管理模块，用于进行系统资源管理和系统内信息管理。由此可以看出，本发明可以对数据源进行管理、整合数据和对数据进行数据分析，功能强大且效率高。

47、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种数据分析系统，其特征在于，包括：数据源管理模块、数据整合模块、数据集管理模块、指标管理模块、数据分析模块和系统管理模块；

2.根据权利要求1所述的系统，其特征在于，所述数据源管理模块，包括：主流数据库管理单元、自定义数据库管理单元和数据导入管理单元；

3.根据权利要求1所述的系统，其特征在于，所述数据整合模块，包括：作业定义单元、作业运行单元、作业调试单元、调度管理单元和数据导入导出单元；

4.根据权利要求1所述的系统，其特征在于，所述数据集管理模块，包括：主题表创建单元、数据预处理单元、表关联单元、订阅收藏单元和维表创建单元；

5.根据权利要求4所述的系统，其特征在于，所述主题表创建单元，包括：第一表创建子单元和第二表创建子单元；

6.根据权利要求1所述的系统，其特征在于，所述指标管理模块，包括：指标口径单元、指标建模单元、指标固化单元和指标应用单元；

7.根据权利要求1所述的系统，其特征在于，所述数据分析模块，包括：报表分析单元、敏捷分析单元、报告分析单元、屏幕分析单元和移动分析单元；

8.根据权利要求1所述的系统，其特征在于，所述系统管理模块，包括：全局检索单元、公告管理单元、站内管理单元、资源备份单元、日志记录单元和系统展示单元；

技术总结本发明公开了一种数据分析系统，包括：数据源管理模块、数据整合模块、数据集管理模块、指标管理模块、数据分析模块和系统管理模块；数据源管理模块，用于管理接入的数据源；数据整合模块，用于执行ETL过程设计和数据导入导出，以整合所述数据源的数据，其中，ETL过程设计涉及作业定义、作业试运行、作业断点调试和作业调度管理；数据集管理模块，用于创建并管理表格，其中，表格包括主题表和维表；指标管理模块，用于进行指标管理；数据分析模块，用于进行可视化数据分析；系统管理模块，用于进行系统资源管理和系统内信息管理。由此可以看出，本发明可以对数据源进行管理、整合数据和对数据进行数据分析，功能强大且效率高。技术研发人员：孟慧,米晨,梁洪波,陈杨,林积微,李晓鹤受保护的技术使用者：中国人民解放军92228部队技术研发日：技术公布日：2024/10/10