基于Airflow集成元数据并管理元数据系统及工作方法与流程

本发明涉及一种元数据并管理元数据系统，具体涉及一种基于airflow集成元数据并管理元数据系统及工作方法。

背景技术：

1、元数据（metadata）是描述数据的数据，主要是描述数据属性的信息，高效可靠的元数据管理系统可以有效的对大数据进行管理，从而可以合理充分地运用大数据，解决大数据使用过程中遇到的问题。

2、如图1所示，传统的方式，各业务平台需要独立适配各种关系型数据库来获取解析元数据，存在如下问题：各业务平台因为是独立系统，使用的开发环境、语言、版本都可能不同，这种情况下需要独立适配各种关系型数据库，适配的复杂度大; 业务平台获取元数据都是最新的，在数据库如表发生了变化，业务平台获取将会是变化后的元数据，这种情况下，大部分依赖元数据进行操作的逻辑将会出现错误，应用稳定性差; 当业务平台的数量多、并发高会占用数据库大量的连接数，对数据库造成很大的压力，甚至影响oltp的操作，造成业务系统不稳定。

技术实现思路

1、针对上述现有技术存在的问题，本发明提供基于airflow集成元数据并管理元数据系统及工作方法，对各业务系统提供了统一的获取元数据的接口，且定义了统一的实体模型，各业务平台不再需要适配各种关系型数据库来获取元数据、也不需要适配各种数据库的元数据信息的差异；降低了各业务平台的复杂度，提高了业务平台的稳定性；也有效的保护了数据库的稳定性及安全性。

2、为了实现上述目的，本发明采用的技术方案是：基于airflow集成元数据并管理元数据系统，包括：

3、业务平台：通过api即可获取元数据管理平台中元数据信息，无需考虑数据库类型；

4、元数据管理平台：提供了统一的对外api和为元数据定义了统一的实体模型；配置各种关系型数据源的连接信息及配置信息，并下发集成任务给集成服务；

5、集成服务：用于校验元数据管理平台发布的集成任务是否正确；

6、集成任务：执行集成任务，并调取对应数据库中的对应的信息，

7、数据库：集成多种关系型数据库的元数据。

8、进一步的，所述集成服务为基于开源组件airflow的集成服务。

9、进一步的，基于airflow集成元数据并管理元数据系统的工作方法，包括如下步骤：

10、步骤1、启动元数据管理平台和集成服务；

11、步骤5、元数据管理平台配置各种关系型数据源的连接信息及其他配置信息；

12、步骤3、元数据管理平台下发集成任务给集成服务；

13、步骤4、集成服务校验集成任务是否正确，若正确，则将集成任务放到任务队列中等待执行，若错误，则给元数据管理平台响应任务错误的原因；

14、步骤5、集成任务执行；

15、步骤6、各业务平台统一通过http方式获取元数据信息。

16、进一步的，所述步骤5具体的：

17、步骤5.1、获取元数据信息，并解析为元数据管理平台定义的统一实体模型；

18、步骤5.2、判断当前实体如表在元数据管理平台是否存在，如果存在则获取当前实体模型em1在元数据管理平台的最新实体模型em2，比较em1和em2，如果em1等于em2，则提过该实体模型的集成，如果em1不等于em2，则将变化的内容记录到em2实体模型中，将em2传入到下一步；如果当前实体模型不存在于元数据管理管理，则直接将当前实体模型传入下一步；

19、步骤5.3、将上一步的实体模型传入到元数据管理平台。

20、本发明的有益效果是：

21、（1）统一由集成服务来适配各种关系型数据库的数据源，同时对关系型数据库定义了一套三层架构，而且元数据管理平台提供统一api对外发布各数据源的元数据信息，各业务平台只需要通过api即可获取元数据信息，无需考虑数据库类型；

22、（2）集成服务每次获取元数据信息会跟元数据平台当前保存的最新版本元数据信息进行比对，如果不一致将会插入新版本，业务平台根据需求来使用不同版本元数据，应用的稳定性高；

23、（3）定时获取各关系型数据源的元数据，用完即关，同时可将获取元数据的时间设置为数据库闲置的时间，这将保护数据库的稳定性。

技术特征：

1.基于airflow集成元数据并管理元数据系统，其特征在于，包括：

2.根据权利要求1所述的基于airflow集成元数据并管理元数据的系统，其特征在于，所述集成服务为基于开源组件airflow的集成服务。

3.根据权利要求2所述的基于airflow集成元数据并管理元数据系统的工作方法，其特征在于，包括如下步骤：

4.根据权利要求3所述的基于airflow集成元数据并管理元数据系统的工作方法，其特征在于，所述步骤5具体的：

技术总结本发明公开基于Airflow集成元数据并管理元数据系统，包括：业务平台：通过API即可获取元数据管理平台中元数据信息，无需考虑数据库类型；元数据管理平台：提供了统一的对外API和为元数据定义了统一的实体模型；配置各种关系型数据源的连接信息及配置信息，并下发集成任务给集成服务；集成服务：用于校验元数据管理平台发布的集成任务是否正确；集成任务：执行集成任务，并调取对应数据库中的对应的信息，数据库：集成多种关系型数据库的元数据；对各业务系统提供了统一的获取元数据的接口，且定义了统一的实体模型，降低了各业务平台的复杂度，提高了业务平台的稳定性；也有效的保护了数据库的稳定性及安全性。技术研发人员：郑超,谈晟,叶琳,张晔,温烨怡受保护的技术使用者：广东徐工汉云工业互联网有限公司技术研发日：技术公布日：2024/12/2