一种基于数据模型的跨数据库数据同步方法与流程

本发明涉及数据同步，具体涉及一种基于数据模型的跨数据库数据同步方法。

背景技术：

1、当下大数据加工治理平台中，可以通过在线服务模式将数据集中处理，数据处理过程中有时需要配置处理专有的数据同步任务。但此类任务对库表结构的变更敏感，若库表结构被修改，就会导致数据同步失败；或者，异类数据源之间数据同步不支持外键检查，容易导致数据不一致，导致数据丢失。上述两个问题都无法无法满足异地异库的数据同步共享使用要求。

技术实现思路

1、有鉴于此，本发明要解决的问题是提供一种基于数据模型的跨数据库数据同步方法，即使数据库表结构变更也可正常数据同步，能够实现外键查找，提高数据的一致性。

2、为解决上述技术问题，本发明采用的技术方案是：

3、一种基于数据模型的跨数据库数据同步方法，包括，

4、步骤1，获取并解析同步任务以确定待同步的数据模型和同步信息，解析数据模型和与数据模型关联的若干外键模型以获取数据结构、外键结构、数据模型与外键模型之间的关联顺序；

5、步骤2，获取数据结构、外键结构生成结构文件，获取数据模型与外键模型之间的关联顺序生成顺序文件，获取数据模型和外键模型的数据记录生成内容文件；

6、步骤3，目标数据库接收结构文件并实例化目标数据库，接收顺序文件和内容文件，依据反向的关联顺序获取数据模型的数据记录，并写入目标数据库。

7、进一步的，所述外键模型包括一级外键模型、二级外键模型…n级外键模型，所述一级外键模型为数据模型的关联外键，二级外键模型为一级外键模型的关联外键…n级外键模型为n-1级外键模型的关联外键，其中，n表示数值，为正整数。

8、进一步的，所述解析包括：解析数据模型确定数据模型的数据结构、与数据模型关联的一级外键模型，解析一级外键模型确定一级外键结构、与一级外键模型关联的二级外键模型…解析n级外键模型确定n级外键结构。

9、进一步的，所述步骤1前包括：实例化源数据库内所有数据模型生成源数据库物理表。

10、进一步的，所述内容文件的生成过程为：检索源数据库物理表以获取数据模型和外键模型的数据记录。

11、进一步的，每修改一次数据结构均会生成一个新的数据模型，以使不同版本数据模型与数据记录对应。

12、进一步的，目标数据库接收结构文件并实例化目标数据库表包括：结构文件与目标数据库表比对，判断相对应的数据结构是否修改，是，基于结构文件实例化目标数据库表，否，不实例化目标数据库表。

13、本发明具有的优点和积极效果是：

14、(1)通过实例化数据模型以在不同类型数据库中创建物理表，将不同结构物理表抽象为统一的数据模型来表示数据结构，可对不同的数据结构进行统一认知。

15、数据模型以结构文件、顺序文件和内容文件的形式传输至目标数据库，依据结构文件确定数据目标数据库或源数据库内数据结构是否修改，依据结构文件实例化目标数据库表，使目标数据库与源数据库内的数据结构一致；依据顺序文件和内容文件自动生成数据模型并写入目标数据库，提供了接收方对数据内容的自解译能力，解决了数据库表变更问题。

16、(2)整个数据同步过程仅与数据模型的数据结构和数据内容相关，不涉及不同数据库间的语法问题，可有效的支撑不同数据源的数据同步共享。

17、(3)通过解析与数据模型或外键模型关联的外键模型，有效的解决了不支持外键检查导致的数据不一致，脏数据等问题。

技术特征：

1.一种基于数据模型的跨数据库数据同步方法，其特征在于，包括，

2.根据权利要求1所述的一种基于数据模型的跨数据库数据同步方法，其特征在于，所述外键模型包括一级外键模型、二级外键模型…n级外键模型，所述一级外键模型为数据模型的关联外键，二级外键模型为一级外键模型的关联外键…n级外键模型为n-1级外键模型的关联外键，其中，n表示数值，为正整数。

3.根据权利要求2所述的一种基于数据模型的跨数据库数据同步方法，其特征在于，所述步骤1内的解析过程包括：解析数据模型确定数据模型的数据结构、与数据模型关联的一级外键模型，解析一级外键模型确定一级外键结构、与一级外键模型关联的二级外键模型…解析n级外键模型确定n级外键结构。

4.根据权利要求1所述的一种基于数据模型的跨数据库数据同步方法，其特征在于，所述步骤1前包括：实例化源数据库内所有数据模型生成源数据库物理表。

5.根据权利要求4所述的一种基于数据模型的跨数据库数据同步方法，其特征在于，所述内容文件的生成过程为：检索源数据库物理表以获取数据模型和外键模型的数据记录。

6.根据权利要求1所述的一种基于数据模型的跨数据库数据同步方法，其特征在于，每修改一次数据结构均会生成一个新的数据模型，以使不同版本数据模型与数据记录对应。

7.根据权利要求1所述的一种基于数据模型的跨数据库数据同步方法，其特征在于，目标数据库接收结构文件并实例化目标数据库表包括：结构文件与目标数据库表比对，判断相对应的数据结构是否修改，是，基于结构文件实例化目标数据库表，否，不实例化目标数据库表。

技术总结本发明提供一种基于数据模型的跨数据库数据同步方法，包括步骤1，获取并解析同步任务以确定待同步的数据模型和同步信息，解析数据模型和与数据模型关联的若干外键模型以获取数据结构、外键结构、数据模型与外键模型之间的关联顺序；步骤2，获取数据结构、外键结构生成结构文件，获取数据模型与外键模型之间的关联顺序生成顺序文件，获取数据模型和外键模型的数据记录生成内容文件；步骤3，目标数据库接收结构文件并实例化目标数据库表，接收顺序文件和内容文件，依据反向的关联顺序获取数据模型的数据记录，并写入目标数据库表。本发明能够实现外键查找，提高数据的一致性。技术研发人员：王凡凡,王海荣,徐云龙,王元兵,姚伯祥,匡小燕,李航,唐纪元受保护的技术使用者：中科天玑数据科技股份有限公司技术研发日：技术公布日：2024/11/18