一种多源异构数据库数据同步方法、系统及存储介质与流程

本发明涉及数据同步，尤其涉及一种多源异构数据库数据同步方法、系统及存储介质。

背景技术：

1、随着大数据和云计算技术的快速发展，企业和组织在日常运营中逐渐采用多种类型的数据库系统，以满足不同的数据存储需求。关系型数据库（如mysql、postgresql）因其成熟的技术和高效的事务处理能力，广泛应用于结构化数据的存储和管理。而nosql数据库（如mongodb、cassandra）由于其灵活的架构和高扩展性，成为非结构化和半结构化数据存储的首选。在这种多源异构数据库共存的环境下，数据同步技术的需求变得尤为迫切。现有多源异构数据库数据同步方面仍存在以下缺陷：1.异构性处理不足：许多现有的数据同步工具和方法无法有效处理关系型数据库与nosql数据库之间的同步。它们通常只能处理同构数据库之间的数据同步，难以应对不同类型数据库之间的复杂数据转换和传输需求。2.复杂配置和维护：现有的etl工具和数据流同步工具配置复杂，维护成本高。用户需要编写大量的配置文件和脚本，并且在系统升级或变更时需要进行大量的调整和测试。3. 实时性不足：一些数据同步工具在处理实时数据同步时表现不佳，难以满足对实时性要求高的应用场景。例如，传统的批处理方式无法实现数据的实时更新和同步。4. 数据一致性难以保证：在多源异构数据库之间进行数据同步时，数据一致性的保证是一大挑战。现有技术在数据传输过程中容易出现数据丢失、重复或不一致的问题，影响业务的正常运行。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种多源异构数据库数据同步方法、系统及存储介质。

2、本发明的目的是通过以下技术方案来实现的：本发明第一方面提供：一种多源异构数据库数据同步方法，包括以下步骤：

3、s1：数据源配置阶段，配置数据源的数据库信息和目标数据库的数据库信息；

4、s2：数据抽取阶段，使用数据集成工具从配置好的数据源中抽取第一数据；

5、s3：数据转换阶段，对第一数据进行格式转换和数据清洗得到第二数据，所述第二数据与目标数据库的数据格式相同；

6、s4：数据加载阶段，将第二数据加载到目标数据库中，实现数据同步；

7、s5：数据一致性校验阶段，根据数据一致性校验规则对目标数据库中的第二数据和数据源中的第一数据进行校验。

8、优选的，所述的数据库信息包括数据库类型、连接信息和认证信息。

9、优选的，所述的s1：数据源配置阶段，还包括以下步骤：

10、识别目标数据库的数据库类型，包括关系型数据库和nosql数据库；

11、用户通过配置文件或图形化界面配置每个数据源的连接信息，包括数据库地址、端口号、用户名和密码；

12、根据配置的连接信息对数据源进行认证和连接测试。

13、优选的，所述的s2：数据抽取阶段，还包括以下步骤：

14、使用数据集成工具的配置文件和api接口，根据抽取策略从配置好的数据源抽取第一数据；所述抽取策略包括全量抽取、增量抽取、实时抽取；当使用增量抽取时，先配置增量标识字段；所述增量标识字段包括时间戳或自增id。

15、优选的，所述的数据清洗包括去除空值、去除重复数据，s3：数据转换阶段，还包括以下步骤：

16、将数据源的字段映射到目标数据库的字段并进行字段转换；

17、然后根据过滤条件过滤第一数据得到第二数据。

18、优选的，所述的s4：数据加载阶段，还包括以下步骤：

19、连接目标数据库，根据数据加载策略将第二数据以批量加载的方式加载到目标数据库；所述数据加载策略包括插入、更新和删除，当进行增量同步时，根据增量标识字段进行更新和插入操作。

20、优选的，所述的数据一致性校验规则包括数据行数校验、字段值校验，s5：数据一致性校验阶段，还包括以下步骤：

21、数据同步系统根据数据一致性校验规则定期或实时进行数据一致性校验并记录校验结果生成校验报告，对于为通过数据一致性校验的数据进行报警处理。

22、优选的，所述的数据集成工具为apache seatunnel。

23、本发明第二方面提供：一种多源异构数据库数据同步系统，用于实现上述任一种多源异构数据库数据同步方法，包括：

24、数据源配置模块，用于配置数据源的数据库信息和目标数据库的数据库信息；

25、数据抽取模块，用于使用数据集成工具从配置好的数据源中抽取第一数据；

26、数据转换模块，用于对第一数据进行格式转换和数据清洗得到第二数据，所述第二数据与目标数据库的数据格式相同；

27、数据加载模块，用于将第二数据加载到目标数据库中，实现数据同步；

28、数据一致性校验模块，用于根据数据一致性校验规则对目标数据库中的第二数据和数据源中的第一数据进行校验。

29、本发明第三方面提供：一种计算机可读存储介质，所述的计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现上述任一种多源异构数据库数据同步方法。

30、本发明的有益效果是：

31、1）利用apache seatunnel数据集成工具，突破了传统数据同步方法的局限性，通过高效的数据抽取、转换和加载实现了多种类型数据库之间的无缝对接。其支持实时数据同步和增量更新，不仅确保了数据的及时性和完整性，还大幅简化了用户的配置和管理工作。自动化的流程和灵活的同步策略使得系统能够适应不同规模和复杂度的数据环境，同时保证数据一致性和稳定性。这些优势不仅提升了数据管理的效率，也显著降低了运维成本，为企业在快速发展和数据需求变化中提供了可靠的技术支持，展现出广泛的应用前景和市场竞争力。

32、2）能够处理关系型数据库（如mysql、postgresql）与nosql数据库（如mongodb、cassandra）之间的数据同步，解决了异构数据库之间的数据集成难题。

33、3）提供了高度自动化的数据同步流程，从数据源配置、数据抽取、数据转换到数据加载和数据一致性校验，全过程自动化运行，减少了人工干预和维护成本。

34、4）支持实时数据同步，能够根据用户设置的策略，实现数据的实时抽取和加载，满足高实时性应用场景的需求。

35、5）在数据加载后，系统进行数据一致性校验，确保源数据库和目标数据库之间的数据一致性，提高系统的可靠性和稳定性。

技术特征：

1.一种多源异构数据库数据同步方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的多源异构数据库数据同步方法，其特征在于：所述的数据库信息包括数据库类型、连接信息和认证信息。

3.根据权利要求2所述的多源异构数据库数据同步方法，其特征在于：所述的s1：数据源配置阶段，还包括以下步骤：

4.根据权利要求1所述的多源异构数据库数据同步方法，其特征在于：所述的s2：数据抽取阶段，还包括以下步骤：

5.根据权利要求1所述的多源异构数据库数据同步方法，其特征在于：所述的数据清洗包括去除空值、去除重复数据，s3：数据转换阶段，还包括以下步骤：

6.根据权利要求1所述的多源异构数据库数据同步方法，其特征在于：所述的s4：数据加载阶段，还包括以下步骤：

7.根据权利要求1所述的多源异构数据库数据同步方法，其特征在于：所述的数据一致性校验规则包括数据行数校验、字段值校验，s5：数据一致性校验阶段，还包括以下步骤：

8.根据权利要求1-7任一项所述的多源异构数据库数据同步方法，其特征在于：所述的数据集成工具为apache seatunnel。

9.一种多源异构数据库数据同步系统，其特征在于：用于实现如权利要求1-8任一项所述的多源异构数据库数据同步方法，包括：

10.一种计算机可读存储介质，其特征在于：所述的计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1-8任一项所述的多源异构数据库数据同步方法。

技术总结本发明公开了一种多源异构数据库数据同步方法、系统及存储介质，属于数据同步技术领域。方法包括：S1：数据源配置阶段，配置数据源的数据库信息和目标数据库的数据库信息；S2：数据抽取阶段，使用数据集成工具从配置好的数据源中抽取第一数据；S3：数据转换阶段，对第一数据进行格式转换和数据清洗得到第二数据，所述第二数据与目标数据库的数据格式相同；S4：数据加载阶段，将第二数据加载到目标数据库中，实现数据同步；S5：数据一致性校验阶段，根据数据一致性校验规则对目标数据库中的第二数据和数据源中的第一数据进行校验。通过高效的数据抽取、转换和加载实现了多种类型数据库之间的无缝对接，大幅简化了用户的配置和管理工作。技术研发人员：黄敏,潘伟江,顾发林,金牛受保护的技术使用者：云南腾建科技有限公司技术研发日：技术公布日：2024/9/26