一种数据同步系统、方法及设备与流程

本发明涉及数据同步，尤其涉及一种数据同步系统、方法及设备。

背景技术：

1、随着信息技术的不断发展，各种应用系统和数据库系统大量涌现，且这些系统和数据库中产生并存储了海量的数据，多设备、多系统及多节点之间的数据同步，互相传输的需求越来越多。同时随着同步数据量的增加，所需同步数据面向的场景也越来越丰富，如可包括数据库同步场景、离线数据源-离线数据源同步场景、实时数据源-离线数据源同步场景及实时数据源-实时数据源同步场景等。

2、当前市场中存在多种多样支持数据同步的工具，但大多工具只主要支持一种场景的数据同步，且存在如部分数据同步工具仅支持离线数据源同步，支持实时数据源同步的工具对数据源的表结构有限制，在同步后存在难以保持原有表结构，在同步后难以转变为所需同步表的数据结构，在同步过程中可能出现数据丢失等问题。且由于不同数据源之间的数据结构和格式差异巨大，往往没有统一规范，增加了不同数据源间数据同步的复杂性，使得数据同步工具在进行异构数据源间数据同步时限制较多，难以满足当前数据同步的需求。

技术实现思路

1、本发明提供了一种数据同步系统、方法及设备，通过一个数据同步系统实现多数据同步场景下不同数据源间的数据同步，提升了数据同步的便捷性。

2、第一方面，本发明实施例提供了一种数据同步系统，包括：任务生成模块和基础同步模块；

3、任务生成模块，用于接收数据同步需求，并在数据同步需求中的需求类型为基础同步类型时，将根据数据同步需求创建的基础同步任务发送至基础同步模块；

4、基础同步模块，用于根据基础同步任务确定数据接收源和数据去向源，并将由数据接收源获取的待同步数据进行处理后同步至数据去向源；

5、其中，数据接收源为实时数据源和/或离线数据源。

6、第二方面，本发明实施例还提供了一种数据同步方法，应用于本发明任意实施例提供的数据同步系统中，数据同步系统包括：任务生成模块和基础同步模块；

7、任务生成模块接收数据同步需求，并在数据同步需求中的需求类型为基础同步类型时，将根据数据同步需求创建的基础同步任务发送至基础同步模块；

8、基础同步模块根据基础同步任务确定数据接收源和数据去向源，并将由数据接收源获取的待同步数据进行处理后同步至数据去向源；

9、其中，数据接收源为实时数据源和/或离线数据源。

10、第三方面，本发明实施例还提供了一种数据同步设备，包括：

11、至少一个处理器；以及与至少一个处理器通信连接的存储器；

12、其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例提供的数据同步方法。

13、本发明实施例提供的一种数据同步系统、方法及设备，该数据同步系统包括：任务生成模块和基础同步模块；任务生成模块，用于接收数据同步需求，并在数据同步需求中的需求类型为基础同步类型时，将根据数据同步需求创建的基础同步任务发送至基础同步模块；基础同步模块，用于根据基础同步任务确定数据接收源和数据去向源，并将由数据接收源获取的待同步数据进行处理后同步至数据去向源；其中，数据接收源为实时数据源和/或离线数据源。通过采用上述技术方案，为实现不同数据同步场景下的数据同步，在所需同步的不同数据源间构建了一个作为中转的数据同步系统，并在数据同步系统中设置独立的用以针对所有基础同步任务的基础同步模块，由于该基础同步模块可同时支持实时数据和离线数据作为数据来源进行数据同步，使得不同数据来源的数据可直接接入数据同步系统中，也即通过一个基础同步模块实现了离线数据源-离线数据源同步场景、实时数据源-离线数据源同步场景及实时数据源-实时数据源同步场景下的数据同步，提升了数据同步的便捷性。

14、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据同步系统，其特征在于，包括：任务生成模块和基础同步模块；

2.根据权利要求1所述的数据同步系统，其特征在于，所述基础同步模块，包括：参数解析单元、数据来源单元、数据处理单元和数据去向单元；其中，所述数据来源单元中同时包括离线源接收插件和实时源接收插件；

3.根据权利要求2所述的数据同步系统，其特征在于，所述基础同步模块，还包括：指标统计单元和安全检测单元；

4.根据权利要求1所述的数据同步系统，其特征在于，所述任务生成模块，具体用于：

5.根据权利要求1所述的数据同步系统，其特征在于，还包括：实时同步模块；相应的，

6.根据权利要求5所述的数据同步系统，其特征在于，所述任务生成模块，具体用于：

7.根据权利要求1所述的数据同步系统，其特征在于，还包括：实时处理模块；相应的，

8.根据权利要求1所述的数据同步系统，其特征在于，还包括：网关模块；相应的，

9.一种数据同步方法，其特征在于，应用于如权利要求1-8任一所述的数据同步系统中，所述数据同步系统包括：任务生成模块和基础同步模块；所述方法包括：

10.一种数据同步设备，其特征在于，包括：

技术总结本发明实施例公开了一种数据同步系统、方法及设备，包括：任务生成模块，用于接收数据同步需求，并在数据同步需求中的需求类型为基础同步类型时，将根据数据同步需求创建的基础同步任务发送至基础同步模块；基础同步模块，用于根据基础同步任务确定数据接收源和数据去向源，并将由数据接收源获取的待同步数据进行处理后同步至数据去向源；其中，数据接收源为实时数据源和/或离线数据源。由于该基础同步模块可同时支持实时数据和离线数据作为数据来源进行数据同步，使得不同数据来源的数据可直接接入数据同步系统中，也即通过一个基础同步模块实现了离线‑离线、实时‑离线和实时‑实时数据源同步场景下的数据同步，提升了数据同步的便捷性。技术研发人员：朱斌,谢经超,杨明华受保护的技术使用者：睿视（苏州）视频科技有限公司技术研发日：技术公布日：2024/9/9