数据同步方法、装置、设备及存储介质与流程

本发明实施例涉及大数据处理，具体涉及一种数据同步方法、装置、设备及存储介质。

背景技术：

1、数据同步是指在两个或多个数据库之间，将数据从一个数据库复制到另一个数据库的过程，以保持数据库之间数据的一致性和同步。对于包括总部及多个分公司的企业而言，往往需要频繁地进行数据同步，使得有需要的一方能够获得相应的数据进行消费。

2、目前，数据同步技术主要依赖于集中式架构和定期的数据复制技术，例如，当多个分公司同步总部的数据时，需要先从总部服务端下载数据到分公司或营业部本地，通过本地工具清洗数据，再导入到本地数据库，导入数据库后才能使用数据，这种方法操作繁琐、效率低，特别是当数据文件较大时，总部与多个分公司之间跨地域传输消耗较多带宽，容易导致传输速率缓慢，无法及时同步数据。

技术实现思路

1、鉴于上述问题，本发明实施例提供了一种数据同步方法、装置、设备及存储介质，用于解决现有技术中存在的数据同步效率低且不及时的问题。

2、根据本发明实施例的一个方面，提供了一种数据同步方法，包括：

3、采集各个分支机构的数据同步需求，按照预定的多个维度级别对所述数据同步需求进行多级拆分，得到多个原子需求，其中，多个所述维度级别包括数据系统级别、数据库级别及数据表级别；

4、基于所述原子需求制定数据同步任务，分别将各个所述分支机构的同步任务打包为数据同步计划；

5、从多个预定的数据中心中确定各个所述分支机构相应的第一数据中心，其中，与所述分支机构距离最近的数据中心为所述分支机构的所述第一数据中心；

6、基于各个所述分支机构的数据同步计划，从所述第一数据中心的数据库将数据同步至相应的分支机构的数据库中。

7、在一种可选的方式中，所述基于所述原子需求制定数据同步任务之后，还包括：

8、基于所述原子需求，从所述第一数据中心的数据库中确定出多个第一数据表的第一表结构信息；

9、基于所述原子需求，获取预存的多个第二数据表的第二表结构信息；

10、将所述第一表结构信息与所述第二表结构信息进行对比，根据比对结果确定是否对各个所述分支机构的数据表进行标准化处理，所述标准化处理包括表创建及表结构更新的其中之一；

11、所述分别将各个所述分支机构的同步任务打包为数据同步计划之后，还包括：

12、确定各个所述分支机构的数据库的运行状态，当各个所述分支机构的数据库的运行状态为正常运行状态时，执行数据同步的操作。

13、在一种可选的方式中，所述基于所述原子需求制定数据同步任务之后，还包括：

14、配置所述数据同步任务的多个任务节点，基于多个所述任务节点对所述数据同步任务进行监控；

15、所述分别将各个所述分支机构的同步任务打包为数据同步计划之后，还包括：

16、配置所述数据同步计划的多个计划节点，基于多个所述计划节点对所述数据同步计划进行监控。

17、在一种可选的方式中，所述方法还包括：

18、生成多个所述任务节点及多个所述计划节点的执行日志，并可视化输出所述执行日志。

19、在一种可选的方式中，所述方法还包括：

20、在数据同步过程中，监测所述第一数据中心的机房是否出现异常；

21、若是，则由所述第一数据中心切换至第二数据中心，以从所述第二数据中心将数据同步至所述第一数据中心相应的分支机构的数据库中，其中，与所述相应的分支机构距离次近的数据中心为所述相应的分支机构的第二数据中心。

22、在一种可选的方式中，所述方法还包括：

23、在数据同步过程中，提取所述第一数据中心的数据库的操作日志，基于所述操作日志确定所述第一数据中心的数据库的数据变更操作；

24、若所述数据变更操作所变更的数据为当前同步的数据，则生成所述数据变更操作对应的变更消息，将所述变更消息发送给相应的分支机构的数据库。

25、在一种可选的方式中，所述方法还包括：

26、在数据同步过程中，开启提取进程，基于所述提取进程提取所述第一数据中心的数据库的数据变化信息，将所述数据变化信息写入轨迹文件；

27、开启投递进程，基于所述投递进程将所述轨迹文件发送给相应的分支机构的数据库。

28、根据本发明实施例的另一方面，提供了一种数据同步装置，包括：

29、拆分模块，用于采集各个分支机构的数据同步需求，按照预定的多个维度级别对所述数据同步需求进行多级拆分，得到多个原子需求，其中，多个所述维度级别包括数据系统级别、数据库级别及数据表级别；

30、制定模块，用于基于所述原子需求制定数据同步任务，分别将各个所述分支机构的同步任务打包为数据同步计划；

31、确定模块，用于从多个预定的数据中心中确定各个所述分支机构相应的第一数据中心，其中，与所述分支机构距离最近的数据中心为所述分支机构的所述第一数据中心；

32、同步模块，用于基于各个所述分支机构的数据同步计划，从所述第一数据中心的数据库将数据同步至相应的分支机构的数据库中。

33、根据本发明实施例的又一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

34、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的方法。

35、根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算机设备上运行时，使得计算机设备执行如上所述的方法。

36、本发明实施例仅需要在总机构的数据中心进行相关操作，无需在分支机构进行任何操作，通过在总机构进行数据同步需求的拆分、任务的制定及计划的打包及确定距离最近的数据中心，能够使得多个分支机构同时、有序地同步总机构的数据，简化数据同步操作，数据同步高效，且能够及时同步数据。

37、上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种数据同步方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述原子需求制定数据同步任务之后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述原子需求制定数据同步任务之后，还包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种数据同步装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在计算机设备上运行时，使得计算机设备执行如权利要求1-7任意一项所述的方法。

技术总结本发明实施例涉及大数据处理技术领域，公开了一种数据同步方法、装置、设备及存储介质，该方法包括：采集各个分支机构的数据同步需求，按照预定的多个维度级别对数据同步需求进行多级拆分，得到多个原子需求，其中，多个维度级别包括数据系统级别、数据库级别及数据表级别；基于原子需求制定数据同步任务，分别将各个分支机构的同步任务打包为数据同步计划；从多个预定的数据中心中确定各个分支机构相应的第一数据中心，其中，与分支机构距离最近的数据中心为分支机构的第一数据中心；基于各个分支机构的数据同步计划，从第一数据中心的数据库将数据同步至相应的分支机构的数据库中。通过上述方式，本发明实施例能够高效、及时地同步数据。技术研发人员：展磊,王海荣,杨阳,关平,李全受保护的技术使用者：国信证券股份有限公司技术研发日：技术公布日：2025/1/6