数据同步方法、装置、电子设备及可读存储介质与流程

本发明涉及数据处理，尤其涉及一种数据同步方法、装置、电子设备及可读存储介质。

背景技术：

1、对于作为线下数据库的联调环境数据库而言，在不同开发端需要在联调环境中共同测试不同的代码时，需要联调环境数据库与各个线上数据库进行数据同步，以确保各个模块能够正确地协同工作。同步的手段常采用同步工具同步方式，同步工具同步方式为使用开源的结构同步数据软件实时同步到联调环境数据库，其无法保证数据同步时线上线下表结构和数据的一致性。

技术实现思路

1、有鉴于此，本发明实施例提供了一种数据同步方法、装置、电子设备及可读存储介质，以解决数据同步过程中表结构和数据一致性无法保证的问题。

2、根据本发明的一方面，提供了一种数据同步方法，包括：

3、接收线下数据库发送的数据同步请求；

4、响应于所述数据同步请求，获取线上数据库中具备读取权限的集群信息；

5、基于所述集群信息，接收所述线下数据库选取的目标集群信息；

6、获取所述目标集群信息对应的子数据库信息和表信息，其中，每个集群均对应若干个子数据库，每个所述子数据库均对应若干个表；

7、基于所述子数据库信息和所述表信息，接收所述线下数据库选取的目标子数据库信息和目标表信息；

8、获取所述目标子数据库信息和所述目标表信息对应的权限信息；

9、根据所述权限信息确定所述线下数据库访问所述目标子数据库和所述目标表的权限；

10、在所述线下数据库不具备访问所述目标子数据库和所述目标表权限的情况下，向所述线下数据库返回无权限访问信息；

11、或者，在所述线下数据库具备访问所述目标子数据库和所述目标表权限的情况下，按照所述数据同步请求，将所述目标子数据库和所述目标表中的数据同步至所述线下数据库中。

12、可选地，在所述基于所述集群信息，接收所述线下数据库选取的目标集群信息后，还包括：

13、获取所述目标集群信息对应的配置参数信息；

14、按照所述配置参数信息构建所述线下数据库的环境参数。

15、可选地，在所述响应于所述数据同步请求，获取线上数据库中具备读取权限的集群信息前，还包括：

16、获取读取所述线上数据库中数据的第一权限；

17、将所述第一权限对应的信息存储在元数据库中，所述元数据库用于储存待同步数据的属性数据，所述属性数据包括权限数据。

18、可选地，在所述向所述线下数据库返回无权限访问信息后，还包括：

19、接收所述线下数据库的权限申请请求；

20、响应于所述权限申请请求，获取所述线上数据库的权限修改信息；

21、在所述权限修改信息为所述线下数据库具备访问所述目标子数据库和所述目标表权限的情况下，修改所述元数据库中的所述第一权限。

22、根据本发明的第二方面，提供了一种数据同步装置，包括：

23、第一接收模块，用于接收线下数据库发送的数据同步请求；

24、第一处理模块，响应于所述数据同步请求，获取线上数据库中具备读取权限的集群信息；

25、第二接收模块，用于基于所述集群信息，接收所述线下数据库选取的目标集群信息；

26、第二处理模块，用于获取所述目标集群信息对应的子数据库信息和表信息，其中，每个集群均对应若干个子数据库，每个所述子数据库均对应若干个表；

27、第三接收模块，用于基于所述子数据库信息和所述表信息，接收所述线下数据库选取的目标子数据库信息和目标表信息；

28、第三处理模块，用于获取所述目标子数据库信息和所述目标表信息对应的权限信息；

29、第四处理模块，用于根据所述权限信息确定所述线下数据库访问所述目标子数据库和所述目标表的权限；

30、第五处理模块，用于在所述线下数据库不具备访问所述目标子数据库和所述目标表权限的情况下，向所述线下数据库返回无权限访问信息；

31、第六处理模块，用于在所述线下数据库具备访问所述目标子数据库和所述目标表权限的情况下，按照所述数据同步请求，将所述目标子数据库和所述目标表中的数据同步至所述线下数据库中。

32、可选地，所述数据同步装置，还包括：

33、第四接收模块，用于获取所述目标集群信息对应的配置参数信息；

34、第七处理模块，用于按照所述配置参数信息构建所述线下数据库的环境参数。

35、可选地，所述数据同步装置，还包括：

36、第五接收模块，用于获取读取所述线上数据库中数据的第一权限；

37、第八处理模块，用于将所述第一权限对应的信息存储在元数据库中，所述元数据库用于储存待同步数据的属性数据，所述属性数据包括权限数据。

38、可选地，所述数据同步装置，还包括：

39、第六接收模块，用于接收所述线下数据库的权限申请请求；

40、第七接收模块，响应于所述权限申请请求，获取所述线上数据库的权限修改信息；

41、第九处理模块，用于在所述权限修改信息为所述线下数据库具备访问所述目标子数据库和所述目标表权限的情况下，修改所述元数据库中的所述第一权限。

42、根据本发明的第三方面，提供了一种电子设备，包括：

43、处理器；以及

44、存储程序的存储器，

45、其中，程序包括指令，指令在由处理器执行时使处理器执行根据本发明第一方面中任一项的方法。

46、根据本发明的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据本发明第一方面中任一项的方法。

47、本发明实施例中提供的一个或多个技术方案，按照数据同步请求，获取线上数据库中具备读取权限的集群信息，由线下数据库在集群信息中选取目标集群，并选取目标集群对应的目标子数据库信息和目标表信息。通过对目标子数据库和目标表进行数据同步的权限验证，保障了线上数据库中敏感数据的安全，避免线上数据库中敏感数据泄露。在验证通过后，根据数据同步请求，将目标子数据库和目标表数据同步至线下数据库中，不需要针对不同的线上数据库进行同步数据的数据统一和表结构统一，以保障数据同步过程中线上线下表结构和数据的一致性。

技术特征：

1.一种数据同步方法，其特征在于，包括：

2.根据权利要求1所述的数据同步方法，其特征在于，在所述基于所述集群信息，接收所述线下数据库选取的目标集群信息后，还包括：

3.根据权利要求1所述的数据同步方法，其特征在于，在所述响应于所述数据同步请求，获取线上数据库中具备读取权限的集群信息前，还包括：

4.根据权利要求3所述的数据同步方法，其特征在于，在所述向所述线下数据库返回无权限访问信息后，还包括：

5.一种数据同步装置，其特征在于，包括：

6.根据权利要求5所述的数据同步装置，其特征在于，所述数据同步装置，还包括：

7.根据权利要求5所述的数据同步装置，其特征在于，所述数据同步装置，还包括：

8.根据权利要求7所述的数据同步装置，其特征在于，所述数据同步装置，还包括：

9.一种电子设备，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-4中任一项所述的方法。

技术总结本发明提供一种数据同步方法、装置、电子设备及可读存储介质，按照数据同步请求，获取线上数据库中具备读取权限的集群信息，由线下数据库在集群信息中选取目标集群，并选取目标集群对应的目标子数据库信息和目标表信息。通过对目标子数据库和目标表进行数据同步的权限验证，保障了线上数据库中敏感数据的安全，避免线上数据库中敏感数据泄露。在验证通过后，根据数据同步请求，将目标子数据库和目标表数据同步至线下数据库中，不需要针对不同的线上数据库进行同步数据的数据统一和表结构统一，以保障数据同步过程中线上线下表结构和数据的一致性。技术研发人员：南方剑,陈存利,李正磊,刘畅受保护的技术使用者：度小满科技(北京)有限公司技术研发日：技术公布日：2024/12/2