数据库之间的数据同步方法、系统、电子设备及存储介质与流程

技术特征：
1.一种数据库之间的数据同步方法，其特征在于，包括：获取多个系统数据库，并获取至少一部分所述系统数据库对应的同步订阅信息，其中，所述同步订阅信息包括订阅目标标识、同步数据粒度和数据同步方式；将任一同步订阅信息确定为目标信息，将所述目标信息对应的系统数据库确定为原始数据库，根据所述目标信息的订阅目标标识对各所述系统数据库进行匹配，得到所述原始数据库对应的目标数据库；将所述目标信息的同步数据粒度确定为目标粒度，根据所述目标粒度对所述目标数据库对应的二进制日志进行监听，若所述二进制日志中产生所述目标粒度对应的增量日志，则根据所述增量日志对所述目标数据库进行数据提取，得到增量数据；根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库，使得所述原始数据库根据所述增量数据进行数据同步。2.根据权利要求1所述的方法，其特征在于，根据所述目标粒度对所述目标数据库对应的二进制日志进行监听，包括：所述系统数据库包括至少一个数据库表，所述同步数据粒度包括表数据或库数据；若所述目标粒度包括库数据，则建立所述目标数据库对应的第一监听接口，利用所述第一监听接口对所述目标数据库对应的二进制日志进行监听，并从所述目标数据库对应的二进制日志中确定所述目标数据库对应的增量日志；若所述目标粒度包括表数据，则获取所述目标粒度对应的范围标识，根据所述范围标识从所述目标数据库的数据库表中确定所述目标粒度对应的目标表，根据所述目标表建立所述目标数据库对应的第二监听接口，利用所述第二监听接口对所述目标数据库对应的二进制日志进行监听，并从所述目标数据库对应的二进制日志中确定所述目标表对应的增量日志。3.根据权利要求1所述的方法，其特征在于，根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库，包括：若所述数据同步方式包括接口请求同步，则根据预设接口信息向所述原始数据库添加同步推送接口，其中，所述预设接口信息包括接口地址和请求方式；根据所述请求方式对所述增量数据进行编码，得到同步请求；通过所述接口地址将所述同步请求发送至所述原始数据库的同步推送接口。4.根据权利要求1所述的方法，其特征在于，根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库，包括：若所述数据同步方式包括消息队列同步，则获取消息服务器；将所述增量数据发送至所述消息服务器，使得所述消息服务器在满足第一预设条件或第二预设条件时，将所述增量数据以消息队列的形式发送至所述原始数据库，其中，所述第一预设条件包括接收到所述增量数据，所述第二预设条件包括接收到所述原始数据库发送的同步请求。5.根据权利要求1所述的方法，其特征在于，根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库，包括：若所述数据同步方式包括数据库同步，则获取所述原始数据库的数据库类型，并根据所述数据库类型从预设指令模板中匹配所述数据库类型对应的同步语句模板；
将所述增量数据添加到所述同步语句模板，得到所述增量数据对应的数据同步语句；将所述数据同步语句推送至所述原始数据库，使得所述原始数据库执行所述数据同步语句。6.根据权利要求1所述的方法，其特征在于，根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库之后，所述方法还包括：响应于所述原始数据库的同步失败结果，统计失败结果次数；若所述失败结果次数大于预设失败阈值，则重新根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库。7.根据权利要求1至6任一项所述的方法，其特征在于，根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库之前，所述方法还包括：根据所述数据同步方式、所述述增量数据、所述原始数据库生成同步任务，并将所述同步任务加入预设的同步任务队列，其中，所述同步任务包括根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库；监控所述同步任务队列；若所述同步任务队列存在所述原始数据库对应的同步任务，则生成所述原始数据库对应的任务执行线程，其中，所述任务执行线程用于按照加入时间依次执行所述原始数据库对应的同步任务；若所述同步任务队列不存在所述原始数据库对应的同步任务，则清除所述原始数据库对应的任务执行线程。8.一种数据库之间的数据同步系统，其特征在于，包括：获取模块，用于获取多个系统数据库，并获取至少一部分所述系统数据库对应的同步订阅信息，其中，所述同步订阅信息包括订阅目标标识、同步数据粒度和数据同步方式；匹配模块，用于将任一同步订阅信息确定为目标信息，将所述目标信息对应的系统数据库确定为原始数据库，根据所述目标信息的订阅目标标识对各所述系统数据库进行匹配，得到所述原始数据库对应的目标数据库；提取模块，用于将所述目标信息的同步数据粒度确定为目标粒度，根据所述目标粒度对所述目标数据库对应的二进制日志进行监听，若所述二进制日志中产生所述目标粒度对应的增量日志，则根据所述增量日志对所述目标数据库进行数据提取，得到增量数据；同步模块，用于根据所述目标信息的数据同步方式将所述增量数据推送至所述原始数据库，使得所述原始数据库根据所述增量数据进行数据同步。9.一种电子设备，其特征在于，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至7任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结
本发明涉及数据同步技术领域，公开了一种数据库之间的数据同步方法、系统、电子设备及存储介质，该方法通过获取原始数据库的同步订阅信息，根据同步订阅信息中的订阅目标标识确定各原始数据库的目标数据库，根据同步订阅信息中的同步数据粒度对目标数据库对应的二进制日志进行监听，进而获取目标数据库的增量数据，通过增量数据对原始数据库进行数据同步，基于系统数据库对应的同步订阅信息确定原始数据库及其对应的目标数据库，再根据二进制日志采集目标数据库的增量数据，不仅避免重新开发用于数据同步的数据库语句，并且节约了接口与每个原始数据库之间传输链路，从而降低了数据库之间的数据同步的成本。据库之间的数据同步的成本。据库之间的数据同步的成本。


技术研发人员：王晓虎 邓春龙 彭杰 谭谈 舒润
受保护的技术使用者：浙江吉利控股集团有限公司
技术研发日：2022.09.01
技术公布日：2022/11/11