数据库同步方法、装置、电子设备和存储介质与流程

技术特征：
1.一种数据库同步方法，其特征在于，包括：任务启动步骤：启动同步任务，将所述同步任务的配置数据储存至中间件；数据采集步骤：根据所述同步任务的配置数据自源数据库采集数据；数据发送步骤：将所采集的数据发送至消息队列；数据消费步骤：由数据消费线程自所述消息队列上消费所采集的数据，其中，所述数据消费线程根据所述中间件的所述同步任务的配置数据生成；以及同步步骤：根据所采集的数据同步至目标数据库。2.如权利要求1所述的数据库同步方法，其特征在于，所述同步任务为结构迁移任务时，所述任务启动步骤为结构迁移任务启动步骤，包括：判断自所述源数据库至所述目标数据库，是否首次执行所述结构迁移任务；若是，则生成库结构同步任务以及至少一表结构同步任务；若否，则生成至少一表结构同步任务，其中，所述库结构同步任务供所述数据采集步骤自源数据库采集库创建语句，并将采集的库创建语句中的源数据库名替换为目标数据库名；所述表结构同步任务供所述数据采集步骤自源数据库采集表创建语句，并将采集的库创建语句中的源数据库的表名替换为目标数据库的表名。3.如权利要求2所述的数据库同步方法，其特征在于，所述同步任务为全量迁移任务时，所述任务启动步骤包括：判断自所述源数据库至所述目标数据库，是否首次执行所述全量迁移任务；若是，则执行所述结构迁移任务启动步骤，并生成至少一表数据同步任务；若否，则获取所生成的表数据同步任务和/或生成新的表数据同步任务，其中，一个表数据同步任务关联源数据库的一个表，所述表数据同步任务供所述数据采集步骤自源数据库采集关联表的数据。4.如权利要求3所述的数据库同步方法，其特征在于，所述表结构同步任务和/或所述表结构数据任务为多个时，所述数据消费步骤由多个数据消费线程自所述消息队列上消费所采集的数据。5.如权利要求1所述的数据库同步方法，其特征在于，所述同步任务为增量迁移任务时，所述数据采集步骤自所述源数据库采集待同步的二进制日志，所述数据发送步骤将所述待同步的二进制日志的按时间发生顺序发送至所述消息队列，所述数据消费步骤将依次自所述消息队列消费的所述待同步的二进制日志转换为数据库执行语句，以供所述同步步骤在所述目标数据库执行。6.如权利要求5所述的数据库同步方法，其特征在于，所述任务启动步骤之后，且所述数据采集步骤之前还包括：监听所述中间件储存的同步任务的配置数据；响应于所述中间件储存的同步任务的配置数据的变更触发所述数据采集步骤的执行。7.如权利要求5所述的数据库同步方法，其特征在于，所述数据采集步骤之后，且所述数据发送步骤之前还包括：按事件类型过滤和/或组装所采集的二进制日志。8.一种数据库同步装置，其特征在于，包括：
任务启动模块，配置成启动同步任务，将所述同步任务的配置数据储存至中间件；数据采集模块，配置成根据所述同步任务的配置数据自源数据库采集数据；数据发送模块，配置成将所采集的数据发送至消息队列；数据消费模块，配置成由数据消费线程自所述消息队列上消费所采集的数据，其中，所述数据消费线程根据所述中间件的所述同步任务的配置数据生成；以及同步模块，配置成根据所采集的数据同步至目标数据库。9.一种电子设备，其特征在于，包括：处理器；存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现如权利要求1-7任一项所述的数据库同步方法。10.一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被执行时实现如权利要求1-7任一项所述的数据库同步方法。

技术总结
本公开涉及互联网技术领域，提供一种数据库同步方法、装置、电子设备和存储介质。数据库同步方法包括：启动同步任务，将所述同步任务的配置数据储存至中间件；根据所述同步任务的配置数据自源数据库采集数据；将所采集的数据发送至消息队列；由数据消费线程自所述消息队列上消费所采集的数据，其中，所述数据消费线程根据所述中间件的所述同步任务的配置数据生成；以及根据所采集的数据同步至目标数据库。本公开通过同步任务的配置自源数据库至目的数据库的数据同步，实现跨网络环境及跨区域特性的适应以及定制化的数据同步操作。特性的适应以及定制化的数据同步操作。特性的适应以及定制化的数据同步操作。


技术研发人员：李来恩
受保护的技术使用者：北京电解智科技有限公司
技术研发日：2020.11.17
技术公布日：2022/5/17