数据迁移方法、装置、设备、存储介质以及产品与流程

本申请涉及数据处理，尤其涉及一种数据迁移方法、装置、设备、存储介质以及产品。

背景技术：

1、在企业大数据应用场景中，经常需要实施数据在不同平台和异构数据库之间迁移，目前主要应用在捕获数据库数据变更场景的技术cdc(change data capture，增量数据捕捉)，基于数据库日志进行实时数据迁移，提供了可保持事务完整性的数据复制，为客户在数据迁移、数据整合、数据同步、动态数据仓库、主数据管理以及实时bi分析等应用中提供了比较完整的解决方案。

2、cdc进行数据迁移前需要进行迁移对象配置，将源数据库的数据库对象转换为目标数据库可执行的ddl(data definition language，数据库模式定义语言)，然后在不停止应用的情况下开始ddl目标库执行，进行源数据库到目标数据库的全量数据复制。针对增量数据，复制开始时间点到全量复制结束时的增量数据追平，以及源数据库全量复制结束后新增的数据实时同步到目标库。

3、cdc技术支持对单表数据迁移时进行表级别的字段名映射、去空格处理、空串转null值处理，但是无法应对多表关联数据迁移以及单表数据分表迁移的复杂场景，当两张不同结构的数据表需要合并数据迁移到一张新表中，或者一张大数据表需要根据定制化规则进行数据划分，分别迁移到多张新的数据表中时，cdc技术并不能提供有效应对方案，后续只能依赖程序开发实现数据迁移，而在程序中实现一套定制化逻辑限制了工具功能的扩展性，不同的数据融合/拆分方案则需要开发多套程序支持数据迁移，从成本和效率考虑并不能满足企业要求。

4、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本申请的主要目的在于提供一种数据迁移方法、装置、设备、存储介质以及计算机程序产品，旨在提高大数据量迁移场景下数据迁移的时效性、准确性和完整性。

2、为实现上述目的，本申请提出一种数据迁移方法，所述的方法包括：

3、从预配置的迁移任务表中获取目标数据迁移任务；

4、确定所述目标数据迁移任务对应的源数据集和目标数据集；

5、根据预设的迁移前置处理策略对所述源数据集进行迁移前置处理，得到待迁移数据集；

6、基于预设的配置化迁移脚本将所述待迁移数据集迁移至所述目标数据集。

7、在一实施例中，所述方法还包括：

8、获取所述目标数据迁移任务对应的迁移任务配置表；

9、根据所述迁移任务配置表确认所述源数据集和目标数据集的迁移映射关系；

10、所述基于预设的配置化迁移脚本将所述待迁移数据集迁移至所述目标数据集的步骤包括：

11、基于预设的配置化迁移脚本，根据所述迁移映射关系将所述待迁移数据集迁移至所述目标数据集。

12、在一实施例中，所述根据预设的迁移前置处理策略对所述源数据集进行迁移前置处理，得到待迁移数据集的步骤包括：

13、根据所述迁移任务配置表确定所述目标数据迁移任务的数据迁移类型；

14、根据所述数据迁移类型对所述源数据集进行数据抽离，得到源迁移数据集；

15、对所述源迁移数据集进行数据预处理，得到待迁移数据集。

16、在一实施例中，所述迁移任务配置表配置有数据抽离脚本，所述数据迁移类型包括多表聚合迁移和单表分离迁移，所述根据所述数据迁移类型对所述源数据集进行数据抽离，得到源迁移数据集的步骤包括：

17、若所述数据迁移类型为所述多表聚合迁移，则确定所述源数据集对应的若干聚合数据表；

18、通过所述数据抽离脚本对所述若干聚合数据表进行聚合查询，并抽离所述若干聚合数据表中的若干聚合数据字段形成源迁移数据集；

19、若所述迁移类型为单表分离迁移，则确定所述源数据集对应的分离数据表；

20、通过所述数据抽离脚本对所述分离数据表进行分离查询，并抽离所述分离数据表中的若干分离数据字段形成源迁移数据集。

21、在一实施例中，所述源迁移数据集中包括若干源迁移数据，所述对所述源迁移数据集进行数据预处理，得到待迁移数据集的步骤包括：

22、建立所述目标数据迁移任务对应的数据迁移队列和若干数据迁移线程；

23、将所述源迁移数据存入所述数据迁移队列；

24、根据预设的线程处理量阈值，通过所述若干数据迁移线程对所述数据迁移队列中的源迁移数据进行数据分片，得到分片数据集；

25、对所述分片数据集进行数据前置处理，得到待迁移数据集。

26、在一实施例中，所述对所述分片数据集进行数据前置处理，得到待迁移数据集的步骤包括：

27、获取所述迁移任务配置表中配置的前置处理函数；

28、对所述分片数据集进行数据合法性校验和数据完整性校验；

29、根据所述前置处理函数对所述分片数据集进行合法化处理和完整化处理，得到待迁移数据集。

30、此外，为实现上述目的，本申请还提出一种数据迁移装置，所述数据迁移装置包括：

31、获取模块，用于从预配置的迁移任务表中获取目标数据迁移任务；

32、确定模块，用于确定所述目标数据迁移任务对应的源数据集和目标数据集；

33、处理模块，用于根据预设的迁移前置处理策略对所述源数据集进行迁移前置处理，得到待迁移数据集；

34、迁移模块，用于基于预设的配置化迁移脚本将所述待迁移数据集迁移至所述目标数据集。

35、此外，为实现上述目的，本申请还提出一种数据迁移设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的数据迁移方法的步骤。

36、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据迁移方法的步骤。

37、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据迁移方法的步骤。

38、本申请提出的一个或多个技术方案，通过从预配置的迁移任务表中获取目标数据迁移任务；确定所述目标数据迁移任务对应的源数据集和目标数据集；根据预设的迁移前置处理策略对所述源数据集进行迁移前置处理，得到待迁移数据集；基于预设的配置化迁移脚本将所述待迁移数据集迁移至所述目标数据集，通过上述方法，具体通过预设的迁移前置处理策略，对源数据进行迁移前置处理后，通过配置化迁移脚本进行定制化数据迁移，在保证大量数据迁移的时效性、数据准确性和数据完整性的基础上，针对多表数据聚合迁移以及单表数据分表迁移提供灵活的配置化解决方案。

技术特征：

1.一种数据迁移方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

3.如权利要求2所述的方法，其特征在于，所述根据预设的迁移前置处理策略对所述源数据集进行迁移前置处理，得到待迁移数据集的步骤包括：

4.如权利要求3所述的方法，其特征在于，所述迁移任务配置表配置有数据抽离脚本，所述数据迁移类型包括多表聚合迁移和单表分离迁移，所述根据所述数据迁移类型对所述源数据集进行数据抽离，得到源迁移数据集的步骤包括：

5.如权利要求4所述的方法，其特征在于，所述源迁移数据集中包括若干源迁移数据，所述对所述源迁移数据集进行数据预处理，得到待迁移数据集的步骤包括：

6.如权利要求5所述的方法，其特征在于，所述对所述分片数据集进行数据前置处理，得到待迁移数据集的步骤包括：

7.一种数据迁移装置，其特征在于，所述装置包括：

8.一种数据迁移设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至6中任一项所述的数据迁移方法的步骤。

9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据迁移方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据迁移方法的步骤。

技术总结本申请公开了一种，涉及数据处理技术领域，方法通过从预配置的迁移任务表中获取目标数据迁移任务；确定所述目标数据迁移任务对应的源数据集和目标数据集；根据预设的迁移前置处理策略对所述源数据集进行迁移前置处理，得到待迁移数据集；基于预设的配置化迁移脚本将所述待迁移数据集迁移至所述目标数据集，通过上述方法，具体通过预设的迁移前置处理策略，对源数据进行迁移前置处理后，通过配置化迁移脚本进行定制化数据迁移，在保证大量数据迁移的时效性、数据准确性和数据完整性的基础上，针对多表数据聚合迁移以及单表数据分表迁移提供灵活的配置化解决方案。技术研发人员：雷亮,罗灏,闵村保,马超,王平受保护的技术使用者：招商银行股份有限公司技术研发日：技术公布日：2024/8/27