基于数据对照表的多源数据一致性处理方法与流程

本技术涉及大数据，特别是涉及一种基于数据对照表的多源数据一致性处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着大数据技术的发展，多源数据的管理和整合需求日益增长。为了满足这一需求，主数据管理（mdm）技术应运而生。主数据管理技术能够提供统一的数据视图，但在实际应用中，如何确保多个源系统与主数据平台之间的数据一致性成为了一个重要的研究方向。

2、传统技术通常是通过人工比对和核查的方式，进行多源数据一致性处理；但是，通过该方式进行数据一致性处理需要耗费较多的人工处理时间，导致数据一致性处理的效率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高数据一致性处理的效率的基于数据对照表的多源数据一致性处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种基于数据对照表的多源数据一致性处理方法。所述方法包括：

3、针对源系统，建立对应的数据对照表；所述数据对照表用于记录所述源系统的数据字段与主数据平台的数据字段之间的对应关系；

4、从所述源系统中提取原始数据，对所述原始数据进行数据转换处理，得到目标数据，并将所述目标数据更新至所述数据对照表中的源系统字段集；

5、获取所述主数据平台的数据变更信息，将所述数据变更信息更新至所述数据对照表中的主数据平台字段集；

6、根据所述对应关系，对所述源系统字段集和所述主数据平台字段集进行数据比对处理，得到数据比对结果；

7、根据所述数据比对结果，确定所述数据对照表中的待核对数据；

8、对所述待核对数据进行核对处理，得到核对处理结果；

9、根据所述核对处理结果，对所述主数据平台或所述源系统进行数据一致性更新处理。

10、在其中一个实施例中，所述根据所述核对处理结果，对所述主数据平台或所述源系统进行数据一致性更新处理，包括：

11、根据所述核对处理结果，确定出对应的处理方式信息；

12、根据所述处理方式信息，对所述主数据平台或所述源系统进行数据一致性更新处理。

13、在其中一个实施例中，所述根据所述处理方式信息，对所述主数据平台或所述源系统进行数据一致性更新处理，包括：

14、在所述处理方式信息表示更新所述主数据平台的情况下，更新所述主数据平台的数据；

15、在所述处理方式信息表示更新所述源系统的情况下，更新所述源系统的数据。

16、在其中一个实施例中，所述数据比对结果至少包括已映射且字段完全一致、已映射但字段不完全一致和未映射；

17、所述根据所述数据比对结果，确定所述数据对照表中的待核对数据，包括：

18、根据所述数据比对结果，确定出所述已映射但字段不完全一致对应的数据和所述未映射对应的数据；

19、将所述已映射但字段不完全一致对应的数据和所述未映射对应的数据，均作为所述待核对数据。

20、在其中一个实施例中，在根据所述核对处理结果，对所述主数据平台或所述源系统进行数据一致性更新处理之后，还包括：

21、获取与所述数据一致性更新处理对应的数据更新信息；

22、根据所述数据更新信息，对所述数据对照表进行更新处理。

23、在其中一个实施例中，所述对所述原始数据进行数据转换处理，得到目标数据，包括：

24、对所述原始数据进行数据转换处理，得到与所述主数据平台的数据格式一致的转换数据；

25、将所述转换数据作为所述目标数据。

26、第二方面，本技术还提供了一种基于数据对照表的多源数据一致性处理装置。所述装置包括：

27、数据建立模块，用于针对源系统，建立对应的数据对照表；所述数据对照表用于记录所述源系统的数据字段与主数据平台的数据字段之间的对应关系；

28、数据转换模块，用于从所述源系统中提取原始数据，对所述原始数据进行数据转换处理，得到目标数据，并将所述目标数据更新至所述数据对照表中的源系统字段集；

29、信息获取模块，用于获取所述主数据平台的数据变更信息，将所述数据变更信息更新至所述数据对照表中的主数据平台字段集；

30、数据比对模块，用于根据所述对应关系，对所述源系统字段集和所述主数据平台字段集进行数据比对处理，得到数据比对结果；

31、数据确定模块，用于根据所述数据比对结果，确定所述数据对照表中的待核对数据；

32、数据核对模块，用于对所述待核对数据进行核对处理，得到核对处理结果；

33、系统更新模块，用于根据所述核对处理结果，对所述主数据平台或所述源系统进行数据一致性更新处理。

34、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

35、针对源系统，建立对应的数据对照表；所述数据对照表用于记录所述源系统的数据字段与主数据平台的数据字段之间的对应关系；

36、从所述源系统中提取原始数据，对所述原始数据进行数据转换处理，得到目标数据，并将所述目标数据更新至所述数据对照表中的源系统字段集；

37、获取所述主数据平台的数据变更信息，将所述数据变更信息更新至所述数据对照表中的主数据平台字段集；

38、根据所述对应关系，对所述源系统字段集和所述主数据平台字段集进行数据比对处理，得到数据比对结果；

39、根据所述数据比对结果，确定所述数据对照表中的待核对数据；

40、对所述待核对数据进行核对处理，得到核对处理结果；

41、根据所述核对处理结果，对所述主数据平台或所述源系统进行数据一致性更新处理。

42、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

43、针对源系统，建立对应的数据对照表；所述数据对照表用于记录所述源系统的数据字段与主数据平台的数据字段之间的对应关系；

44、从所述源系统中提取原始数据，对所述原始数据进行数据转换处理，得到目标数据，并将所述目标数据更新至所述数据对照表中的源系统字段集；

45、获取所述主数据平台的数据变更信息，将所述数据变更信息更新至所述数据对照表中的主数据平台字段集；

46、根据所述对应关系，对所述源系统字段集和所述主数据平台字段集进行数据比对处理，得到数据比对结果；

47、根据所述数据比对结果，确定所述数据对照表中的待核对数据；

48、对所述待核对数据进行核对处理，得到核对处理结果；

49、根据所述核对处理结果，对所述主数据平台或所述源系统进行数据一致性更新处理。

50、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

51、针对源系统，建立对应的数据对照表；所述数据对照表用于记录所述源系统的数据字段与主数据平台的数据字段之间的对应关系；

52、从所述源系统中提取原始数据，对所述原始数据进行数据转换处理，得到目标数据，并将所述目标数据更新至所述数据对照表中的源系统字段集；

53、获取所述主数据平台的数据变更信息，将所述数据变更信息更新至所述数据对照表中的主数据平台字段集；

54、根据所述对应关系，对所述源系统字段集和所述主数据平台字段集进行数据比对处理，得到数据比对结果；

55、根据所述数据比对结果，确定所述数据对照表中的待核对数据；

56、对所述待核对数据进行核对处理，得到核对处理结果；

57、根据所述核对处理结果，对所述主数据平台或所述源系统进行数据一致性更新处理。

58、上述基于数据对照表的多源数据一致性处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，针对源系统，建立对应的数据对照表；所述数据对照表用于记录所述源系统的数据字段与主数据平台的数据字段之间的对应关系；从所述源系统中提取原始数据，对所述原始数据进行数据转换处理，得到目标数据，并将所述目标数据更新至所述数据对照表中的源系统字段集；获取所述主数据平台的数据变更信息，将所述数据变更信息更新至所述数据对照表中的主数据平台字段集；根据所述对应关系，对所述源系统字段集和所述主数据平台字段集进行数据比对处理，得到数据比对结果；根据所述数据比对结果，确定所述数据对照表中的待核对数据；对所述待核对数据进行核对处理，得到核对处理结果；根据所述核对处理结果，对所述主数据平台或所述源系统进行数据一致性更新处理。该方案通过建立数据对照表记录源系统与主数据平台的字段对应关系，实现了两端数据的结构化映射；通过自动化的数据转换、变更同步和比对处理，有利于快速识别数据不一致的情况；最后根据核对结果自动更新数据，有利于及时消除数据差异；这一系列自动化的处理流程，有利于提高数据一致性处理的效率，实现在多源数据环境下保持数据的一致性。