血缘关系分析方法及电子设备与流程

本技术属于血缘关系分析，尤其涉及一种血缘关系分析方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、数据的血缘关系可以指示数据的来源、目的和使用方式等信息，对于数据的管理和处理有着重要意义。由于数据的流转需要经过多个系统，因此血缘关系分析需要对多个系统的数据进行数据迁移，或者在不同系统的基础上进行二次开发，导致血缘关系分析的成本较高。

技术实现思路

1、本技术实施例提供了一种血缘关系分析方法、装置、电子设备及计算机可读存储介质，可以降低血缘关系分析的成本。

2、第一方面，本技术实施例提供了一种血缘关系分析方法，包括：

3、利用多个系统的配置获取方式分别获取相应系统的血缘配置信息；所述多个系统为数据和/或任务上下游相关联的系统；

4、对不同系统对应的所述血缘配置信息进行血缘分析，得到血缘配置分析结果；

5、基于不同系统的所述血缘配置分析结果得到所述多个系统中数据和/或任务的血缘关系。

6、可选地，所述多个系统包括数据采集系统、数据计算系统和数据应用系统，所述利用多个系统的配置获取方式分别获取相应系统的血缘配置信息，包括：

7、根据路径解析的方式获取所述系统的第一血缘配置信息；所述路径解析用于解析所述系统关联的集群；

8、或，

9、根据任务解析的方式获取所述系统的第二血缘配置信息；所述任务解析用于解析所述系统关联的任务；

10、或，

11、根据看板解析的方式获取所述系统的第三血缘配置信息；所述看板解析用于解析所述系统关联的看板。

12、可选地，在所述系统为所述数据采集系统的情况下，所述根据路径解析的方式获取所述系统的第一血缘配置信息，包括：

13、通过访问所述数据采集系统的根路径获取所述数据采集系统关联的集群；

14、确定所述集群当前在服务的集群服务器id及所述集群服务器id对应的真实机器；

15、获取所述集群中的主题列表以及所述主题列表中主题数据所对应的集群服务器id；

16、通过所述集群服务器id确定所述主题列表中主题数据和所述真实机器的映射关系；

17、根据所述映射关系和所述主题数据对应的配置信息确定所述数据采集系统的第一血缘配置信息；所述第一血缘配置信息用于指示所述数据采集系统关联的数据来源。

18、可选地，在所述系统为所述数据计算系统的情况下，所述根据任务解析的方式获取所述系统的第二血缘配置信息，包括：

19、获取所述数据计算系统关联的任务的任务配置信息；所述任务配置信息包括执行所述任务所需要的配置参数；

20、通过预设的语句解析服务对所述任务配置信息进行任务解析，得到所述第二血缘配置信息；所述第二血缘配置信息用于指示所述任务配置信息对应任务所关联的数据表。

21、可选地，所述通过预设的语句解析服务对所述任务配置信息进行任务解析，得到所述第二血缘配置信息，包括：

22、从所述任务配置信息中获取执行语句模板；所述执行语句模板用于执行所述任务配置信息对应的任务；

23、根据所述任务配置信息对应的任务对所述执行语句模板进行变量替换，得到可执行语句；

24、根据所述任务配置信息中的任务类型确定所述语句解析服务的解析逻辑，利用所述解析逻辑对所述可执行语句进行任务解析，得到所述第二血缘配置信息。

25、可选地，在所述系统为所述数据应用系统的情况下，所述根据看板解析的方式获取所述系统的第三血缘配置信息，包括：

26、获取所述数据应用系统关联的看板的看板配置信息；所述看板包括一个或多个展示图表，所述看板配置信息包括所述展示图表的图表配置信息；

27、解析所述图表配置信息，得到所述第三血缘配置信息；所述第三血缘配置信息用于指示所述展示图表关联的数据表。

28、可选地，所述解析所述图表配置信息，得到所述第三血缘配置信息，包括：

29、在所述展示图表使用单个数据表的数据的情况下，通过所述图表配置信息确定所述单个数据表的名称及所述单个数据表对应的数据仓库，根据所述单个数据表的名称及所述单个数据表对应的数据仓库确定所述第三血缘配置信息；

30、在所述展示图表使用多个数据表的数据的情况下，获取所述图表配置信息对应的执行语句，通过预设的语句解析服务对所述执行语句进行解析，得到所述第三血缘配置信息。

31、可选地，所述基于不同系统的所述血缘配置分析结果得到所述多个系统中数据和/或任务的血缘关系，包括：

32、根据所述数据采集系统的所述血缘配置分析结果，得到所述数据采集系统的第一血缘关系，其中，所述第一血缘关系用于指示所述数据采集系统涉及的日志文件和原始表；

33、根据所述数据计算系统的所述血缘配置分析结果，得到所述数据计算系统的第二血缘关系，其中，所述第二血缘关系用于指示所述数据计算系统关联的任务所涉及的原始表及目标表；

34、根据所述数据应用系统的所述血缘配置分析结果，得到所述数据应用系统的第三血缘关系，其中，所述第三血缘关系用于指示所述数据应用系统关联的看板所涉及的目标表及展示图表；

35、根据所述第一血缘关系、所述第二血缘关系和所述第三血缘关系，得到所述多个系统中数据和/或任务的血缘关系。

36、可选地，所述根据所述第一血缘关系、所述第二血缘关系和所述第三血缘关系，得到所述多个系统中数据和/或任务的血缘关系，包括：

37、根据所述多个系统中的数据和/或任务整合所述第一血缘关系、所述第二血缘关系和所述第三血缘关系，得到所述多个系统中数据和/或任务的最终血缘关系，其中，所述最终血缘关系中包括所述数据采集系统提供的数据和/或任务来源关系、所述数据计算系统提供的数据和/或任务计算关系、所述数据应用系统提供的数据和/或任务展示关系的一种或多种。

38、第二方面，本技术实施例提供了一种血缘关系分析装置，包括：

39、配置信息获取模块，用于利用多个系统的配置获取方式分别获取相应系统的血缘配置信息；所述多个系统为数据和/或任务上下游相关联的系统；

40、血缘分析模块，用于对不同系统对应的所述血缘配置信息进行血缘分析，得到血缘配置分析结果；

41、血缘关系构建模块，用于基于不同系统的所述血缘配置分析结果得到所述多个系统中数据和/或任务的血缘关系。

42、第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的血缘关系分析方法的步骤。

43、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的血缘关系分析方法的步骤。

44、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任一项所述的血缘关系分析方法。

45、本技术实施例与现有技术相比存在的有益效果是：

46、本技术根据血缘配置信息对不同系统进行血缘分析，可以提高血缘关系分析的效率，降低血缘分析的成本。具体地，利用多个系统的配置获取方式分别获取相应系统的血缘配置信息，可以更有针对性地获取不同系统的血缘配置信息，提高血缘配置信息获取的效率。并且根据血缘配置信息对相应系统进行血缘分析，可以提高血缘分析的灵活性，避免因数据迁移造成的血缘关系分析成本较高的问题；同时由于上述不同系统为上下游相关联的多个系统，通过血缘配置信息对相应系统进行血缘分析，基于血缘分析结果得到多个系统的血缘关系，可以完整地对涉及的上下游系统进行血缘关系分析，从而进一步提高血缘关系分析的效率，降低血缘关系分析的成本。