业务数据处理方法、装置、设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种业务数据处理方法、装置、设备及存储介质。

背景技术：

1、随着银行业务的迅速发展，业务相关数据呈现出规模大、多源异构、结构复杂等特点，传统的数据处理方法往往难以应对。

2、现有大数据云平台的应用在数据处理的选择上一般有两种，分别是批计算和流计算，其中，批计算采用批处理工具完成批量数据处理，批计算时效性一般为1天以上，即数据产生到数据计算出结果需要至少1天的时间。其中，流计算采用流处理工具完成实时数据处理，流计算作业的时效性能达到秒级，即数据产生到数据计算出结果仅需几秒。

3、在现有的流、批独立方案中，流计算和批计算对应各自的系统，流、批数据的存储和计算相对独立，导致数据存储资源冗余。

技术实现思路

1、本申请实施例提供一种业务数据处理方法、装置、设备及存储介质，用以解决现有技术中流、批数据的存储和计算相对独立，导致数据存储资源冗余的问题。

2、第一方面，本申请提供一种业务数据处理方法，包括：

3、获取待处理的流计算作业对应的业务数据和批计算作业对应的业务数据；

4、对流计算作业对应的业务数据执行流计算操作，获得对应的第一业务数据，并对批计算作业对应的业务数据执行批计算操作，获得对应的第二业务数据；

5、将第一业务数据和第二业务数据写入所述业务对应的数据湖表；

6、对数据湖表中的业务数据按照业务发生时间顺序进行去重，对去重的数据湖表进行存储。

7、在一种可能的设计中，所述获取待处理的流计算作业对应的业务数据和批计算作业对应的业务数据，包括：

8、基于预设第一字段映射关系、流计算作业对应的初始业务数据获得目标业务数据，该目标业务数据为待处理的流计算作业对应的业务数据，所述预设第一字段映射关系为流计算作业对应的初始业务数据与目标业务数据的字段映射关系；

9、基于预设第二字段映射关系、批计算作业对应的初始业务数据获得目标业务数据，该目标业务数据为待处理的批计算作业对应的业务数据，所述预设第二字段映射关系为批计算作业对应的初始业务数据与目标业务数据的字段映射关系。

10、在一种可能的设计中，所述对数据湖表中的业务数据按照业务发生时间顺序进行去重，包括：

11、遍历所述数据湖表中的业务数据，以确定是否存在相同主键的业务数据；

12、若存在相同主键的业务数据，则针对相同主键对应的业务数据，将业务发生时间进行比对，以保留所述数据湖表中与当前时间距离最近的业务数据。

13、在一种可能的设计中，所述对流计算作业对应的业务数据执行流计算操作，获得对应的第一业务数据，包括：

14、运行流计算脚本，以对流计算作业对应的业务数据执行流计算操作，获得对应的第一业务数据；

15、所述对批计算作业对应的业务数据执行批计算操作，获得对应的第二业务数据，包括：

16、运行批计算脚本，以对批计算作业对应的业务数据执行批计算操作，获得对应的第二业务数据。

17、在一种可能的设计中，方法还包括：

18、对第一业务数据和第二业务数据之间的字段进行对比校验，以确定相同字段对应的流计算结果和批计算结果是否一致；

19、若是，则执行所述将第一业务数据和第二业务数据写入所述业务对应的数据湖表的步骤。

20、在一种可能的设计中，方法还包括：

21、若获得待处理的流计算作业对应的业务数据，则对流计算作业对应的业务数据执行流计算操作，获得对应的第一业务数据；

22、读取所述业务对应的包含第二业务数据的数据湖表，将第一业务数据写入业务对应的数据湖表以完成流补批操作。

23、在一种可能的设计中，方法还包括：

24、若获得待处理的批计算作业对应的业务数据，则对批计算作业对应的业务数据执行批计算操作，获得对应的第二业务数据；

25、读取所述业务对应的包含第一业务数据的数据湖表，将第二业务数据写入业务对应的数据湖表以完成批补流操作。

26、在一种可能的设计中，方法还包括：

27、获取指定的业务发生时间，获取所述指定的业务发生时间对应的流计算作业的业务数据；

28、对流计算作业对应的业务数据执行流计算操作，获得对应的第一业务数据。

29、第二方面，本申请提供一种业务数据处理装置，包括：

30、获取单元，用于获取待处理的流计算作业对应的业务数据和批计算作业对应的业务数据；

31、处理单元，用于对流计算作业对应的业务数据执行流计算操作，获得对应的第一业务数据，并对批计算作业对应的业务数据执行批计算操作，获得对应的第二业务数据；

32、处理单元，还用于将第一业务数据和第二业务数据写入所述业务对应的数据湖表；

33、处理单元，还用于对数据湖表中的业务数据按照业务发生时间顺序进行去重；

34、存储单元，用于对去重的数据湖表进行存储。

35、第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的业务数据处理方法。

36、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的业务数据处理方法。

37、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的业务数据处理方法。

38、本申请提供的业务数据处理方法、装置、设备及存储介质，通过获取待处理的流计算作业对应的业务数据和批计算作业对应的业务数据，对流计算作业对应的业务数据执行流计算操作，获得第一业务数据，并对批计算作业对应的业务数据执行批计算操作，获得第二业务数据，将第一业务数据和第二业务数据写入业务对应的数据湖表，对数据湖表中的业务数据按照业务发生时间顺序进行去重，以确保保留最新的业务数据，能够进行流、批统一存储。因此，能够解决目前流、批数据的存储和计算相对独立，导致数据存储资源冗余的问题。

技术特征：

1.一种业务数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取待处理的流计算作业对应的业务数据和批计算作业对应的业务数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述对数据湖表中的业务数据按照业务发生时间顺序进行去重，包括：

4.根据权利要求1所述的方法，其特征在于，所述对流计算作业对应的业务数据执行流计算操作，获得对应的第一业务数据，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：

6.根据权利要求1所述的方法，其特征在于，还包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

8.根据权利要求1所述的方法，其特征在于，还包括：

9.一种业务数据处理装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8中任一项所述的方法。

12.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。

技术总结本申请实施例提供一种业务数据处理方法、装置、设备及存储介质。涉及数据处理技术领域。该方法包括：获取待处理的流计算作业对应的业务数据和批计算作业对应的业务数据；对流计算作业对应的业务数据执行流计算操作，获得对应的第一业务数据，并对批计算作业对应的业务数据执行批计算操作，获得对应的第二业务数据；将第一业务数据和第二业务数据写入所述业务对应的数据湖表；对数据湖表中的业务数据按照业务发生时间顺序进行去重，对去重的数据湖表进行存储。本申请的方法，能够进行流、批统一存储，有效减少数据存储资源的冗余。技术研发人员：许琳,苏毓仁,李思维受保护的技术使用者：中国建设银行股份有限公司技术研发日：技术公布日：2024/11/4