数据处理方法、装置、计算机设备、介质和程序产品与流程

本技术涉及大数据处理，特别是涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着各领域业务框架的逐渐完善，某些数据来源复杂的业务系统需要采用两种不同的业务处理逻辑来处理业务数据。例如，对于业务时效性高的数据和任务需要流式处理的框架进行数据处理，而对于业务时效性低的数据则需要采用传统的批处理架构进行数据处理。

2、而针对上述处理方法，在数据采集方面，根据不同的数据特性需要使用不同的组件进行数据采集，导致数据采集成本较高；在数据计算方面，流式数据和批量数据对应的底层数据模型并不一致，这导致了应用层需要大量的拼接逻辑（例如同比、环比、二次加工等），以至于数据计算成本较高；在数据维护层面，流式数据和批量数据面向不同的写入场景，因此其存储系统隔离，维护成本较高。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够降低流式数据和批量数据同时存在的系统的数据处理成本的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据处理方法，包括：

3、获取待处理数据集，其中，所述待处理数据集包括至少一个待处理数据，所述待处理数据是实时触发数据或离线批量数据；

4、在所述待处理数据是所述实时触发数据的情况下，直接触发实时处理程序，对所述待处理数据进行处理；

5、在所述待处理数据是所述离线批量数据的情况下，将所述待处理数据存储至事件数据中心，并在所述待处理数据符合批量数据触发条件的情况下，触发所述实时处理程序，对所述待处理数据进行处理。

6、在其中一个实施例中，所述在所述待处理数据是所述实时触发数据的情况下，直接触发实时处理程序，对所述待处理数据进行处理之后，还包括：

7、将所述实时触发数据对应的数据特征存储至所述事件数据中心，其中，所述数据特征的类型是根据历史实时触发数据预设的。

8、在其中一个实施例中，所述数据特征包括所述实时触发数据的处理结果；所述方法还包括：

9、响应于数据读取指令，从所述事件数据中心中读取目标数据，其中，所述目标数据包括所述离线批量数据、所述实时触发数据的处理结果、所述离线批量数据的处理结果中的至少一个。

10、在其中一个实施例中，所述获取待处理数据集之后，还包括：

11、在所述待处理数据是所述离线批量数据的情况下，根据所述离线批量数据更新所述数据特征的类型。

12、在其中一个实施例中，所述离线批量数据包括离线初始化数据和离线修正数据；所述获取待处理数据集，包括：

13、响应于数据初始化指令，接收所述离线初始化数据；

14、响应于数据修正指令，确定所述离线修正数据的获取方式；

15、根据所述获取方式接收所述离线修正数据。

16、在其中一个实施例中，所述获取方式包括周期性获取方式；所述根据所述获取方式接收所述离线修正数据，包括：

17、周期性触发所述实时处理程序，以获取所述离线修正数据。

18、第二方面，本技术还提供了一种数据处理装置，包括：

19、数据获取模块，用于获取待处理数据集，其中，所述待处理数据集包括至少一个待处理数据，所述待处理数据是实时触发数据或离线批量数据；

20、实时处理模块，用于在所述待处理数据是所述实时触发数据的情况下，直接触发实时处理程序，对所述待处理数据进行处理；

21、批量处理模块，用于在所述待处理数据是所述离线批量数据的情况下，将所述待处理数据存储至事件数据中心，并在所述待处理数据符合批量数据触发条件的情况下，触发所述实时处理程序，对所述待处理数据进行处理。

22、在其中一个实施例中，所述装置还包括：

23、集中存储模块，用于将所述实时触发数据对应的数据特征存储至所述事件数据中心，其中，所述数据特征的类型是根据历史实时触发数据预设的。

24、在其中一个实施例中，所述数据特征包括所述实时触发数据的处理结果；所述装置还包括：

25、数据读取模块，用于响应于数据读取指令，从所述事件数据中心中读取目标数据，其中，所述目标数据包括所述离线批量数据、所述实时触发数据的处理结果、所述离线批量数据的处理结果中的至少一个。

26、在其中一个实施例中，所述装置还包括：

27、数据更新模块，用于在所述待处理数据是所述离线批量数据的情况下，根据所述离线批量数据更新所述数据特征的类型。

28、在其中一个实施例中，所述离线批量数据包括离线初始化数据和离线修正数据；所述数据获取模块包括：

29、数据初始化单元，用于响应于数据初始化指令，接收所述离线初始化数据；

30、数据修正单元，用于响应于数据修正指令，确定所述离线修正数据的获取方式；

31、数据读取单元，用于根据所述获取方式接收所述离线修正数据。

32、在其中一个实施例中，所述获取方式包括周期性获取方式；所述数据读取单元具体用于：周期性触发所述实时处理程序，以获取所述离线修正数据。

33、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

34、获取待处理数据集，其中，所述待处理数据集包括至少一个待处理数据，所述待处理数据是实时触发数据或离线批量数据；

35、在所述待处理数据是所述实时触发数据的情况下，直接触发实时处理程序，对所述待处理数据进行处理；

36、在所述待处理数据是所述离线批量数据的情况下，将所述待处理数据存储至事件数据中心，并在所述待处理数据符合批量数据触发条件的情况下，触发所述实时处理程序，对所述待处理数据进行处理。

37、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

38、获取待处理数据集，其中，所述待处理数据集包括至少一个待处理数据，所述待处理数据是实时触发数据或离线批量数据；

39、在所述待处理数据是所述实时触发数据的情况下，直接触发实时处理程序，对所述待处理数据进行处理；

40、在所述待处理数据是所述离线批量数据的情况下，将所述待处理数据存储至事件数据中心，并在所述待处理数据符合批量数据触发条件的情况下，触发所述实时处理程序，对所述待处理数据进行处理。

41、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

42、获取待处理数据集，其中，所述待处理数据集包括至少一个待处理数据，所述待处理数据是实时触发数据或离线批量数据；

43、在所述待处理数据是所述实时触发数据的情况下，直接触发实时处理程序，对所述待处理数据进行处理；

44、在所述待处理数据是所述离线批量数据的情况下，将所述待处理数据存储至事件数据中心，并在所述待处理数据符合批量数据触发条件的情况下，触发所述实时处理程序，对所述待处理数据进行处理。

45、上述数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过获取待处理数据集，得到至少一个待处理数据，待处理数据是实时触发数据或离线批量数据，针对需要同时对实时触发数据（流式数据）和离线批量数据的数据处理系统，在待处理数据是实时触发数据的情况下，直接触发该系统设置的实时处理程序，对流式数据进行实时的处理，在待处理数据是离线批量数据的情况下，将待处理数据存储至事件数据中心，并在待处理数据符合批量数据触发条件的情况下，触发该系统设置的实时处理程序，对待处理数据进行处理，从而使得离线批量数据也能够通过触发与上述流式数据相同的处理程序进行数据处理，而无需针对两种数据开发和维护两套处理逻辑和数据，降低了该系统的数据处理成本。