一种数据批处理方法、装置、设备及存储介质与流程

本申请涉及数据处理，具体涉及一种数据批处理方法、装置、设备及存储介质。

背景技术：

1、批处理是一种计算模式，指的是一次性处理大量数据或执行一系列指令，而不是实时处理单个数据或指令。批处理常用于需要处理大量数据、运行复杂计算任务或执行重复性任务的场景。

2、无序数据指的是没有特定排序或排列顺序的数据集。也就是说，数据中的元素并未按任何特定顺序排列，如时间、大小、字母顺序等。

3、目前，数据处理系统常采用批处理进行数据的处理和分析，然而现有的数据批处理方法在处理和分析无序(该无序指的是时间无序)的设备行为数据或用户行为数据时，数据处理效率较低，通常不能挖掘出深层次的模式或知识，无法实现更高维度的数据处理及分析。

技术实现思路

1、本申请的目的是提供一种数据批处理方法、装置、电子设备及存储介质。

2、第一方面，本申请实施例提供了一种数据批处理方法，包括：

3、接收到对目标批量数据的批处理请求，所述批处理请求中携带有处理方式；

4、根据系统处理数据的最小单位，将所述目标批量数据划分为多条事件，将每条事件的开始时间作为事件对应的时间戳；

5、对于每条所述事件，根据该事件对应的时间戳，找到该事件所属的多个时间窗口；

6、按照所述处理方式对每个所述时间窗口中的数据进行处理，得到处理结果。

7、一种可能的实现方式中，所述根据系统处理数据的最小单位，将所述目标批量数据划分为多条事件，包括：

8、按照系统处理数据的预设倍数的最小单位，将所述目标批量数据划分为多条事件，所述预设倍数小于等于1。

9、一种可能的实现方式中，所述处理方式包括：

10、获取中间状态、累加计算或聚合计算。

11、一种可能的实现方式中，所述方法还包括：

12、接收到对所述时间窗口的更新请求，所述更新请求包括时间窗口的大小和滑动步长；

13、根据所述更新请求对所述时间窗口进行更新。

14、第二方面，本申请实施例提供了一种数据批处理装置，包括：

15、接收模块，用于接收到对目标批量数据的批处理请求，所述批处理请求中携带有处理方式；

16、划分模块，用于根据系统处理数据的最小单位，将所述目标批量数据划分为多条事件，将每条事件的开始时间作为事件对应的时间戳；

17、匹配模块，用于对于每条所述事件，根据该事件对应的时间戳，找到该事件所属的多个时间窗口；

18、处理模块，用于按照所述处理方式对每个所述时间窗口中的数据进行处理，得到处理结果。

19、一种可能的实现方式中，所述划分模块，具体用于：

20、按照系统处理数据的预设倍数的最小单位，将所述目标批量数据划分为多条事件，所述预设倍数小于等于1。

21、一种可能的实现方式中，所述处理方式包括：

22、获取中间状态、累加计算或聚合计算。

23、一种可能的实现方式中，所述装置还包括：

24、更新模块，用于接收到对所述时间窗口的更新请求，所述更新请求包括时间窗口的大小和滑动步长；根据所述更新请求对所述时间窗口进行更新。

25、第三方面，本申请提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现如第一方面所述的方法。

26、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如第一方面所述的方法。

27、相较于现有技术，本申请提供的数据批处理方法，接收到对目标批量数据的批处理请求，所述批处理请求中携带有处理方式；根据系统处理数据的最小单位，将所述目标批量数据划分为多条事件，将每条事件的开始时间作为事件对应的时间戳；对于每条所述事件，根据该事件对应的时间戳，找到该事件所属的多个时间窗口；按照所述处理方式对每个所述时间窗口中的数据进行处理，得到处理结果。与现有技术相比，本申请通过在批处理中结合滑动窗口算法，使得能在批处理中使用滑动算法处理和分析无序的设备行为数据或用户行为数据，以此挖掘出深层次的模式或知识，数据处理效率较高，能够实现更高维度的数据处理及分析。

技术特征：

1.一种数据批处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据系统处理数据的最小单位，将所述目标批量数据划分为多条事件，包括：

3.根据权利要求1所述的方法，其特征在于，所述处理方式包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.一种数据批处理装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述划分模块，具体用于：

7.根据权利要求5所述的装置，其特征在于，所述处理方式包括：

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时以实现如权利要求1至4任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至4任一项所述的方法。

技术总结本申请提供一种数据批处理方法、装置、设备及存储介质，涉及数据处理技术领域。方法包括：接收到对目标批量数据的批处理请求，所述批处理请求中携带有处理方式；根据系统处理数据的最小单位，将所述目标批量数据划分为多条事件，将每条事件的开始时间作为事件对应的时间戳；对于每条所述事件，根据该事件对应的时间戳，找到该事件所属的多个时间窗口；按照所述处理方式对每个所述时间窗口中的数据进行处理，得到处理结果。与现有技术相比，本申请在批处理中结合滑动窗口算法，使得能在批处理中使用滑动算法处理和分析无序的设备行为数据或用户行为数据，以此挖掘出深层次的模式或知识，数据处理效率较高，能够实现更高维度的数据处理及分析。技术研发人员：涂高元,邱志斌,郭永兴,陆云燕,蒋志刚,陈吉平受保护的技术使用者：厦门天锐科技股份有限公司技术研发日：技术公布日：2025/1/14