批流数据处理方法、装置、设备、存储介质及产品与流程

本申请涉及数据处理，尤其涉及批流数据处理方法、装置、设备、存储介质及产品。

背景技术：

1、在银行业务中，需要做批流结合的业务场景往往比较复杂，如何保证数据的准确性、完整性、时效性以及批数据和流数据的一致性，对于目前的批流处理场景是一个很大的挑战。目前批流结合计算方案为：等批数据就绪后再进行数据处理或采用持久化数据进行数据统计，上述处理方法难以保证数据的准确性和时效性，且在某些业务场景下并不适用，用户体验不高，因此，如何提高批流数据的处理效率并满足用户的数据使用需求成为了亟待解决的技术问题。

技术实现思路

1、本申请的主要目的在于提供一种批流数据处理方法、装置、设备、存储介质及产品，旨在解决现有技术中对批流数据的处理效率不高，用户体验差的技术问题。

2、为实现上述目的，本申请提出一种批流数据处理方法，所述批流数据处理方法包括：

3、获取业务需求信息，根据所述业务需求信息确定业务时效与准确性信息；

4、根据所述业务时效与准确性信息和预设数据处理策略确定目标数据处理策略，所述预设数据处理策略包括不依赖批数据处理策略、弱依赖批数据处理策略以及强依赖批数据处理策略；

5、基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果。

6、可选地，所述根据所述业务时效与准确性信息和预设数据处理策略确定目标数据处理策略的步骤，包括：

7、根据所述业务时效与准确性信息确定目标业务的数据时效性要求和数据准确性要求；

8、基于所述数据时效性要求和所述数据准确性要求从预设数据处理策略中选取目标数据处理策略。

9、可选地，所述基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果的步骤，包括：

10、在所述目标数据处理策略为不依赖批数据处理策略时，判断业务批流数据中的批数据是否跑批完成；

11、若所述业务批流数据中的批数据未跑批完成，则将所述批数据对应的字段设置为默认值，得到设置结果；

12、基于所述设置结果和所述业务批流数据中的流数据进行数据处理，得到数据处理结果。

13、可选地，所述基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果的步骤，包括：

14、在所述目标数据处理策略为强依赖批数据处理策略时，判断业务批流数据中的批数据是否跑批完成；

15、在所述批数据未跑批完成时，启动定时任务，基于所述定时任务判断所述批数据是否跑批完成；

16、在所述批数据跑批完成时，根据所述批数据和所述业务批流数据中的流数据进行数据处理，得到数据处理结果。

17、可选地，所述基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果的步骤之后，还包括：

18、根据所述业务需求信息确定数据应用场景信息；

19、基于所述数据应用场景信息确定数据更新策略，所述数据更新策略包括表级更新和行级更新；

20、在所述数据更新策略为表级更新时，确定业务批数据和实时结果数据；

21、将所述业务批数据和所述实时结果数据分表存储；

22、在所述数据更新策略为行级更新时，根据所述业务批数据对数据表进行初始化，得到目标数据表；

23、将所述实时结果数据插入至所述目标数据表中。

24、可选地，所述批流数据处理方法，还包括：

25、在接收到用户的数据查询请求时，获取当前批数据的跑批流程信息；

26、基于所述跑批流程信息确定预设数据处理策略中各策略的准确性和时效性，并向用户展示所述各策略的准确性和时效性；

27、获取用户基于展示的各策略的准确性和时效性选取的用户数据处理策略；

28、基于所述用户数据处理策略对所述用户对应的业务批流数据进行处理，得到数据处理结果。

29、此外，为实现上述目的，本申请还提出一种批流数据处理装置，所述批流数据处理装置包括：

30、获取模块，用于获取业务需求信息，根据所述业务需求信息确定业务时效与准确性信息；

31、策略选取模块，用于根据所述业务时效与准确性信息和预设数据处理策略确定目标数据处理策略，所述预设数据处理策略包括不依赖批数据处理策略、弱依赖批数据处理策略以及强依赖批数据处理策略；

32、数据处理模块，用于基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果。

33、此外，为实现上述目的，本申请还提出一种批流数据处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的批流数据处理方法的步骤。

34、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的批流数据处理方法的步骤。

35、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的批流数据处理方法的步骤。

36、本申请获取业务需求信息，根据所述业务需求信息确定业务时效与准确性信息；根据所述业务时效与准确性信息和预设数据处理策略确定目标数据处理策略，所述预设数据处理策略包括不依赖批数据处理策略、弱依赖批数据处理策略以及强依赖批数据处理策略；基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果。由于本申请根据业务时效与准确性的需求确定批流数据的处理策略，再根据处理策略处理业务批流数据，相对于现有的等批数据就绪后再进行数据处理或采用持久化数据进行数据统计的方式，本申请上述方式能够提高业务数据的时效性和准确性。

技术特征：

1.一种批流数据处理方法，其特征在于，所述批流数据处理方法包括以下步骤：

2.如权利要求1所述的批流数据处理方法，其特征在于，所述根据所述业务时效与准确性信息和预设数据处理策略确定目标数据处理策略的步骤，包括：

3.如权利要求1所述的批流数据处理方法，其特征在于，所述基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果的步骤，包括：

4.如权利要求1所述的批流数据处理方法，其特征在于，所述基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果的步骤，包括：

5.如权利要求1-4任一项所述的批流数据处理方法，其特征在于，所述基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果的步骤之后，还包括：

6.如权利要求1-4任一项所述的批流数据处理方法，其特征在于，所述批流数据处理方法，还包括：

7.一种批流数据处理装置，其特征在于，所述批流数据处理装置包括：

8.一种批流数据处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至6中任一项所述的批流数据处理方法的步骤。

9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的批流数据处理方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的批流数据处理方法的步骤。

技术总结本申请公开了一种批流数据处理方法、装置、设备、存储介质及产品，涉及数据处理技术领域，包括：获取业务需求信息，根据所述业务需求信息确定业务时效与准确性信息；根据所述业务时效与准确性信息和预设数据处理策略确定目标数据处理策略，所述预设数据处理策略包括不依赖批数据处理策略、弱依赖批数据处理策略以及强依赖批数据处理策略；基于所述目标数据处理策略对业务批流数据进行处理，得到批流数据处理结果。由于本申请根据业务时效与准确性的需求确定批流数据的处理策略，再根据处理策略处理业务批流数据，相对于现有的等批数据就绪后再进行数据处理或采用持久化数据进行数据统计的方式，本申请上述方式能够提高业务数据的时效性和准确性。技术研发人员：田文青,李贞莹,谭瑶,邢睿智,蒋雨,秦臻,梁策受保护的技术使用者：招商银行股份有限公司技术研发日：技术公布日：2024/9/29