数据处理方法、存储介质和电子设备与流程

本申请涉及计算机和数据处理，具体而言，涉及一种数据处理方法、存储介质和电子设备。

背景技术：

1、随着互联网技术的发展，搜索、推荐、大模型技术越发重要，大多数业务场景基本都离不开搜索、推荐、大模型，在搜索、推荐、大模型技术中，都存在非常复杂的数据处理场景，而现有云上的数据处理服务，都只提供通用的能力输出，并不能解决复杂场景(例如大模型预训练数据处理)的编排问题。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种数据处理方法、存储介质和电子设备，以至少解决现有云上的数据处理服务，都只提供通用的能力输出，并不能解决复杂场景的数据编排的技术问题。

2、根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取数据流；根据数据流，构建数据处理任务，其中，数据处理任务用于指导数据流的处理方式；根据数据处理任务，构建多个工作流任务，其中，工作流任务用于指导数据的处理过程；利用工作流引擎和工作流任务，对数据流进行处理得到数据处理结果，其中，工作流引擎基于容器化技术构建，工作流引擎用于对工作流任务进行处理。

3、根据本申请实施例的另一方面，还提供了另一种数据处理方法，通过终端设备提供一图形用户界面，图形用户界面所显示的内容至少部分地包含一数据处理场景，包括：响应作用于图形用户界面的交互操作，生成数据处理指令；响应于数据处理指令，获取数据流；根据数据流，构建数据处理任务，其中，数据处理任务用于指导数据流的处理方式；根据数据处理任务，构建多个工作流任务，其中，工作流任务用于指导数据的处理过程；利用工作流引擎和工作流任务，对数据流进行处理得到数据处理结果，其中，工作流引擎基于容器化技术构建，工作流引擎用于对工作流任务进行处理；在显示界面显示数据处理结果。

4、根据本申请实施例的另一方面，还提供了又一种数据处理方法，包括：通过调用第一接口获取数据流，其中，第一接口包括第一参数，第一参数的参数值为数据流；根据数据流，构建数据处理任务，其中，数据处理任务用于指导数据流的处理方式；根据数据处理任务，构建多个工作流任务，其中，工作流任务用于指导数据的处理过程；利用工作流引擎和工作流任务，对数据流进行处理得到数据处理结果，其中，工作流引擎基于容器化技术构建，工作流引擎用于对工作流任务进行处理；通过调用第二接口输出数据处理结果，其中，第二接口包括第二参数，第二参数的参数值为数据处理结果。

5、根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行任意一项上述的数据处理方法。

6、根据本申请实施例的另一方面，还提供了一种电子设备，包括存储器，存储有可执行程序；处理器，用于运行程序，其中，上述程序运行时控制上述计算机可读存储介质所在设备执行任意一项上述的数据处理方法。

7、根据本申请实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现任意一项上述的数据处理方法。

8、在本申请实施例中，首先获取数据流；然后根据数据流，构建数据处理任务，其中，数据处理任务用于指导数据流的处理方式；然后根据数据处理任务，构建多个工作流任务，其中，工作流任务用于指导数据的处理过程；最后利用工作流引擎和工作流任务，对数据流进行处理得到数据处理结果，其中，工作流引擎基于容器化技术构建，工作流引擎用于对工作流任务进行处理。综上，上述数据处理方法通过构建数据处理任务，再根据数据处理任务够构建工作流任务，最后利用容器化的工作流引擎执行工作流任务，可以针对复杂场景下的数据流进行处理，进而解决了现有云上的数据处理服务，都只提供通用的能力输出，并不能解决复杂场景的数据编排的技术问题。

9、容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述数据流的类型包括离线数据流、实时数据流和混合数据流，其中，所述混合数据流中包括所述离线数据流和所述实时数据流。

3.根据权利要求2所述的方法，其特征在于，根据所述数据流，构建数据处理任务，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述数据流，构建数据处理任务，还包括：

5.根据权利要求3所述的方法，其特征在于，根据所述数据流，构建数据处理任务，还包括：

6.根据权利要求1所述的方法，其特征在于，根据所述数据处理任务，构建多个工作流任务，包括：

7.根据权利要求6所述的方法，其特征在于，根据所述数据处理任务，确定多个自定义函数，包括：

8.根据权利要求1所述的方法，其特征在于，还包括：

9.根据权利要求1所述的方法，其特征在于，利用工作流引擎和所述工作流任务，对所述数据流进行处理得到数据处理结果，包括：

10.一种数据处理方法，其特征在于，包括：

11.一种数据处理方法，其特征在于，包括：

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至11中任意一项所述的方法。

13.一种电子设备，其特征在于，包括：

14.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至11任一项所述的方法。

技术总结本申请公开了一种数据处理方法、存储介质和电子设备。其中，该方法包括：获取数据流；根据数据流，构建数据处理任务，其中，数据处理任务用于指导数据流的处理方式；根据数据处理任务，构建多个工作流任务，其中，工作流任务用于指导数据的处理过程；利用工作流引擎和工作流任务，对数据流进行处理得到数据处理结果，其中，工作流引擎基于容器化技术构建，工作流引擎用于对工作流任务进行处理。本申请解决了现有云上的数据处理服务，都只提供通用的能力输出，并不能解决复杂场景的数据编排的技术问题。技术研发人员：梁文刚,江仲兴,赖泽原受保护的技术使用者：优视科技（中国）有限公司技术研发日：技术公布日：2024/7/29