数据源处理方法、数据源处理装置、介质及设备与流程

本申请涉及数据处理，具体而言，涉及一种数据源处理方法、数据源处理装置、计算机可读存储介质及电子设备。

背景技术：

1、随着互联网技术的日益发展，多种多样的线上功能得以实现，如，线上购物功能、新闻浏览功能、编程功能等。这些功能在实现过程中可以产生海量的数据，如，日志数据等。通过对海量数据加以分析和利用可以为用户提供更好的服务，例如，可以利用新闻点击量、日志、用户画像等相关数据训练新闻推荐模型，以使得训练后的新闻推荐模型可以依据用户画像为用户推荐更多其可能感兴趣的新闻。

2、在分析、利用这些海量数据之前，通常需要相关人员根据预先设定的需求从各类数据源抽取所需的数据，以便后续实现精准的数据分析和利用。但是，这种数据获取方式效率较低。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的相关技术的信息。

技术实现思路

1、本申请的目的在于提供一种数据源处理方法、数据源处理装置、计算机可读存储介质及电子设备，可以提升数据获取效率，在本申请中，用户无需自行收集数据，只需通过用户操作指定数据源组件即可，本申请可以基于数据源组件对应的数据源类型自动生成数据抽取任务并向对应的集群发起数据抽取任务。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、根据本申请的一方面，提供一种数据源处理方法，该方法包括：

4、响应于用户操作，确定数据源组件；

5、根据数据源组件对应的数据源类型生成数据抽取任务；

6、向数据源类型对应的集群发起数据抽取任务。

7、根据本申请的一方面，提供一种数据源处理装置，该装置包括：

8、数据源组件确定单元，用于响应于用户操作，确定数据源组件；

9、任务生成单元，用于根据数据源组件对应的数据源类型生成数据抽取任务；

10、任务发起单元，用于向数据源类型对应的集群发起数据抽取任务。

11、根据本申请的一方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的方法。

12、根据本申请的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的方法。

13、根据本申请的一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的方法。

14、本申请示例性实施例可以具有以下部分或全部有益效果：

15、在本申请的一示例实施方式所提供的数据源处理方法中，可以提升数据获取效率，在本申请中，用户无需自行收集数据，只需通过用户操作指定数据源组件即可，本申请可以基于数据源组件对应的数据源类型自动生成数据抽取任务并向对应的集群发起数据抽取任务。此外，由于本申请无需用户收集数据，因此，还可以降低对于用户来说的数据采集难度，提升数据处理的自动化程度。

16、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种数据源处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，还包括：

4.根据权利要求1所述的方法，其特征在于，根据所述数据源组件对应的数据源类型生成数据抽取任务，包括：

5.根据权利要求1所述的方法，其特征在于，若所述数据源类型为数据仓库类型或业务数据库类型，向所述数据源类型对应的集群发起所述数据抽取任务，包括：

6.根据权利要求1所述的方法，其特征在于，若所述数据源组件对应的数据源类型为对象存储类型，向所述数据源类型对应的集群发起所述数据抽取任务，包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

8.根据权利要求7所述的方法，其特征在于，所述下一功能组件包括：数据处理组件、训练框架类组件或者算法封装组件。

9.一种数据源处理装置，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。

11.一种电子设备，其特征在于，包括：

技术总结本申请提供一种数据源处理方法、数据源处理装置、计算机可读存储介质及电子设备，涉及数据处理技术领域，该方法可以提升数据获取效率，在本申请中，用户无需自行收集数据，只需通过用户操作指定数据源组件即可，本申请可以基于数据源组件对应的数据源类型自动生成数据抽取任务并向对应的集群发起数据抽取任务。技术研发人员：林博辞受保护的技术使用者：成都欧珀通信科技有限公司技术研发日：技术公布日：2024/8/16