数据处理方法、装置、电子设备及存储介质与流程

本申请涉及互联网通信，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着互联网通信技术的发展，各类互联网产品层出不穷，它们可以为用户提供服务体验。对象画像是指用于描述对象特征的技术，即通过获取针对对象的标签属性，从而利用这些标签属性对对象多方面的特征进行描述；对象画像可以用于挖掘对象需求及分析对象偏好等等，并通过匹配对象画像来提供更高效和更有针对性的信息。

2、相关技术中，主要关注于已获得的对象画像的应用，而缺乏关注所获得的对象画像的质量。因此，需要提供准确有效的画像质量监测方案。

技术实现思路

1、为了解决上述提出的至少一个技术问题，本申请提供了一种数据处理方法、装置、电子设备及存储介质：

2、根据本申请的第一方面，提供了一种数据处理方法，所述方法包括：

3、响应于接收到的画像查询请求，从所述画像查询请求提取预设条件、以及确定符合所述预设条件的目标数据源，所述目标数据源由目标对象集群的操作数据构成；

4、获取所述目标对象集群的目标画像数据，以基于所述目标画像数据进行针对加工链路的异常监测，所述目标画像数据用于表征针对所述目标数据源的所述加工链路上各个任务阶段的目标阶段指标数据，所述目标阶段指标数据包括第一类指标数据和第二类指标数据，所述第一类指标数据用于描述所述任务阶段的数据流经情况，所述第二类指标数据用于描述所述任务阶段的任务执行情况。

5、根据本申请的第二方面，提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统包括第一类服务器集群和多个第二类服务器集群，所述第一类服务器集群用于执行如第一方面所述的数据处理方法，所述多个第二类服务器集群分别负责执行加工链路上每一任务阶段的任务，所述方法包括：

6、针对每一所述任务阶段，所述任务阶段对应的所述第二类服务器集群以预设时间窗口为时间统计口径生成待上报的阶段指标数据、并上报所述待上报的阶段指标数据至所述第一类服务器集群。

7、根据本申请的第三方面，提供了一种数据处理装置，所述装置包括：

8、响应模块：用于响应于接收到的画像查询请求，从所述画像查询请求提取预设条件、以及确定符合所述预设条件的目标数据源，所述目标数据源由目标对象集群的操作数据构成；

9、获取模块：用于获取所述目标对象集群的目标画像数据，以基于所述目标画像数据进行针对加工链路的异常监测，所述目标画像数据用于表征针对所述目标数据源的所述加工链路上各个任务阶段的目标阶段指标数据，所述目标阶段指标数据包括第一类指标数据和第二类指标数据，所述第一类指标数据用于描述所述任务阶段的数据流经情况，所述第二类指标数据用于描述所述任务阶段的任务执行情况。

10、根据本申请的第四方面，提供了一种电子设备，所述电子设备包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述至少一个处理器加载并执行以实现如第一方面、或第二方面所述的数据处理方法。

11、根据本申请的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面、或第二方面所述的数据处理方法。

12、根据本申请的第六方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面、或第二方面所述的数据处理方法。

13、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

14、实施本申请，具有以下有益效果：

15、本申请提供了一种更具全局性的对象集群画像，该画像用于表征针对目标数据源的加工链路上各个任务阶段的目标阶段指标数据，同时目标阶段指标数据包括数据维度的指标数据和任务执行维度的指标数据。通过这样的画像可以进行针对加工链路的异常监测，进而实现准确有效的画像质量监测，从而为相关用户提供更具针对性的服务。这样的画像可以为画像的运维管理提供整体性数据，提高运维管理的准确度和效率。

16、根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述加工链路包括多个任务阶段，所述预设条件包括预设时间段，所述获取所述目标对象集群的目标画像数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述获取符合所述预设时间段的多个候选阶段指标数据，包括：

4.根据权利要求1所述的方法，其特征在于，在所述加工链路上，按照所述目标数据源的流向依次为数据源获取阶段、数据清洗阶段、数据预处理阶段和数据统计阶段，所述获取所述目标对象集群的目标画像数据，包括：

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述获取所述目标对象集群的目标画像数据之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述加工链路包括多个任务阶段，所述获取所述目标对象集群的目标画像数据之后，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述响应于接收到的画像查询请求，从所述画像查询请求提取预设条件、以及确定符合所述预设条件的目标数据源之前，所述方法还包括：

9.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括第一类服务器集群和多个第二类服务器集群，所述第一类服务器集群用于执行如权利要求1-8任意一项所述的数据处理方法，所述多个第二类服务器集群分别负责执行加工链路上每一任务阶段的任务，所述方法包括：

10.根据权利要求9所述的方法，其特征在于，在所述加工链路包括数据源获取阶段、数据预处理阶段和数据统计阶段的情况下，

11.根据权利要求9所述的方法，其特征在于，所述第一类服务器集群利用预设关系型数据库管理系统保存所述多个第二类服务器集群的上报数据。

12.一种数据处理装置，其特征在于，所述装置包括：

13.一种电子设备，其特征在于，所述电子设备包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述至少一个处理器加载并执行以实现如权利要求1-8任意一项所述的数据处理方法、或如权利要求9-11任意一项所述的数据处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-8任意一项所述的数据处理方法、或如权利要求9-11任意一项所述的数据处理方法。

技术总结本申请涉及数据处理方法、装置、电子设备及存储介质。上述方法包括响应于接收到的画像查询请求，从画像查询请求提取预设条件、以及确定符合预设条件的目标数据源；获取目标对象集群的目标画像数据，以基于目标画像数据进行针对加工链路的异常监测，目标画像数据用于表征针对目标数据源的加工链路上各个任务阶段的目标阶段指标数据。本申请提供了一种更具全局性的对象集群画像，通过这样的画像可以实现准确有效的画像质量监测，从而为相关用户提供更具针对性的服务。这样的画像可以为画像的运维管理提供整体性数据，提高运维管理的准确度和效率。本申请实施例可应用于云技术、人工智能、智慧交通、智慧娱乐等各种场景。技术研发人员：彭承晴受保护的技术使用者：腾讯科技（北京）有限公司技术研发日：技术公布日：2024/9/12