数据处理方法、装置及系统与流程

本说明书实施例涉及计算机，数据处理方法、装置及系统。

背景技术：

1、随着大数据时代的到来，数据的计算与存储面临着巨大的挑战。在此环境下，云计算服务应运而生。服务管理平台面向用户提供具有强大的计算与存储能力的服务。服务管理平台能面向用户够提供本地存储、本地计算、云存储、云计算等多种服务。然而，由于服务类型多种多样，服务商数量不断上升，加之用户对自身需求判断失误，导致计算资源和存储资源出现浪费现象。

2、现有技术中，通常是由服务管理平台对计算性能和存储性能进行优化的方式，提高计算资源和存储资源的使用率，然而这种优化方式难度较大，且优化效果不显著。因此，亟需一种较为有效的数据处理方法以解决上述问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理系统，一种数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种数据处理方法，应用于服务平台，所述服务平台用于管控服务节点集群中的目标服务节点，包括：

3、获取所述目标服务节点的资源使用数据集；

4、基于所述目标服务节点匹配的数据统计策略，对所述资源使用数据集中与至少两个资源指标分别对应的资源使用数据进行数据统计，获得每个资源指标对应的统计信息；

5、根据每个资源指标对应的统计信息和效能计算信息确定每个资源指标对应的效能信息；

6、选择对应计算维度的资源指标对应的效能信息构建计算效能信息，以及选择对应存储维度的资源指标对应的效能信息构建存储效能信息；

7、根据所述计算效能信息和所述存储效能信息生成所述目标服务节点的节点更新任务，所述节点更新任务用于对所述目标服务节点的资源进行优化。

8、根据本说明书实施例的第二方面，提供了一种数据处理装置，应用于服务平台，所述服务平台用于管控服务节点集群中的目标服务节点，包括：

9、获取模块，被配置为获取所述目标服务节点的资源使用数据集；

10、统计模块，被配置为基于所述目标服务节点匹配的数据统计策略，对所述资源使用数据集中与至少两个资源指标分别对应的资源使用数据进行数据统计，获得每个资源指标对应的统计信息；

11、确定模块，被配置为根据每个资源指标对应的统计信息和效能计算信息确定每个资源指标对应的效能信息；

12、构建模块，被配置为选择对应计算维度的资源指标对应的效能信息构建计算效能信息，以及选择对应存储维度的资源指标对应的效能信息构建存储效能信息；

13、生成模块，被配置为根据所述计算效能信息和所述存储效能信息生成所述目标服务节点的节点更新任务，所述节点更新任务用于对所述目标服务节点的资源进行优化。

14、根据本说明书实施例的第三方面，提供了一种数据处理系统，包括服务平台和服务节点集群；

15、所述服务节点集群中的目标服务节点，用于响应于数据获取请求向所述服务平台提交资源使用数据集；

16、所述服务平台，用于基于所述目标服务节点匹配的数据统计策略，对所述资源使用数据集中与至少两个资源指标分别对应的资源使用数据进行数据统计，获得每个资源指标对应的统计信息；根据每个资源指标对应的统计信息和效能计算信息确定每个资源指标对应的效能信息；选择对应计算维度的资源指标对应的效能信息构建计算效能信息，以及选择对应存储维度的资源指标对应的效能信息构建存储效能信息；根据所述计算效能信息和所述存储效能信息生成节点更新任务，并将所述节点更新任务发送至所述目标服务节点；

17、所述目标服务节点，用于通过执行所述节点更新任务，对所述节点更新任务关联的本地资源进行优化。

18、根据本说明书实施例的第四方面，提供了一种计算设备，包括：

19、存储器和处理器；

20、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

21、根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据处理方法的步骤。

22、根据本说明书实施例的第六方面，提供了一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述数据处理方法的步骤。

23、本说明书一个实施例提供的数据处理方法，应用于服务平台，服务平台用于管控服务节点集群中的目标服务节点。基于采集到的目标服务节点的资源使用数据集统计各资源指标对应的统计信息，进而生成各资源指标的效能信息。通过构建好的计算效能信息和存储效能信息能够对目标服务节点的资源进行优化。从而提高目标服务节点提供的资源的资源使用率，能够使得目标服务节点的资源被合理的利用，避免资源浪费。此外，针对目标服务节点对应的服务商，能够基于计算效能信息、存储效能信息，以及每个资源指标对应的统计信息确定目标服务节点提供的资源的资源利用情况，从而有针对性的生成节点更新任务，通过执行节点更新任务对目标服务节点的资源进行优化，从而在节约服务商的成本的同时也避免了资源浪费，提高目标服务节点的资源利用率。

技术特征：

1.一种数据处理方法，应用于服务平台，所述服务平台用于管控服务节点集群中的目标服务节点，包括：

2.根据权利要求1所述的数据处理方法，所述至少两个资源指标，包括：

3.根据权利要求1所述的数据处理方法，任意一个资源指标对应的效能信息的确定，包括：

4.根据权利要求1所述的数据处理方法，所述选择对应计算维度的资源指标对应的效能信息构建计算效能信息，包括：

5.根据权利要求1所述的数据处理方法，所述根据所述计算效能信息和所述存储效能信息生成所述目标服务节点的节点更新任务，包括：

6.根据权利要求1所述的数据处理方法，所述根据所述计算效能信息和所述存储效能信息生成所述目标服务节点的节点更新任务，包括：

7.根据权利要求1所述的数据处理方法，所述根据所述计算效能信息和所述存储效能信息生成所述目标服务节点的节点更新任务之后，还包括：

8.根据权利要求1所述的数据处理方法，所述获取所述目标服务节点的资源使用数据集，包括：

9.一种数据处理装置，应用于服务平台，所述服务平台用于管控服务节点集群中的目标服务节点，包括：

10.一种数据处理系统，包括服务平台和服务节点集群；

11.一种计算设备，包括：

12.一种计算机可读存储介质，其存储有计算机程序或指令，该计算机程序或指令被处理器执行时实现权利要求1至8任意一项所述数据处理方法的步骤。

13.一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现权利要求1至8任意一项所述数据处理方法的步骤。

技术总结本说明书实施例提供数据处理方法、装置及系统，数据处理方法应用于服务平台，服务平台用于管控服务节点集群中的目标服务节点。获取目标服务节点的资源使用数据集；基于目标服务节点匹配的数据统计策略，对资源使用数据集中与至少两个资源指标分别对应的资源使用数据进行数据统计，获得每个资源指标对应的统计信息；根据每个资源指标对应的统计信息和效能计算信息确定每个资源指标对应的效能信息；选择对应计算维度的资源指标对应的效能信息构建计算效能信息以及选择对应存储维度的资源指标对应的效能信息构建存储效能信息；根据计算效能信息和存储效能信息生成目标服务节点的节点更新任务，节点更新任务用于对目标服务节点的资源进行优化。技术研发人员：杨定裕,韩宇捷,徐志杰,廖浩宇受保护的技术使用者：阿里巴巴（中国）有限公司技术研发日：技术公布日：2024/7/29