一种资源监控的方法、装置、存储介质及设备与流程

1.本技术涉及大数据技术领域，尤其涉及一种资源监控的方法、装置、存储介质及设备。


背景技术：

2.随着数字化转型浪潮的来袭，国内各大银行纷纷建立起以服务自身业务为导向的企业级大数据平台，大数据平台资源监控的重要性也日渐提升。
3.目前，大数据平台通常采用虚拟机搭建分布式集群环境进行资源监控，通过资源监控命令可查看某个服务器节点的核心资源使用情况，由于hadoop集群(以下简称集群)中通常包含多个服务器节点，若想要查看集群资源项的使用情况，需要通过资源监控命令来逐个进行查看，十分繁琐，导致资源监控的效率低下。
4.因此，如何提高资源监控的效率，成为本领域人员亟需解决的问题。


技术实现要素：

5.本技术提供了一种资源监控的方法、装置、存储介质及设备，目的在于提高资源监控的效率。
6.为了实现上述目的，本技术提供了以下技术方案：
7.一种资源监控的方法，包括：
8.获取集群中各个服务器节点的资源项信息；
9.计算各个所述资源项信息的总和，得到资源项的总使用信息，并将所述资源项的总使用信息、各个所述服务器节点的所述资源项信息存储至数据库中；
10.当接收到用户的查询请求时，从所述数据库中获取所述目标资源项信息，并通过预设界面向所述用户展示所述目标资源项信息；所述目标资源项信息至少包括所述资源项的总使用信息、各个所述服务器节点的所述资源项信息。
11.可选的，所述资源项的总使用信息至少包括所述资源项的总使用率；
12.所述得到资源项的总使用信息之后，还包括：
13.判断所述资源项的总使用率是否超过预设阈值；
14.若所述资源项的总使用率未超过所述预设阈值，将所述资源项的总使用率输入至预先训练得到的预测模型中，得到所述预测模型输出的预测结果；所述预测结果至少包括所述资源项的目标使用率；所述目标使用率指示所述资源项所剩余的使用率。
15.可选的，所述预测模型的训练过程，包括：
16.基于样本资源项的总使用率作为输入，并以人工对所述样本资源项的总使用率标注的目标使用率作为训练目标，训练得到所述预测模型；所述人工标注的目标使用率为所述样本资源项所剩余的使用率。
17.可选的，所述判断所述资源项的总使用率是否超过预设阈值之后，还包括：
18.若所述资源项的总使用率超过所述预设阈值，通过所述预设界面向所述用户展示
告警信息。
19.可选的，所述得到所述预测模型输出的预测结果之后，还包括：
20.当接收到所述用户输入的任务请求时，判断所述资源项的所述目标使用率是否满足预设条件；所述预设条件为：所述目标使用率不小于任务所需的使用率；
21.若所述资源项的所述目标使用率满足所述预设条件，则控制任务系统执行与所述任务请求对应的所述任务。
22.可选的，所述判断资源项的目标使用率是否满足预设条件之后，还包括：
23.若所述资源项的所述目标使用率不满足所述预设条件，则通过所述预设界面向所述用户展示告警信息。
24.一种资源监控的装置，包括：
25.获取单元，用于获取集群中各个服务器节点的资源项信息；
26.计算单元，用于计算各个所述资源项信息的总和，得到资源项的总使用信息，并将所述资源项的总使用信息、各个所述服务器节点的所述资源项信息存储至数据库中；
27.展示单元，用于当接收到用户的查询请求时，从所述数据库中获取所述目标资源项信息，并通过预设界面向所述用户展示所述目标资源项信息；所述目标资源项信息至少包括所述资源项的总使用信息、各个所述服务器节点的所述资源项信息。
28.可选的，所述资源项的总使用信息至少包括所述资源项的总使用率；
29.还包括：
30.判断所述资源项的总使用率是否超过预设阈值；
31.若所述资源项的总使用率未超过所述预设阈值，将所述资源项的总使用率输入至预先训练得到的预测模型中，得到所述预测模型输出的预测结果；所述预测结果至少包括所述资源项的目标使用率；所述目标使用率指示所述资源项所剩余的使用率。
32.一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的资源监控的方法。
33.一种资源监控的设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
34.所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行所述的资源监控的方法。
35.本技术提供的技术方案，获取集群中各个服务器节点的资源项信息；计算各个资源项信息的总和，得到资源项的总使用信息，并将资源项的总使用信息、各个服务器节点的资源项信息存储至数据库中；当接收到用户的查询请求时，从数据库中获取目标资源项信息，并通过预设界面向用户展示目标资源项信息，与现有技术相比，在用户想要了解资源项的总使用情况时，不需要逐个查看服务器节点的使用情况，可以直接从数据库中获取资源项的总使用信息，因此，提高了资源监控的效率。
附图说明
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
37.图1为本技术实施例提供的一种资源监控的方法的流程图；
38.图2为本技术实施例提供的另一种资源监控的方法的流程图；
39.图3为本技术实施例提供的一种资源监控的装置的架构示意图；
40.图4为本技术实施例提供的一种资源监控的设备的架构示意图。
具体实施方式
41.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.如图1所示，为本技术实施例提供的一种资源监控的方法的流程图，包括：
43.s101：获取集群中各个服务器节点的资源项信息。
44.其中，资源项信息至少包括资源项的使用率、资源项的总量、资源项的使用量，资源项包括但不限于为：内存、硬盘、hadoop分布式文件系统(hdfs)、hadoop资源管理系统(yarn)、cpu。
45.可选的，可通过资源查询命令获取集群中各个服务器节点的资源项信息(例如获取hdfs、yarn的信息)。
46.s102：计算各个资源项信息的总和，得到资源项的总使用信息。
47.其中，资源项的总使用信息至少包括资源项的总使用率。
48.可选的，可利用内置函数计算资源项的总使用信息，利用内置函数计算资源项的总使用信息的具体实现方式，为本领域人员公知的常识，这里不再赘述。
49.s103：判断资源项的总使用率是否超过预设阈值。
50.若资源项的总使用率超过预设阈值，则执行s104，否则执行s105。
51.具体的，假设预设阈值为80％，总资源项的使用率为50％，判断资源项的总使用率是否超过预设阈值，显然，资源项的总使用率50％，未超过预设阈值80％，为此，继续执行s105。
52.具体的，假设预设阈值为70％，资源项的总使用率为80％，判断资源项的总使用率是否超过预设阈值，显然，资源项的总使用率80％，未超过预设阈值70％，为此，继续执行s104。
53.可选的，预设阈值可根据实际需求进行设定，在此不作具体限制。
54.需要说明的是，判断资源项的总使用率是否超过预设阈值，在资源项的总使用率超出预设阈值时，告知用户资源项的总使用率已超出预设阈值，使得用户能够快速做出反应。
55.s104：通过预设界面向用户展示告警信息。
56.其中，当资源项的总使用率超过预设阈值时，通过预设界面向用户展示告警信息。
57.具体的，假设预设阈值为60％，资源项的总使用率为61％。判断资源项的总使用率是否超过预设阈值，显然，资源项的总使用率61％，超过预设阈值60％，因此，通过预设界面向用户展示告警信息。
58.需要说明的是，通过预设界面向用户发送告警信息，为了让用户获悉资源项的总使用率的情况，用户能够针对告警信息制定计划，解决资源项的总使用率超出预设阈值的情况。
59.s105：将资源项的总使用率输入至预测模型中，得到预测模型输出的预测结果。
60.其中，预测结果至少包括资源项的目标使用率，目标使用率指示资源项所剩余的使用率。
61.需要强调的是，预测模型基于样本资源项的总使用率作为输入，并以人工对样本资源项的总使用率标注的目标使用率作为训练目标，预先训练得到。在本实施例中，人工标注的目标使用率为样本资源项所剩余的使用率。
62.可选的，预测模型的类型包括但不限于：神经网络模型、支持向量机等监督学习模型。
63.具体的，假设预设阈值为70％，资源项的总使用率为68％，判断资源项的总使用率是否超过预设阈值，显然，资源项的总使用率68％，未超过预设阈值70％，为此，将资源项的总使用率输入至预测模型中，得到预测模型输出的预测结果。
64.s106：当接收到用户输入的任务请求时，判断资源项的目标使用率是否满足预设条件。
65.若资源项的目标使用率满足预设条件，则执行s107，否则执行s110。
66.其中，预设条件为：目标使用率不小于任务(例如存储文件到硬盘)所需的使用率。
67.具体的，假设任务所需的使用率为20％，目标使用率为21％，判断目标使用率是否不小于任务所需的使用率，显然，目标使用率不小于任务所需的使用率，为此，继续执行s107。
68.具体的，假设任务所需的使用率为11％，目标使用率为10％，判断目标使用率是否不小于任务所需的使用率，显然，目标使用率是否小于任务所需的使用率，为此，继续执行s110。
69.s107：控制任务系统执行与任务请求对应的任务。
70.执行s107之后，继续执行s108。
71.s108：将资源项总使用信息、各个服务器节点的资源项信息、告警信息存储至数据库中。
72.需要说明的是，将资源项总信息，各个服务器节点的资源项信息、告警信息存储至数据库中，在用户想要查看这些信息时，能够直接从数据库中获取，方便用户查看。
73.s109：当接收到用户输入的查看请求时，从数据库中获取目标资源项信息，并通过预设界面向用户展示目标资源项信息。
74.其中，查看请求指示查看目标资源项信息的请求，目标资源项信息至少包括资源项总使用信息、各个服务器节点的资源项信息、告警信息。
75.s110：通过预设界面向用户展示告警信息。
76.综上所述，获取集群中各个服务器节点的资源项信息，计算各个资源项信息的总和，得到资源项的总使用信息，与现有技术相比，在用户想要了解资源项的总使用情况时，不需要逐个查看服务器节点的使用情况，可以直接从数据库中获取资源项的总使用信息，因此，提高了资源监控的效率。
77.如图2所示，为本技术实施例提供的另一种资源监控的方法的流程图，包括：
78.s201：获取集群中各个服务器节点的资源项信息。
79.s202：计算各个资源项信息的总和，得到资源项的总使用信息，并将资源项的总使用信息、各个服务器节点的资源项信息存储至数据库中。
80.s203：当接收到用户的查询请求时，从数据库中获取目标资源项信息，并通过预设界面向用户展示目标资源项信息。
81.其中，目标资源项信息至少包括资源项的总使用信息、各个服务器节点的资源项信息。
82.综上所述，获取集群中各个服务器节点的资源项信息，计算各个资源项信息的总和，得到资源项的总使用信息，与现有技术相比，在用户想要了解资源项的总使用情况时，不需要逐个查看服务器节点的使用情况，可以直接从数据库中获取资源项的总使用信息，因此，提高了资源监控的效率。
83.需要说明的是，本发明提供的资源监控的方法可用于人工智能领域、区块链领域、分布式领域、云计算领域、大数据领域、物联网领域、移动互联领域、网络安全领域、芯片领域、虚拟现实领域、增强现实领域、全息技术领域、量子计算领域、量子通信领域、量子测量领域、数字孪生领域或金融领域。上述仅为示例，并不对本发明提供的资源监控的方法的应用领域进行限定。
84.本发明提供的资源监控的方法可用于金融领域或其他领域，例如，可用于金融领域中的交易应用场景。其他领域为除金融领域之外的任意领域，例如，大数据领域。上述仅为示例，并不对本发明提供的资源监控的方法的应用领域进行限定。
85.如图3所示，为本技术实施例提供的一种资源监控的装置的架构示意图，包括：
86.获取单元100，用于获取集群中各个服务器节点的资源项信息。
87.计算单元200，用于计算各个资源项信息的总和，得到资源项的总使用信息，并将资源项的总使用信息、各个服务器节点的资源项信息存储至数据库中。
88.计算单元200，还用于判断资源项的总使用率是否超过预设阈值；资源项的总使用信息至少包括资源项的总使用率；若资源项的总使用率未超过预设阈值，将资源项的总使用率输入至预先训练得到的预测模型中，得到预测模型输出的预测结果；预测结果至少包括资源项的目标使用率；目标使用率指示资源项所剩余的使用率。
89.计算单元200具体用于：基于样本资源项的总使用率作为输入，并以人工对样本资源项的总使用率标注的目标使用率作为训练目标，训练得到预测模型；人工标注的目标使用率为样本资源项所剩余的使用率。
90.计算单元200，还用于若资源项的总使用率超过预设阈值，通过预设界面向用户展示告警信息。
91.计算单元200，还用于当接收到用户输入的任务请求时，判断资源项的目标使用率是否满足预设条件；预设条件为：目标使用率不小于任务所需的使用率；若资源项的目标使用率满足预设条件，则控制任务系统执行与任务请求对应的任务。
92.计算单元200，还用于若资源项的目标使用率不满足预设条件，则通过预设界面向用户展示告警信息。
93.展示单元300，用于当接收到用户的查询请求时，从数据库中获取目标资源项信
息，并通过预设界面向用户展示目标资源项信息；目标资源项信息至少包括资源项的总使用信息、各个服务器节点的资源项信息。
94.综上所述，获取集群中各个服务器节点的资源项信息，计算各个资源项信息的总和，得到资源项的总使用信息，与现有技术相比，在用户想要了解资源项的总使用情况时，不需要逐个查看服务器节点的使用情况，可以直接从数据库中获取资源项的总使用信息，因此，提高了资源监控的效率。
95.本技术还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述本技术提供的资源监控的方法。
96.如图4所示，本技术还提供了一种资源监控的设备，包括：处理器401、存储器402和总线403。处理器401与存储器402通过总线403连接，存储器402用于存储程序，处理器401用于运行程序，其中，程序运行时执行上述本技术提供的资源监控的方法，包括如下步骤：
97.获取集群中各个服务器节点的资源项信息；
98.计算各个所述资源项信息的总和，得到资源项的总使用信息，并将所述资源项的总使用信息、各个所述服务器节点的所述资源项信息存储至数据库中；
99.当接收到用户的查询请求时，从所述数据库中获取所述目标资源项信息，并通过预设界面向所述用户展示所述目标资源项信息；所述目标资源项信息至少包括所述资源项的总使用信息、各个所述服务器节点的所述资源项信息。
100.可选的，所述资源项的总使用信息至少包括所述资源项的总使用率；
101.所述得到资源项的总使用信息之后，还包括：
102.判断所述资源项的总使用率是否超过预设阈值；
103.若所述资源项的总使用率未超过所述预设阈值，将所述资源项的总使用率输入至预先训练得到的预测模型中，得到所述预测模型输出的预测结果；所述预测结果至少包括所述资源项的目标使用率；所述目标使用率指示所述资源项所剩余的使用率。
104.可选的，所述预测模型的训练过程，包括：
105.基于样本资源项的总使用率作为输入，并以人工对所述样本资源项的总使用率标注的目标使用率作为训练目标，训练得到所述预测模型；所述人工标注的目标使用率为所述样本资源项所剩余的使用率。
106.可选的，所述判断所述资源项的总使用率是否超过预设阈值之后，还包括：
107.若所述资源项的总使用率超过所述预设阈值，通过所述预设界面向所述用户展示告警信息。
108.可选的，所述得到所述预测模型输出的预测结果之后，还包括：
109.当接收到所述用户输入的任务请求时，判断所述资源项的所述目标使用率是否满足预设条件；所述预设条件为：所述目标使用率不小于任务所需的使用率；
110.若所述资源项的所述目标使用率满足所述预设条件，则控制任务系统执行与所述任务请求对应的所述任务。
111.可选的，所述判断资源项的目标使用率是否满足预设条件之后，还包括：
112.若所述资源项的所述目标使用率不满足所述预设条件，则通过所述预设界面向所述用户展示告警信息。
113.本技术实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产
品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本技术实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
114.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
115.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。