一种数据采集方法、装置、设备和存储介质与流程

本技术涉及设备运维，具体涉及一种数据采集方法、装置、设备和存储介质。

背景技术：

1、在现代互联网基础设施中，服务器每天都会产生大量数据，其中包括：系统日志、应用日志、性能指标等，这些数据的数量庞大且内容复杂多变。为了保证系统的安全性和可靠性，需要对服务器进行故障监控。在传统的故障监控方式中，依靠固定的规则或者公式来监控服务器所产生的数据的变化，从而判断服务器是否发生故障，这种传统方法往往过于死板，无法应对复杂多变的故障模式而且无法分析故障产生的实际原因，故障诊断和解决过程依靠人工完成，整个过程缓慢且效率低下。为了解决这一问题，引入了人工智能技术来提升故障分析和解决方案的智能化水平。大量采集服务器中产生的数据，通过机器学习算法和深度学习算法，训练故障预警模型从历史数据中学习故障模式识别，故障成因分析以及解决方案提供的能力。在训练完成之后，采集服务器中实时产生的数据，利用故障预警模型识别故障模式，分析故障成因并且提供解决方案。

2、但是，无论是在故障预警模型的训练阶段，还是在故障预警模型的应用阶段，均采用固定的数据采集规则从服务器中采集数据进行故障预警，例如：采用固定的采集间隔，采集固定类型的数据，这一数据采集过程忽略了服务器的性能变化，容易影响服务器的正常运行。例如：服务器在处理数据过程中，随着待处理数据的数据量变化，服务器的性能会随时发生变化，如果在服务器性能较差时，采用较小的采集间隔，采集大量固定类型的数据，将会导致服务器的性能进一步下降，甚至会出现宕机的可能性。

技术实现思路

1、本技术提供了一种数据采集方法、装置、设备和存储介质，以解决现有的数据采集过程忽略了服务器的性能变化，容易影响服务器的正常运行的问题。

2、为了解决上述技术问题，本技术是通过如下技术方案来解决的：

3、本技术实施例提供了一种数据采集方法，包括：通过监测目标系统的性能负载数据，确定所述目标系统的性能状态等级；根据所述目标系统的性能状态等级，确定数据采集参数；基于所述数据采集参数，在所述目标系统中，采集原始数据；在所述原始数据中提取关键指标数据，以便利用预设的故障预警模型根据所述关键指标数据进行故障预警。

4、其中，所述通过监测目标系统的性能负载数据，确定所述目标系统的性能状态等级，包括：监控所述目标系统的至少一项性能负载数据；读取多个预设性能状态等级分别对应的状态条件；确定所述至少一项性能负载数据符合的状态条件对应的性能状态等级，作为所述目标系统的性能状态等级。

5、其中，所述至少一项性能负载数据包括：cpu使用率和内存占用率；所述多个预设性能状态等级包括：低性能状态等级、中性能状态等级和高性能状态等级；所述确定所述至少一项性能负载数据符合的状态条件对应的性能状态等级，包括：将所述cpu使用率分别与预设的第一cpu使用率阈值和第二cpu使用率阈值进行比较，并且，将所述内存占用率分别与预设的第一内存占用率阈值和第二内存占用率阈值进行比较；其中，所述第一cpu使用率阈值大于所述第二cpu使用率阈值；所述第一内存占用率阈值大于所述第二内存占用率阈值；如果所述cpu使用率大于所述第一cpu使用率阈值，或者，所述内存占用率大于所述第一内存占用率阈值，则确定所述至少一项性能负载数据符合的状态条件对应低性能状态等级；如果所述cpu使用率小于所述第二cpu使用率阈值，并且，所述内存占用率小于所述第二内存占用率阈值，则确定所述至少一项性能负载数据符合的状态条件对应高性能状态等级；否则，确定所述至少一项性能负载数据符合的状态条件对应中性能状态等级。

6、其中，所述根据所述目标系统的性能状态等级，确定数据采集参数，包括：在预先为多个性能状态等级分别设置的数据采集参数中，确定所述目标系统的性能状态等级对应的样本采集数据；其中，不同的性能状态等级对应不同的数据采集参数；在每个所述数据采集参数中，包括：采集频率和采集层级；所述采集频率是指：相邻两次采集原始数据的时间间隔；所述采集层级是指：原始数据所属的数据类型。

7、其中，所述多个预设性能状态等级包括：低性能状态等级、中性能状态等级和高性能状态等级；所述基于所述数据采集参数，在所述目标系统中，采集原始数据，包括：如果所述目标系统的性能状态等级为低性能状态等级，则采用预设的第一采集频率，在所述目标系统中，采集系统层级的原始数据；如果所述目标系统的性能状态等级为中性能状态等级，则采用预设的第二采集频率，在所述目标系统中，采集应用层级的原始数据；如果所述目标系统的性能状态等级为高性能状态等级，则采用预设的第三采集频率，在所述目标系统中，采集数据层级的原始数据；其中，所述第一采集频率、所述第二采集频率和所述第三采集频率的值依次增大。

8、其中，所述在所述原始数据中提取关键指标数据，包括：针对所述原始数据执行预处理；在预处理后的所述原始数据中，提取各个数据特征；按照每个所述数据特征的类型，对各个所述数据特征进行聚类处理，形成至少一个特征集合；在每个所述特征集合中，提取用于故障预测的数据特征，作为关键指标数据。

9、其中，所述利用预设的故障预警模型根据所述关键指标数据进行故障预警，包括：在模型应用阶段，将所述关键指标数据输入所述故障预警模型，以便所述故障预警模型根据所述关键指标数据输出故障预警数据；在模型训练阶段，为所述关键指标数据设置标签，形成训练样本数据；将所述训练样本数据输入所述故障预警模型，以便所述故障预警模型根据所述训练样本数据输出故障预警数据，并且，基于所述标签和所述故障预警数据调整所述故障预警模型。

10、其中，所述将所述训练样本数据输入所述故障预警模型，包括：将所述训练样本数据分发给预设的多个训练节点；其中，所述多个训练节点采用不同的机器学习算法；指示每个所述训练节点将所述训练样本数据输入位于所述训练节点的所述故障预警模型，以便基于所述训练样本数据对所述故障预警模型执行基于联邦学习的模型训练。

11、其中，所述基于所述数据采集参数，在所述目标系统中，采集原始数据，包括：在模型训练阶段，基于所述数据采集参数，在所述目标系统中，采集增量的原始数据。

12、本技术实施例还提供了一种数据采集装置，包括：第一确定模块，用于通过监测目标系统的性能负载数据，确定所述目标系统的性能状态等级；第二确定模块，用于根据所述目标系统的性能状态等级，确定数据采集参数；数据采集模块，用于基于所述数据采集参数，在所述目标系统中，采集原始数据；数据提取模块，用于在所述原始数据中提取关键指标数据，以便利用预设的故障预警模型根据所述关键指标数据进行故障预警。

13、本技术实施例还提供了一种数据采集设备，包括：至少一个通信接口；与所述至少一个通信接口相连接的至少一个总线；与所述至少一个总线相连接的至少一个处理器；与所述至少一个总线相连接的至少一个存储器，其中，所述处理器被配置为：执行所述存储器中存储的数据采集程序，以实现上述任一项所述的数据采集方法。

14、本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被执行，以实现上述任一项所述的数据采集方法。

15、本技术的有益效果如下：

16、在本技术实施例中，通过监测目标系统的性能负载数据，确定所述目标系统的性能状态等级；根据所述目标系统的性能状态等级，确定数据采集参数；基于所述数据采集参数，在所述目标系统中，采集原始数据；在所述原始数据中提取关键指标数据，以便利用预设的故障预警模型根据所述关键指标数据进行故障预警。本技术实施例并非采用一成不变的采集规则，而是关注目标系统的性能变化，通过监控目标系统的性能负载数据，动态调整与目标系统当前的性能适配的数据采集的方式，增强数据采集的灵活性，避免了数据采集的过程影响目标系统的正常运行的问题。