一种处理系统性能监控数据的方法和系统与流程

1.本发明涉及数据库运维领域，更具体地，涉及用于系统性能监控数据的处理优化的方法和系统。


背景技术：

2.随着互联网时代的高速发展，企业业务的复杂性以及用户需求的多样性不断增加，用户及企业对业务平台的稳定性提出了越来越高的要求。为了提高业务平台的稳定性，构建一个良好的监控体系，通过对业务平台的实时监控实现及时预警并发现故障，通过存储的监控数据实现故障追查问题定位，不仅能够为用户提供稳定、高效、安全的服务，还能够方便运维人员进行日常的维护工作和对异常问题的排查，这对企业的发展具有非常重要的意义。
3.在业务平台的监控部署过程中，系统性能监控非常重要，是业务平台监控的基础。系统性能监控主要包括cpu(例如cpu使用率，cpu空闲率，系统负载等)、内存(例如总内存，已经使用内存项，剩余内存，文件系统buffer/cache占用空间，真正使用空间等)、磁盘(例如磁盘容量监控，磁盘io利用率监控，wait时延监控等)、网络(例如网卡流量监控，网卡丢包率监控等)、数据库(例如空间使用率监控、数据库进程系统资源使用监控、请求数监控、并发连接监控等等)等等。在实际监控过程中，一台服务器，系统性能监控项一般有30个，每分钟获取一次数据，一天数据量就是43,200条数据。对于1000台服务器而言，一天阈值类监控的数据量就是43,200,000条，正常情况下要求数据存储半年以上，因此存储海量监控数据对服务器的要求非常高，企业中的大规模监控的压力主要凸显在性能上。为了实现海量监控数据的存储，企业需要花费巨大的资源使用成本以及运维成本，如何对海量监控数据进行处理，在保证实时性的前提下极大的降低企业成本，是目前监控运维领域的一个重要挑战同时也是一大热点。
4.当前应对海量监控数据存储的一个主要方式是降低数据采集频率并降低监控数据存储的时间，但是这种方法牺牲了数据的实时性，影响了安装告警的及时性而且由于无法反映系统当时的真实运行情况不利于故障定位问题排查。
5.中国专利申请“监测系统实时数据压缩存储方法”(201711328408.1)中提出以字节为单位比较本时刻采集的监控记录和上次采集的监控记录是否相同，当本次监控记录与上次监控记录完全相同，采用完全相同压缩存储方法存储本次监控记录；若不相同，则计算采用变化记录压缩存储方法存储本次监控记录。该专利申请中介绍的方法虽然对监控数据进行了压缩，使得监控数据所占用存储空间有所降低，但是仍存储了大量重复冗余并且对监控告警以及故障定位作用极低的无效数据。
6.中国专利申请“一种工业监控平台海量数据处理系统及方法”(201811130154.7)中提出了单阈值筛选方法、累计阈值筛选方法以及单阈值和累计阈值组合筛选方法三种数据压缩方法。这三种方法的核心思想均是将当前采集监控数据与最临近的上一次采集数据的差值与预设阈值进行比较，根据比较的结果来剔除或者保留本次的监控数据。该专利申
请通过剔除大量复杂以及低效数据，有效的节省了存储资源。但是在该专利申请中用于对比的预设阈值是固定，在实际的监控中，远低于告警阈值的数据对于故障告警和问题定位并未太大作用，而对于接近告警阈值的数据则需更多关注，因此该专利申请中固定预设法阈值的数据压缩方法无法做到兼顾高效数据压缩以及有效数据的存储。
7.因此，当前的系统性能监控虽然通过实时的监控数据采集以及监控数据存储实现了故障预警以及故障定位，极大的提高了业务平台的稳定性，但是当前的系统性能监控产生了海量的监控数据，需求企业花费大量金额来进行数据存储及运维，极大地提高了企业的运营成本。为了在保证监控数据可靠且有效的前提下进一步降低企业的运维成本，希望提供一种改进的系统性能监控数据计算处理方法。


技术实现要素：

8.提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
9.本方法对当前采集到的系统性能监控数据进行预处理，获得当前数据与上次的存储数据差值的绝对值，当绝对值小于给出的性能转移阈值时，本次采集到的数据将被舍弃，当差值不小于给出的性能转移阈值时，本次采集到的数据将会进行存储。而且对于系统性能监控，监控数据越接近告警阈值，越有利于故障告警以及问题定位，有效性越高。本方法中给定的性能转移阈值是动态变化的，与系统性能监控数据具有相关性，数据越接近告警阈值，其对应的性能转移阈值越小，即尽可能存储有效性高的数据。
10.根据本发明的一个方面，提供了一种用于处理系统性能监控数据的方法，其中所述方法包括：
11.获取本次监控数据v
*
以及前一次监控数据v；
12.基于所述本次监控数据v
*
获得对应于所述本次监控数据v
*
的性能转移阈值v^；
13.计算所述本次监控数据v
*
以及所述前一次监控数据v的性能差值δ；
14.将所述性能差值δ与所述性能转移阈值v^相比较；以及
15.若δ<v^，则舍弃本次监控数据v
*
，否则，将本次监控数据v
*
存入监控数据库。
16.根据本发明的一个实施例，所述性能转移阈值v^随着本次监控数据v
*
的增大而减小。
17.根据本发明的进一步实施例，基于以下公式来获得所述性能转移阈值v^：
[0018][0019]
其中，v表示当前监控数据对应的阈值等级，并且根据以下公式计算：
[0020][0021]
其中v1～v
n
是当前监控数据在相应阈值等级下的预设定数值，l1～l
n
是用于对阈值等级进行区段划分的预设定数值。
[0022]
根据本发明的进一步实施例，所述v1～v
n
及l1～l
n
的具体数值根据不同的监控数据类别进行设置，并且其中v1～v
n
采用定值或者递减序列。
[0023]
根据本发明的进一步实施例，所述方法还包括：通过线性插值填补两个存储周期之间的数据空缺。
[0024]
根据本发明的进一步实施例，采用以下公式来计算线性插值：
[0025][0026]
其中，t表示采样周期，t0为第一个存储周期对应的采样周期，t1为第二个存储周期对应采样周期的前一个采样周期，v0和v1分别为t0和t1周期所对应的阈值类监控的数值。
[0027]
根据本发明的另一方面，提供了一种系统性能监控系统，其中所述监控系统包括：
[0028]
监控数据采集模块，所述监控数据采集模块被配置成获取本次监控数据v
*
以及前一次监控数据v；
[0029]
监控数据评估模块，所述监控数据评估模块被配置从基于所述本次监控数据v
*
获得对应于所述本次监控数据v
*
的性能转移阈值v^；
[0030]
监控数据检测模块，所述监控数据检测模块被配置成计算所述本次监控数据v
*
以及所述前一次监控数据v的性能差值δ；以及
[0031]
监控数据处理模块，所述监控数据处理模块被配置成：
[0032]
将所述性能差值δ与所述性能转移阈值v^相比较；以及
[0033]
若δ<v^，则舍弃本次监控数据v
*
，否则，将本次监控数据v
*
存入监控数据库。
[0034]
根据本发明的一个实施例，其中所述监控数据评估模块基于以下公式来获得所述性能转移阈值v^：
[0035][0036]
其中，v表示当前监控数据对应的阈值等级，并且根据以下公式计算：
[0037][0038]
其中v1～v
n
是当前监控数据在相应阈值等级下的预设定数值，l1～l
n
是用于对阈值等级进行区段划分的预设定数值，并且其中v1～v
n
采用定值或者递减序列。
[0039]
根据本发明的进一步实施例，所述监控数据处理模块被进一步配置成通过线性插值填补两个存储周期之间的数据空缺，其中线性插值采用以下公式来计算：
[0040][0041]
其中，t表示采样周期，t0为第一个存储周期对应的采样周期，t1为第二个存储周期对应采样周期的前一个采样周期，v0和v1分别为t0和t1周期所对应的阈值类监控的数值。
[0042]
根据本发明的又一方面，提供了一种用于监控系统性能的系统，其特征在于，所述系统包括：
[0043]
监控数据库，所述监控数据库被配置成存储监控数据；以及
[0044]
监控系统，所述监控系统被配置成执行如上所述的方法。
[0045]
与现有技术中的方案相比，本发明所提供的监控系统和方法至少具有以下优点：
[0046]
(1)有效的实现数据压缩，能够在准确且可靠的获得系统性能实时监控数据的同时，剔除大量的冗余重复数据，高效的节省存储资源，降低企业运营成本。此外企业监控中常规监控主要是系统性能监控，本方法可以高效提高常规类监控的压缩性能，压缩存储可达90％。
[0047]
(2)能够根据当前的系统监控数据调节监控数据存储的性能阈值，这对于存储可用于故障告警和问题定位的有效数据并降低有效性低数据的存储具有极大的作用。
[0048]
(3)具备通用性，可根据不同业务平台对于阈值类系统性能监控数据的要求来调整监控告警阈值以及其对应的监控数据范围(性能转移阈值)，这使得该方法可使用于不同行业的不同业务平台的系统监控数据处理。
[0049]
(4)具备完整性，对于在允许范围内浮动且为进行存储的数据使用线性插值法进行填充，在不影响数据分析正确性的前提下尽可能保证数据的完整性。
[0050]
通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
[0051]
为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
[0052]
图1是根据本发明的一个实施例的用于系统性能监控数据的处理和优化的监控系统的示例架构图。
[0053]
图2是根据本发明的一个实施例的用于系统性能监控数据的处理和优化的方法的流程图。
具体实施方式
[0054]
下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
[0055]
图1是根据本发明的一个实施例的用于系统性能监控数据的处理和优化的监控系统100的示例架构图。如图1中所示，本发明的监控系统100包括：监控数据采集模块101、监控数据评估模块102、监控数据检测模块103、以及监控数据处理模块104。监控数据采集模块101采集所监控的各项系统性能监控数据，并且既可以从被监控的系统中直接获取实时系统性能数据(也称当前或本次监控数据)，也可以从与监控系统分开的监控数据库中获得前一次的监控数据。其中，获取的前一次监控数据，称之为标准数据值，获取的本次监控数据，称之为对比数据值。监控数据评估模块102根据本次监控数据即对比数据值获得当前对比数据值所对应的性能转移阈值。监控数据检测模块103获得对比数据值与标准数据值的
差值的绝对值δ，称之为性能差值。监控数据处理模块104这进一步对比性能差值与性能转移阈值，若性能差值小于性能转移阈值则舍弃本次的对比数据，若性能差值不小于性能转移阈值，则将本次的对比数据值存入监控数据库，并作为下次监控数据处理的标准数据值。
[0056]
本领域技术人员能够理解，本发明的监控系统及其各模块既可以以硬件形式实现，也可以以软件形式实现，并且各模块可以任意合适的方式合并或组合。此外，监控系统与监控数据库一般是分开的，例如监控系统被配置于被监控的系统中或附近，而监控数据库可以是分开或云端的数据库服务器，但监控系统也可以被实现为与监控数据库集成在一起。
[0057]
图2是根据本发明的一个实施例的用于系统性能监控数据的处理和优化的方法200的流程图。方法开始于步骤201，监控系统100的监控数据采集模块101获取本次监控数据，称之为对比数据值v
*
，并且从监控数据库获取前一次监控数据，称之为标准数据值v。令数据获取周期为t，即监控系统每隔时间t获取一次系统性能监控数据。
[0058]
步骤202，监控数据评估模块102根据本次监控数据(即对比数据值v
*
)获得当前对比数据值对应的性能转移阈值v^。性能转移阈值v^可根据公式(1)获得：
[0059][0060]
从公式(1)可见，性能转移阈值v^随对比数据值v
*
的增大而减小。此外，在公式(1)中，v表示当前监控数据对应的阈值等级，等级越高，监控数据可浮动的范围越小，具体计算如公式(2)所示：
[0061][0062]
在公式(2)中，v1～v
n
是当前监控数据在相应阈值等级下的预设定数值，l1～l
n
是用于对阈值等级进行区段划分的预设定数值。例如在cpu利用率监控场景下，将监控数据v
*
划分为0-80％、80％-90％、90％-100％三档，对应的监控阈值波动范围分别为10％、5％和1％，当cpu占用率为70％时，性能转移阈值
[0063]
作为一个非限制性示例，v1～v
n
及l1～l
n
的具体数值可根据不同的阈值类监控进行设置，并且根据具体业务场景，v1～v
n
可采用定值或者递减序列以满足性能转移阈值v^随对比数据值v
*
的增大而减小。
[0064]
在步骤203，监控数据检测模块103计算步骤201中获取的标准数据值v与对比数据值v
*
的性能差值δ，即
[0065]
δ＝|v
*-v|
ꢀꢀ
(3)
[0066]
在步骤204，监控数据处理模块104将步骤2中根据公式(1)获取的性能阈值v^与步骤203中根据公式(3)获取的性能差值δ进行对比。若δ＜v^，则在步骤205，舍弃本次的对比数据值v
*
，否则，方法前进至步骤206，将本次的对比数据值v
*
存入监控数据库。
[0067]
对于连续多个周期监控数值不超过性能阈值的情况，将会产生较大的数据空缺。虽然监控数据大体在当前水平允许的范围内浮动，但多个周期的数据空缺将不利于事后的数据分析。因此，可选地，方法200还可包括步骤207，通过线性插值填补两个存储周期之间
的数据空缺。作为一个非限制性示例，可采用的插值函数的计算公式如下：
[0068][0069]
其中，t表示采样周期，t0为第一个存储周期对应的采样周期，t1为第二个存储周期对应采样周期的前一个采样周期，v0和v1分别为t0和t1周期所对应的阈值类监控的数值，周期t0和t1之间的所有周期的监控数据填充数值均可由公式(4)计算得到。
[0070]
以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。