一种告警数据压缩方法及装置与流程

本发明属于数据处理，尤其涉及一种告警数据压缩方法及装置。

背景技术：

1、相关技术中，传统处理告警数据时，存在数据量大、实时性要求高、需要在高负载环境下运行、数据来源复杂等问题，且在处理告警数据时，需要大量人工干预或处理，进而导致告警数据处理效率低。因此如何更好的实现处理告警数据成为亟待解决的问题。

技术实现思路

1、鉴于以上现有技术的不足，发明的目的在于提供一种告警数据压缩方法及装置，该方法减少了人工干预和处理，采用主成分分析方法调节特征数据保留情况，综合实现目标告警数据的智能压缩，以减少冗余信息，提高了告警数据的效率和可管理性。

2、本发明的第一方面，提出了一种告警数据压缩方法，包括：s1，实时获取告警数据；s2，采用预先训练好的支持向量机svm学习模型进行所述告警数据的划分，得到所述告警数据对应的等级，并对所述告警数据进行异常检测和处理；s3，根据所述告警数据对应的等级确定目标告警数据，并采用主成分分析方法对所述目标告警数据进行压缩以及对压缩后的所述目标告警数据进行汇总；s4，将压缩后的所述目标告警数据进行存储和备份。

3、进一步地，所述支持向量机svm学习模型可通过以下方式进行训练：获取历史告警数据，所述历史告警数据携带分类标签；对所述历史告警数据的特征信息进行转换和标准化，得到处理后的所述历史告警数据，并将处理后的所述历史告警数据划分为训练集和验证集；基于核函数和惩罚参数，将所述训练集输入至所述支持向量机svm学习模型进行训练，以得到训练好的所述支持向量机svm学习模型。

4、进一步地，采用预先训练好的支持向量机svm学习模型进行所述告警数据的划分，得到所述告警数据对应的等级，包括：根据所述训练好的所述支持向量机svm学习模型，确定第一超平面，并基于所述第一超平面对所述告警数据进行第一划分，得到第一划分后的所述告警数据对应的等级；在服务器资源利用率超过第一阈值和/或告警频率超过第二阈值的情况下，基于所述核函数和修正后的所述惩罚参数，将所述训练集输入至所述支持向量机svm学习模型进行训练，以得到训练好的所述支持向量机svm学习模型；根据所述训练好的所述支持向量机svm学习模型，确定目标超平面，并基于所述目标超平面对所述告警数据进行第二划分，得到所述告警数据对应的等级。

5、进一步地，采用主成分分析方法对所述目标告警数据进行压缩，包括：将所述目标告警数据作为主成分分析pca模型的训练集；对所述训练集中的每个特征进行均值归一化，得到新的训练集，并基于所述新的训练集进行训练，对所述目标告警数据进行压缩。

6、进一步地，对所述训练集中的每个特征进行均值归一化，得到新的训练集，并基于所述新的训练集进行训练，对所述目标告警数据进行压缩，包括：根据xj＝xj-μj对每个特征进行均值归一化，其中xj表示特征j的值，特征j的均值为μj；根据计算均值归一化后的特征数据的协方差矩阵，其中cov(i，j)表示特征i和特征j之间的协方差，m表示样本数量，k表示样本数据的序号，xk，i表示第k个样本的特征i的值，xk，j表示第k个样本的特征j的值；对所述均值归一化后的特征数据的协方差矩阵进行特征值分解，得到所述新的训练集；基于所述新的训练集进行训练，对所述目标告警数据进行压缩。

7、进一步地，对压缩后的所述目标告警数据进行汇总，包括：在压缩后的所述目标告警数据中获取相似度大于第一预设值或相关度大于第二预设值的告警数据；并将所述告警数据对应的等级上升为目标等级。

8、进一步地，将压缩后的所述目标告警数据进行存储和备份，包括：基于预设的存储策略对压缩后的所述目标告警数据进行存储；基于预设的备份策略对压缩后的所述目标告警数据进行备份。

9、本发明的第二方面，提出了一种告警数据压缩装置，包括：获取模块，用于实时获取告警数据；得到模块，用于采用预先训练好的支持向量机svm学习模型进行所述告警数据的划分，得到所述告警数据对应的等级，并对所述告警数据进行异常检测和处理；压缩模块，用于根据所述告警数据对应的等级确定目标告警数据，并采用主成分分析方法对所述目标告警数据进行压缩以及对压缩后的所述目标告警数据进行汇总；存储模块，用于将压缩后的所述目标告警数据进行存储和备份。

10、本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面中任一项所述的方法。

11、本发明的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本发明第一方面中任一项所述的方法。

12、本发明有益效果如下：

13、本发明所述的告警数据压缩方法及装置，实时获取告警数据；采用预先训练好的支持向量机svm学习模型进行告警数据的划分，得到告警数据对应的等级，并对告警数据进行异常检测和处理；根据告警数据对应的等级确定目标告警数据，并采用主成分分析方法对目标告警数据进行压缩以及对压缩后的目标告警数据进行汇总；将压缩后的目标告警数据进行存储和备份。该方法减少了人工干预和处理，采用主成分分析方法调节特征数据保留情况，综合实现目标告警数据的智能压缩，以减少冗余信息，提高了告警数据的效率和可管理性。

技术特征：

1.一种告警数据压缩方法，其特征在于，包括：

2.根据权利要求1所述的告警数据压缩方法，其特征在于，所述支持向量机svm学习模型可通过以下方式进行训练：

3.根据权利要求2所述的告警数据压缩方法，其特征在于，采用预先训练好的支持向量机svm学习模型进行所述告警数据的划分，得到所述告警数据对应的等级，包括：

4.根据权利要求1所述的告警数据压缩方法，其特征在于，采用主成分分析方法对所述目标告警数据进行压缩，包括：

5.根据权利要求4所述的告警数据压缩方法，其特征在于，对所述训练集中的每个特征进行均值归一化，得到新的训练集，并基于所述新的训练集进行训练，对所述目标告警数据进行压缩，包括：

6.根据权利要求1所述的告警数据压缩方法，其特征在于，对压缩后的所述目标告警数据进行汇总，包括：

7.根据权利要求1所述的告警数据压缩方法，其特征在于，将压缩后的所述目标告警数据进行存储和备份，包括：

8.一种告警数据压缩装置，其特征在于，包括：

9.一种电子设备，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。

技术总结本发明涉及一种告警数据压缩方法及装置，属于数据处理技术领域，该方法包括：实时获取告警数据；采用预先训练好的支持向量机SVM学习模型进行告警数据的划分，得到告警数据对应的等级，并对告警数据进行异常检测和处理；根据告警数据对应的等级确定目标告警数据，并采用主成分分析方法对目标告警数据进行压缩以及对压缩后的目标告警数据进行汇总；将压缩后的目标告警数据进行存储和备份。该方法减少了人工干预和处理，采用主成分分析方法调节特征数据保留情况，综合实现目标告警数据的智能压缩，以减少冗余信息，提高了告警数据的效率和可管理性。技术研发人员：刘严磊受保护的技术使用者：天翼云科技有限公司技术研发日：技术公布日：2024/7/29