一种基于动态规则降低告警噪音的数据处理方法及系统与流程

本发明涉及数据处理，尤其涉及一种基于动态规则降低告警噪音的数据处理方法及系统。

背景技术：

1、在工业生产领域中，会产生大量、繁杂的告警数据，告警数据存在不同危险级别，如何在大量告警数据中，实时、准确地过滤出所需的告警数据，降低运维管理人员的工作压力，提升工作的质量是关键，鉴于此，本发明提供了一种基于动态规则降低告警噪音的数据处理方法及系统。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于动态规则降低告警噪音的数据处理方法及系统。

2、根据本发明的第一方面，提供了一种基于动态规则降低告警噪音的数据处理方法，包括：获取多种日志格式类型的原始日志数据；基于原始日志数据的日志格式类型，配置对应的日志解析规则，基于配置的日志解析规则，对相应日志格式类型的原始日志数据进行标准化处理，提取出日志内容关键信息；基于预定义的初步过滤规则，对日志内容关键信息进行初步过滤处理，得到有效日志内容关键信息；构建事件风险等级维度表，将事件风险等级维度表和有效日志内容关键信息进行关联，并构造包含风险等级信息的事件明细数据；对事件明细数据进行归一化处理，构造结构化事件数据；将所有归一化处理后的结构化事件数据输出至消息队列相应的目标主题下；基于web页面配置运维关注的动态规则，并在动态规则配置完成后，生成对应的flinksql计算任务，根据flinksql计算任务消费消息队列中目标主题下的结构化事件数据，得到降噪后的告警数据。

3、在一些实施例的一些可选的实现方式中，所述原始日志数据包括第一类原始日志数据和第二类原始日志数据，其中，所述第一类原始日志数据的来源为主机安全程序上报的原始日志数据，所述第二类原始日志数据的来源为终端设备输出的原始日志数据，且第二类原始日志数据为json格式数据。

4、在一些实施例的一些可选的实现方式中，所述基于原始日志数据的日志格式类型，配置对应的日志解析规则，包括：对于第一类原始日志数据，配置syslog解析规则作为对应的日志解析规则；对于第二类原始日志数据，配置json格式映射规则作为对应的日志解析规则。

5、在一些实施例的一些可选的实现方式中，所述对相应日志格式类型的原始日志数据进行标准化处理，提取出日志内容关键信息，包括：对于第一类原始日志数据，以pri和主机名为解析条件，采用syslog解析规则对相应日志格式类型的原始日志数据进行解析处理，解析出第一类原始日志数据的内容信息，并根据预设的映射规则，得到json格式的第一类日志内容关键信息；对于第二类原始日志数据，采用json格式映射规则对相应日志格式类型的原始日志数据进行标准化处理，得到第二类日志内容关键信息。

6、在一些实施例的一些可选的实现方式中，所述基于预定义的初步过滤规则，对日志内容关键信息进行初步过滤处理，得到有效日志内容关键信息，包括：基于预定义的初步过滤规则，分别对第一类日志内容关键信息和第二类日志内容关键信息进行初步过滤处理，过滤掉不满足初步过滤规则的无效信息，分别得到第一类有效日志内容关键信息和第二类有效日志内容关键信息。

7、在一些实施例的一些可选的实现方式中，所述构建事件风险等级维度表，将事件风险等级维度表和有效日志内容关键信息进行关联，并构造包含风险等级信息的事件明细数据，包括：基于第一类有效日志内容关键信息和第二类有效日志内容关键信息，分别构建第一类事件风险等级维度表和第二类事件风险等级维度表，所述第一类事件风险等级维度表包括一个或多个第一类关联识别表项，所述第一类关联识别表项包括第一类风险等级值和第一类风险等级信息，所述第二类事件风险等级维度表包括一个或多个第二类关联识别表项，所述第二类关联识别表项包括一个或多个关联条件信息、第二类风险等级值和第二类风险等级信息；基于第一类有效日志内容关键信息，计算相应的第一类日志风险等级值，具体的计算公式如下：；式中：level表示第一类日志风险等级值，level以十进制进行编码，且level的取值范围为0-5；pri表示日志的优先级；facility表示标识产生日志的程序或设备类型，且facility以十进制进行编码，且facility的取值范围为0-22；基于第一类日志风险等级值和第一类事件风险等级维度表的第一类风险等级值的字段形成的映射关系，将第一类事件风险等级维度表和第一类有效日志内容关键信息进行关联，得到对应第一类风险等级值的第一类风险等级信息，并对第一类有效日志内容关键信息进行标注，构造包含第一类风险等级信息的第一类事件明细数据；基于第二类有效日志内容关键信息，根据预定义的多个关联类型匹配数量区间以及对每个关联类型匹配数量区间赋予的第二类日志风险等级值，将第二类有效日志内容关键信息包含的内容信息字段与关联条件信息字段进行类型匹配比较，得到类型匹配数量结果，判断类型匹配数量结果所在的关联类型匹配数量区间，得到区间判断结果以及对应区间判断结果的第二类日志风险等级值，基于第二类日志风险等级值和第二类事件风险等级维度表的第二类风险等级值的字段形成的映射关系，将第二类事件风险等级维度表和第二类有效日志内容关键信息进行关联，得到对应第二类日志风险等级值的第二类风险等级信息，并对第二类有效日志内容关键信息进行标注，构造包含第二类风险等级信息的第二类事件明细数据。

8、在一些实施例的一些可选的实现方式中，所述对事件明细数据进行归一化处理，构造结构化事件数据，包括：根据预设数据格式中包含的映射内容信息字段，对第一类事件明细数据和第二类事件明细数据分别进行归一化处理，分别提取出对应映射内容信息字段所需的第一内容信息字段和第二内容信息字段，基于提取的第一内容信息字段和第二内容信息字段，分别构造第一结构化事件数据和第二结构化事件数据。

9、根据本发明的第二方面，提供了一种基于动态规则降低告警噪音的数据处理系统，包括：日志获取模块，用于获取多种日志格式类型的原始日志数据；第一数据处理模块，用于基于原始日志数据的日志格式类型，配置对应的日志解析规则，基于配置的日志解析规则，对相应日志格式类型的原始日志数据进行标准化处理，提取出日志内容关键信息；第二数据处理模块，用于基于预定义的初步过滤规则，对日志内容关键信息进行初步过滤处理，得到有效日志内容关键信息；事件明细数据构造模块，用于构建事件风险等级维度表，将事件风险等级维度表和有效日志内容关键信息进行关联，并构造包含风险等级信息的事件明细数据；结构化事件数据构造模块，用于对事件明细数据进行归一化处理，构造结构化事件数据；写入模块，用于将所有归一化处理后的结构化事件数据输出至消息队列相应的目标主题下；降噪模块，用于基于web页面配置运维关注的动态规则，并在动态规则配置完成后，生成对应的flinksql计算任务，根据flinksql计算任务消费消息队列中目标主题下的结构化事件数据，得到降噪后的告警数据。

10、根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

11、根据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。

12、本发明的优点及有益效果在于：本发明提供的一种基于动态规则降低告警噪音的数据处理方法及系统，该方法通过获取多种日志格式类型的原始日志数据，并依次对原始日志数据依次进行标准化处理、初步过滤处理和归一化处理，得到结构化事件数据，以便提取出共性的内容信息数据，同时，通过在web页面配置运维关注的动态规则，能够在用户自定义运维关注需求后，实现动态生成过滤规则的目的，相较于传统的预置规则，不仅实现针对不同运维关注需求灵活配置不同的动态规则，还能够有效提取出运维关注需求的告警数据，并且有效减少告警数据展示的数量，使其从繁杂的告警数据中解放出来，从而提升用户的工作效率。