一种业务协同日志数据智能检验方法、系统及介质与流程

本技术涉及数据检验，具体而言，涉及一种业务协同日志数据智能检验方法、系统及介质。

背景技术：

1、业财协同异常日志在线监测的研究旨在提高企业信息化的安全性、可靠性和效率。随着信息化程度的不断提高，企业的业务系统和数据量越来越庞大，异常情况也会变得越来越复杂和难以管理。异常日志是一种记录系统运行异常情况的重要手段，通过对异常日志的收集、分析和处理，可以帮助企业管理人员及时了解系统运行情况，准确定位问题，快速做出响应，从而保障企业的正常运营，现有的日志数据检验方法无法通过分析检验信息的偏差动态调整检验规则，影响数据检验精度，造成较大的检验误差，针对上述问题，目前亟待有效的技术解决方案。

技术实现思路

1、本技术实施例的目的在于提供一种业务协同日志数据智能检验方法、系统及介质，通过对获取的日志数据进行清洗，剔除无关信息，提高数据检验的效率，同时通过分析检验信息的偏差率，进行动态调整检验规则，提高数据检验精度。

2、本技术实施例还提供了一种业务协同日志数据智能检验方法，包括：

3、获取日志数据，对收集到的日志数据进行清洗，剔除无关信息，保留关键数据信息；

4、将关键数据信息进行异常分析，生成异常日志数据，基于检验规则对异常日志数据进行检验，得到检验信息；

5、将检验信息与设定的检验信息进行比较，得到检验偏差率；

6、判断所述检验偏差率是否大于或等于设定的检验偏差率阈值；

7、若大于或等于，则生成修正信息，基于修正信息调整检验规则；

8、若小于，则生成检验结果，将检验结果传输至终端。

9、可选地，在本技术实施例所述的业务协同日志数据智能检验方法中，获取日志数据，对收集到的日志数据进行清洗，剔除无关信息，保留关键数据信息，具体包括：

10、获取日志数据，将日志数据分类筛选，生成不同类别的数据；

11、分析不同类别数据之间的关联度，生成数据协同信息，并得到协同日志数据；

12、对协同日志数据进行清洗与预处理，分析协同日志数据的反应精度，判断协同日志数据的反应精度是否满足要求；

13、若满足要求，则生成关键数据信息；

14、若不满足要求，则去除重复数据、处理缺失值和异常值。

15、可选地，在本技术实施例所述的业务协同日志数据智能检验方法中，将关键数据信息进行异常分析，生成异常日志数据，具体包括：

16、获取日志数据，提取数据特征，将数据特征与设定的数据特征进行比较，得到特征偏差率；

17、判断所述特征偏差率是否大于或等于设定的特征偏差率阈值；

18、若大于或等于，则基于协同日志数据的反应精度生成异常日志数据；

19、若小于，则判定日志数据正常。

20、可选地，在本技术实施例所述的业务协同日志数据智能检验方法中，将关键数据信息进行异常分析，生成异常日志数据，具体包括：

21、获取历史日志数据，提取历史日志数据的特征，生成数据集合；

22、构建训练集与验证集的数据比例，基于训练集与验证集的数据比例将数据集合内的数据进行比例分类，生成训练集与验证集；

23、基于检测规则选择初始模型，并将训练集输入初始模型进行迭代训练，生成训练结果；

24、判断所述训练结果是否收敛；

25、若收敛，则生成异常检测模型，并将验证集内的数据输入异常检测模型进行验证，得到验证结果；

26、判断验证结果是否符合要求，若不符合要求，则基于验证结果调整异常检测模型的模型参数；

27、若符合要求，则得到最终的异常检测模型，基于最终的异常检测模型输出异常日志数据；

28、若不收敛，则调整训练集与验证集的数据比例，得到新的训练集，基于新的训练集对初始模型进行二次训练。

29、可选地，在本技术实施例所述的业务协同日志数据智能检验方法中，基于检验规则对异常日志数据进行检验，得到检验信息，具体包括：

30、基于检验规则对异常日志数据进行检验，生成异常日志数据的分布信息；

31、基于异常日志的分析信息分析数据的分布区间，判断异常日志数据的分布区间是否处于设定的区间；

32、若处于，则基于异常日志数据生成检验信息；

33、若不处于，则将超出设定区间的异常日志数据进行归一化处理，得到处理后的数据，将处理后的数据进行筛选，生成检验信息。

34、可选地，在本技术实施例所述的业务协同日志数据智能检验方法中，若大于或等于，则生成修正信息，基于修正信息调整检验规则，具体包括：

35、获取检验信息，基于设定的检验信息分析检验偏差率，所述检验偏差率包括第一检验偏差率阈值与第二检验偏差率阈值，且所述第一检验偏差率阈值小于第二检验偏差率阈值；

36、若检验偏差率大于第一检验偏差率阈值，且小于第二检验偏差率阈值，则生成第一修正信息，基于第一修正信息生成第一修正系数；

37、根据第一修正系数调整检验规则，生成第一检验规则；

38、若检验偏差率大于或等于第二检验偏差率阈值，则生成第二修正信息，基于第二修正信息生成第二修正系数；

39、根据第二修正系数调整检验规则，生成第二检验规则。

40、第二方面，本技术实施例提供了一种业务协同日志数据智能检验系统，该系统包括：存储器及处理器，所述存储器中包括业务协同日志数据智能检验方法的程序，所述业务协同日志数据智能检验方法的程序被所述处理器执行时实现以下步骤：

41、获取日志数据，对收集到的日志数据进行清洗，剔除无关信息，保留关键数据信息；

42、将关键数据信息进行异常分析，生成异常日志数据，基于检验规则对异常日志数据进行检验，得到检验信息；

43、将检验信息与设定的检验信息进行比较，得到检验偏差率；

44、判断所述检验偏差率是否大于或等于设定的检验偏差率阈值；

45、若大于或等于，则生成修正信息，基于修正信息调整检验规则；

46、若小于，则生成检验结果，将检验结果传输至终端。

47、可选地，在本技术实施例所述的业务协同日志数据智能检验系统中，获取日志数据，对收集到的日志数据进行清洗，剔除无关信息，保留关键数据信息，具体包括：

48、获取日志数据，将日志数据分类筛选，生成不同类别的数据；

49、分析不同类别数据之间的关联度，生成数据协同信息，并得到协同日志数据；

50、对协同日志数据进行清洗与预处理，分析协同日志数据的反应精度，判断协同日志数据的反应精度是否满足要求；

51、若满足要求，则生成关键数据信息；

52、若不满足要求，则去除重复数据、处理缺失值和异常值。

53、可选地，在本技术实施例所述的业务协同日志数据智能检验系统中，将关键数据信息进行异常分析，生成异常日志数据，具体包括：

54、获取日志数据，提取数据特征，将数据特征与设定的数据特征进行比较，得到特征偏差率；

55、判断所述特征偏差率是否大于或等于设定的特征偏差率阈值；

56、若大于或等于，则基于协同日志数据的反应精度生成异常日志数据；

57、若小于，则判定日志数据正常。

58、第三方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括业务协同日志数据智能检验方法程序，所述业务协同日志数据智能检验方法程序被处理器执行时，实现如上述任一项所述的业务协同日志数据智能检验方法的步骤。

59、由上可知，本技术实施例提供的一种业务协同日志数据智能检验方法、系统及介质，通过获取日志数据，对收集到的日志数据进行清洗，剔除无关信息，保留关键数据信息；将关键数据信息进行异常分析，生成异常日志数据，基于检验规则对异常日志数据进行检验，得到检验信息；将检验信息与设定的检验信息进行比较，得到检验偏差率；判断检验偏差率是否大于或等于设定的检验偏差率阈值；若大于或等于，则生成修正信息，基于修正信息调整检验规则；若小于，则生成检验结果，将检验结果传输至终端，首先对获取的日志数据进行清洗，剔除无关信息，提高数据检验的效率，同时通过分析检验信息的偏差率，进行动态调整检验规则，提高数据检验精度。