日志安全检测、模型训练方法、装置、设备、介质和产品与流程

本发明实施例涉及网络安全检测，尤其涉及一种日志安全检测、模型训练方法、装置、设备、介质和产品。

背景技术：

1、网络安全和数据安全是数字经济时代最重要的安全支撑，而系统日志，可以详细的描述和记录某种行为和状态，其丰富的内容信息能够帮助企业进行事件分析，内容取证等等，同时从法律角度来讲，日志也是重要的电子证据，准确的日志记录和审计，能够帮助用户有效的减少信息泄露，可以帮助和保障用户的数据信息安全，几乎所有的系统和软件都会生成详细的日志，考虑到互联网中每天都会生成大量日志数据，手动查看越来越困难，这也从业务上引入日志审计系统带来了契机，随着业务扩张带来的技术进步和设备的不断增加，也需要对日志进行科学有效的管理。

2、而现有的日志的检测都是基于扁平式结构，且基本都是基于粗粒度展开的，扁平式结构的安全检测方法通常无法捕捉到安全威胁的细节和特征，导致检测的准确性较低，扁平式结构无法对不同层次的特征进行分析，可能会导致较高的误报率和漏报率；其次，粗粒度建模方式可能无法准确地区分不同类型的安全威胁，会将不同类型的威胁归为同一类别，导致无法精确地识别和处理特定的安全风险。

技术实现思路

1、本发明实施例提供一种日志安全检测、模型训练方法、装置、设备、介质和产品，以解决现有的扁平式结构检测无法捕捉到安全威胁的细节和特征，导致检测的准确性较低问题。

2、为了解决上述技术问题，本发明是这样实现的：

3、第一方面，本发明实施例提供了一种日志安全检测模型的训练方法，包括：

4、获取训练集，其中，所述训练集中包括多个样本日志数据，所述多个样本日志数据中包括涉及安全信息的样本日志数据和不涉及安全信息的样本日志数据，所述涉及安全信息的样本日志数据包括以属性信息构建的层次化结构数据；

5、将所述以属性信息构建的层次化结构数据转化为以属性信息的元组的形式构建的线性序列数据；将所述线性序列数据输入待训练的日志安全检测模型，所述日志安全检测模型学习所述涉及安全信息的样本日志数据的以属性信息构建的层次化结构数据，得到学习后的日志安全检测模型；

6、将所述多个样本日志数据输入所述学习后的日志安全检测模型，所述学习后的日志安全检测模型对所述样本日志数据的不同属性信息进行层次化结构检测，根据检测结果输出预测结果，所述预测结果包括所述样本日志数据是否为涉及安全信息的样本日志数据；

7、根据所述预测结果对所述日志安全检测模型进行优化，得到训练后的日志安全检测模型。

8、可选的，所述获取训练集之前，还包括：

9、获取样本日志数据，并将所述样本日志数据标注为涉及安全信息的样本日志数据或不涉及安全信息的样本日志数据，得到所述训练集，其中，涉及安全信息的样本日志数据与不涉及安全信息的样本日志数据的比例相同。

10、可选的，所述将所述以属性信息构建的层次化结构数据转化为以属性信息的元组的形式构建的线性序列数据，包括：

11、通过深度优先搜索遍历所述涉及安全信息的样本日志数据，将所述以属性信息构建的层次化结构数据转化为以属性信息的元组的形式构建的线性序列数据。

12、可选的，所述将所述多个样本日志数据输入所述学习后的日志安全检测模型，所述学习后的日志安全检测模型对所述样本日志数据的不同属性信息进行层次化结构检测，根据检测结果输出预测结果，包括：

13、所述学习后的日志安全检测模型对所述样本日志数据的不同属性信息进行层次化结构检测，得到检测结果，所述检测结果为以属性信息的元组的形式构建的线性序列数据；

14、所述学习后的日志安全检测模型通过深度优先搜索遍历所述检测结果，将以属性信息的元组的形式构建的线性序列数据转化为以属性信息构建的层次化结构数据，输出预测结果。

15、第二方面，本发明实施例提供了一种日志安全检测的方法，包括：

16、获取日志数据；

17、将所述日志数据输入如第一方面中任一项所述的训练好的日志安全检测模型，所述日志安全检测模型对所述日志数据的不同属性信息进行层次化结构检测，根据检测结果输出预测结果，所述预测结果包括所述日志数据是否为涉及安全信息的样本日志数据。

18、可选的，所述日志安全检测模型对所述日志数据的不同属性信息进行层次化结构检测，根据检测结果输出预测结果，包括：

19、所述日志安全检测模型对所述日志数据的不同属性信息进行层次化结构检测，得到检测结果，所述检测结果为以属性信息的元组的形式构建的线性序列数据；

20、所述日志安全检测模型通过深度优先搜索遍历所述检测结果，将以属性信息的元组的形式构建的线性序列数据转化为以属性信息构建的层次化结构数据，输出以属性信息构建的层次化结构数据的预测结果。

21、第三方面，本发明实施例提供了一种日志安全检测模型的训练装置，包括：

22、第一获取模块，用于获取训练集，其中，所述训练集中包括多个样本日志数据，所述多个样本日志数据中包括涉及安全信息的样本日志数据和不涉及安全信息的样本日志数据，所述涉及安全信息的样本日志数据包括以属性信息构建的层次化结构数据；

23、第一处理模块，用于将所述以属性信息构建的层次化结构数据转化为以属性信息的元组的形式构建的线性序列数据；将所述线性序列数据输入待训练的日志安全检测模型，所述日志安全检测模型学习所述涉及安全信息的样本日志数据的以属性信息构建的层次化结构数据，得到学习后的日志安全检测模型；

24、第二处理模块，用于将所述多个样本日志数据输入所述学习后的日志安全检测模型，所述学习后的日志安全检测模型对所述样本日志数据的不同属性信息进行层次化结构检测，根据检测结果输出预测结果，所述预测结果包括所述样本日志数据是否为涉及安全信息的样本日志数据；

25、优化模块，用于根据所述预测结果对所述日志安全检测模型进行优化，得到训练后的日志安全检测模型。

26、可选的，还包括：

27、第三处理模块，用于获取样本日志数据，并将所述样本日志数据标注为涉及安全信息的样本日志数据或不涉及安全信息的样本日志数据，得到所述训练集，其中，涉及安全信息的样本日志数据与不涉及安全信息的样本日志数据的比例相同。

28、可选的，所述第一处理模块，包括：

29、第一转化模块，用于通过深度优先搜索遍历所述涉及安全信息的样本日志数据，将所述以属性信息构建的层次化结构数据转化为以属性信息的元组的形式构建的线性序列数据。

30、可选的，所述第二处理模块，包括：

31、第一检测模块，用于所述学习后的日志安全检测模型对所述样本日志数据的不同属性信息进行层次化结构检测，得到检测结果，所述检测结果为以属性信息的元组的形式构建的线性序列数据；

32、第二转化模块，用于所述学习后的日志安全检测模型通过深度优先搜索遍历所述检测结果，将以属性信息的元组的形式构建的线性序列数据转化为以属性信息构建的层次化结构数据，输出预测结果。

33、第四方面，本发明实施例提供了一种日志安全检测的装置，包括：

34、第二获取模块，用于获取日志数据；

35、第四处理模块，用于将所述日志数据输入如第一方面中任一项所述的训练好的日志安全检测模型，所述日志安全检测模型对所述日志数据的不同属性信息进行层次化结构检测，根据检测结果输出预测结果，所述预测结果包括所述日志数据是否为涉及安全信息的样本日志数据。

36、可选的，所述第四处理模块，包括：

37、第二检测模块，用于所述日志安全检测模型对所述日志数据的不同属性信息进行层次化结构检测，得到检测结果，所述检测结果为以属性信息的元组的形式构建的线性序列数据；

38、第三转化模块，用于所述日志安全检测模型通过深度优先搜索遍历所述检测结果，将以属性信息的元组的形式构建的线性序列数据转化为以属性信息构建的层次化结构数据，输出以属性信息构建的层次化结构数据的预测结果。

39、第五方面，本发明实施例提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中任一项所述的日志安全检测模型的训练方法中的步骤，或如第二方面中任一项所述的日志安全检测模型的训练方法中的步骤。

40、第六方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面中任一项所述的日志安全检测模型的训练方法中的步骤，或如第二方面中任一项所述的日志安全检测的方法中的步骤。

41、第七方面，本发明实施例提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面中任一项所述的日志安全检测模型的训练方法中的步骤，或如第二方面中任一项所述的日志安全检测的方法中的步骤。

42、在本发明中，通过获取多个样本日志数据中涉及安全信息的样本日志数据，并学习所述涉及安全信息的样本日志数据中以属性信息构建的层次化结构数据，以此挖掘日志中的层次化信息，使得模型可以检测不同属性间存在的不同安全问题，更好地进行日志安全监测。