日志留存性能检测方法及装置与流程

本技术涉及网络安全，具体而言，涉及一种日志留存性能检测方法及装置。

背景技术：

1、随着互联网业务应用的发展，网络安全风险也在增加。为了保证网络的公共安全并为用户提供更全面的服务，网络管理者通常需要通过关键日志信息来定位问题和运行时异常。为了实现这一目标，需要对相关业务系统的上网日志进行记录，并根据上网日志数据确定日志留存性能，以便为网络管理者提供决策支持。

2、然而，目前确定日志留存性能的常规方法均存在一定弊端：无法根据日志数据实际传输量对上网日志留存质量进行检测，同时常规日志检测易出现漏检、错误信息不易检出进而导致日志检测效率低的问题。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种日志留存性能检测方法及装置，以至少解决相关技术中日志留存性能监控结果不准确、效率低下的技术问题。

2、根据本技术实施例的一个方面，提供了一种日志留存性能检测方法，包括：接收待存储的第一日志数据，并检测第一日志数据的传输状态；在第一日志数据接收完成时，确定与传输状态对应的目标数据抽取方式，并依据目标数据抽取方式从第一日志数据中抽取目标日志数据，其中，目标数据抽取方式包括：在传输状态满足预设告警条件时依据预设告警条件确定的第一数据抽取方式，或，在传输状态不满足预设告警条件时预设的第二数据抽取方式；将第一日志数据存储至目标存储节点，并在第一日志数据存储完成时，获取目标存储节点反馈的依据目标数据抽取方式从存储的第一日志数据中抽取的目标日志回传数据；将目标日志数据与目标日志回传数据进行比较，并依据比较结果确定第一日志数据的日志留存性能。

3、可选地，检测第一日志数据的传输状态，包括：在接收第一日志数据的过程中，检测以下传输状态至少之一：第一日志数据在单位时间内的数据传输量、数据传输量峰值；在第一日志数据接收完成时，检测以下传输状态至少之一：第一日志数据的数据总量、第一日志数据的数据传输时长与第二日志数据的数据传输时长之间的传输时长差值，其中，第二日志数据为第一日志数据的前一组日志数据。

4、可选地，在确定与传输状态对应的目标数据抽取方式之前，方法还包括：在接收第一日志数据的过程中，若检测到单位时间内的数据传输量超过第一预设阈值，和/或，数据传输量峰值超过第二预设阈值，确定传输状态满足预设的第一告警条件，并发出告警信息，其中，告警信息用于提示第一日志数据的日志留存性能可能存在异常；在第一日志数据接收完成时，若检测到数据总量超过第三预设阈值，和/或，传输时长差值超过第四预设阈值，确定传输状态满足预设的第二告警条件，并发出告警信息。

5、可选地，第一数据抽取方式包括：第一子抽取方式或第二子抽取方式，其中，第一子抽取方式包括：在传输状态满足第一告警条件时，依据单位时间内的数据传输量超过第一预设阈值的频率确定第一数据抽取频率，并依据数据传输量峰值确定每次抽取时的第一数据抽取量，依据第一数据抽取频率和第一数据抽取量对第一日志数据进行数据抽取，得到目标日志数据；第二子抽取方式包括：在传输状态满足第二告警条件时，确定数据总量的预设比例为数据抽取总量，并依据目标方式抽取数据抽取总量的日志数据作为目标日志数据，其中，目标方式包括以下之一：随机抽取、依据预设的第二数据抽取频率抽取、依据预设的每次抽取时的第二数据抽取量抽取；第二数据抽取方式包括以下至少之一：随机抽取预设量的日志数据作为目标日志数据、依据预设的第三数据抽取频率对第一日志数据进行数据抽取、依据预设的每次抽取时的第三数据抽取量对第一日志数据进行数据抽取。

6、可选地，将目标日志数据与目标日志回传数据进行比较，并依据比较结果确定第一日志数据的日志留存性能，包括：依据第一日志数据的存储完成时刻与目标日志回传数据的接收开始时刻之间的时间间隔确定第一日志数据的日志响应灵敏性；依据目标日志数据的第一数据量与目标日志回传数据的第二数据量之间的差值确定第一日志数据的日志存储完整性；依据目标日志数据与目标日志回传数据之间的内容相似度确定第一日志数据的日志存储准确性；依据目标日志数据与目标日志回传数据中的各段日志子数据的顺序差异确定第一日志数据的日志录入精准度。

7、可选地，在依据比较结果确定第一日志数据的日志留存性能之后，方法还包括：依据传输状态和日志留存性能对预设告警条件进行调整。

8、可选地，依据传输状态和日志留存性能对预设告警条件进行调整，包括：若传输状态满足第一告警条件，且日志留存性能满足预设性能要求，增大第一预设阈值或第二预设阈值；若传输状态满足第二告警条件，且日志留存性能满足预设性能要求，增大第三预设阈值或第四预设阈值；若传输状态不满足第一告警条件和第二告警条件，且日志留存性能不满足预设性能要求，减小第一预设阈值、第二预设阈值、第三预设阈值和第四预设阈值。

9、根据本技术实施例的另一方面，还提供了一种日志留存性能检测装置，包括：接收模块，用于接收待存储的第一日志数据，并检测第一日志数据的传输状态；提取模块，用于在第一日志数据接收完成时，确定与传输状态对应的目标数据抽取方式，并依据目标数据抽取方式从第一日志数据中抽取目标日志数据，其中，目标数据抽取方式包括：在传输状态满足预设告警条件时依据预设告警条件确定的第一数据抽取方式，或，在传输状态不满足预设告警条件时预设的第二数据抽取方式；存储模块，用于将第一日志数据存储至目标存储节点，并在第一日志数据存储完成时，获取目标存储节点反馈的依据目标数据抽取方式从存储的第一日志数据中抽取的目标日志回传数据；比较模块，用于将目标日志数据与目标日志回传数据进行比较，并依据比较结果确定第一日志数据的日志留存性能。

10、根据本技术实施例的另一方面，还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序，其中，计算机程序被处理器执行时实现上述的日志留存性能检测方法。

11、根据本技术实施例的另一方面，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行上述的日志留存性能检测方法。

12、在本技术实施例中，接收待存储的第一日志数据，并检测第一日志数据的传输状态；在第一日志数据接收完成时，确定与传输状态对应的目标数据抽取方式，并依据目标数据抽取方式从第一日志数据中抽取目标日志数据，其中，目标数据抽取方式包括：在传输状态满足预设告警条件时依据预设告警条件确定的第一数据抽取方式，或，在传输状态不满足预设告警条件时预设的第二数据抽取方式；将第一日志数据存储至目标存储节点，并在第一日志数据存储完成时，获取目标存储节点反馈的依据目标数据抽取方式从存储的第一日志数据中抽取的目标日志回传数据；将目标日志数据与目标日志回传数据进行比较，并依据比较结果确定第一日志数据的日志留存性能。其中，根据日志数据的传输状态设置不同的告警条件，可以对日志数据的多种传输情况进行全面检测，同时根据日志传输状态设置不同的数据提取方式，可以针对性地获取数据，更准确地确定日志留存性能，进而提高日志留存性能的检测效率以及检测准确性，有效解决了相关技术中日志留存性能监控结果不准确、效率低下的技术问题。