数据分析方法、装置、电子设备及存储介质与流程

本申请涉及数据处理，具体而言，涉及一种数据分析方法、装置、电子设备及存储介质。

背景技术：

1、为了提高网络安全性，安全分析人员可使用安全规则来对各类已知或未知的安全问题进行检测和分析，受使用产品计算资源的限制，分析产品同时能承载的安全规则是有限的，为了能运行尽可能多的安全规则，安全分析人员需要能观察自己所使用的安全规则的相关运行情况，比如对计算资源的占用，以便能对安全规则进行合理的优化，使得产品计算资源得到最大化的利用。

2、传统安全产品通常使用单机架构，安全规则在一个节点上运行，因此计算资源的使用监控会相对容易做到。随着安全理念的更新，产品的迭代升级，需要处理和存储的数据越来越多，安全产品也慢慢从单机过渡到集群，安全规则的运行也从单进程任务变成了分布式任务，在分布式的运行模式下，安全规则从之前单进程的整体运行变成的分布式下的碎片化运行，在这种分布式、碎片化的运行情况下，目前的方案难以实现对安全规则的运行情况的分析和监控。

技术实现思路

1、本申请实施例的目的在于提供一种数据分析方法、装置、电子设备及存储介质，用以改善现有方式难以对分布式下的安全规则的运行情况进行分析和监控。

2、第一方面，本申请实施例提供了一种数据分析方法，所述方法包括：

3、获取目标分析任务的运行数据，其中，所述目标分析任务运行在集群的各个目标节点中，所述目标分析任务是指执行多个安全规则的分析任务；

4、根据所述运行数据分析所述目标分析任务中各个安全规则的运行情况。

5、在上述实现过程中，通过获取目标分析任务的运行数据，然后根据运行数据分析目标分析任务中各个安全规则的运行情况，如此能够对目标分析任务在集群节点中所运行的安全规则的运行情况进行监控和分析，从而可便于安全分析人员了解到各个安全规则对计算资源的占用，为后续对安全规则的优化提供数据支持。

6、可选地，所述运行数据包括各个安全规则对应的运行实例的运行数据，根据所述运行数据分析所述目标任务中各个安全规则的运行情况，包括：

7、根据安全规则对应的运行实例的运行数据，分析该安全规则的运行情况。

8、在上述实现过程中，目标分析任务的运行数据可细分为安全规则对应的运行实例的运行数据，如此可便于根据安全规则对应的运行实例的运行数量来实现安全规则的运行情况的分析。

9、可选地，所述根据安全规则对应的运行实例的运行数据，分析该安全规则的运行情况，包括：

10、根据安全规则对应的运行实例的运行数据，分析该安全规则的总耗时、最近时段的总耗时、数据处理平均耗时和/或最近时段的数据处理平均耗时，所述运行情况包括总耗时、最近时段的总耗时、数据处理平均耗时和/或最近时段的数据处理平均耗时。

11、在上述实现过程中，可从安全规则的总耗时、最近时段的总耗时、数据处理平均耗时等方面来对安全规则的运行情况进行分析，以实现对安全规则的运行情况的细化分析。

12、可选地，所述运行实例的运行数据包括所述运行实例从所述目标分析任务启动到结束的总时长、运行实例从上次获得运行数据到结束的最近时段和/或从所述目标分析任务启动到结束的输入数据量，所述根据安全规则对应的运行实例的运行数据，分析该安全规则的运行情况，包括：

13、将安全规则对应的运行实例从所述目标分析任务启动到结束的总时长进行累加，得到该安全规则的总耗时；

14、和/或，将安全规则对应的运行实例从上次获得运行数据到结束的最近时段进行累加，得到该安全规则的最近时段的总耗时；

15、和/或，将安全规则的总耗时除以所述输入数据量，得到该安全规则的数据处理平均耗时；

16、和/或，将安全规则的最近时段的总耗时除以所述输入数据量，得到该安全规则的最近时段的数据处理平均耗时。

17、在上述实现过程中，通过统计安全规则的运行实例的相关数据可实现对安全规则的运行情况的准确分析。

18、可选地，每个安全规则包括多个规则逻辑节点，多个安全规则中具有相同数据源的规则逻辑节点对应同一个运行实例，其中，规则逻辑节点表征安全规则中用于处理数据的类型节点。通过将相同数据源的规则逻辑节点的运行实例进行合并，如此可节省内部资源的占用。

19、可选地，每个安全规则包括多个规则逻辑节点，规则逻辑节点表征安全规则中用于处理数据的类型节点，所述根据所述运行数据分析所述目标分析任务中各个安全规则的运行情况，包括：

20、所述根据所述运行数据分析所述目标分析任务中各个安全规则中各个规则逻辑节点的运行情况。

21、在上述实现过程中，通过分析各个安全规则中各个规则逻辑节点的运行情况，可便于了解安全规则中各个规则逻辑节点的资源占用情况，如此可快速定位到需要优化的规则逻辑节点。

22、可选地，所述根据所述运行数据分析所述目标分析任务中各个安全规则的运行情况之后，还包括：

23、按照设定规则将各个安全规则的运行情况进行排序，以及将排序后的各个安全规则的运行情况输出。如此可便于安全分析人员快速了解到需要关注的安全规则，进而对需要优化的安全规则进行快速定位。

24、第二方面，本申请实施例提供了一种数据分析装置，所述装置包括：

25、数据获取模块，用于获取目标分析任务的运行数据，其中，所述目标分析任务运行在集群的各个目标节点中，所述目标分析任务是指执行多个安全规则的分析任务；

26、运行情况分析模块，用于根据所述运行数据分析所述目标分析任务中各个安全规则的运行情况。

27、第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

28、第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

29、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如上述第一方面提供的方法中的步骤。

30、本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种数据分析方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述运行数据包括各个安全规则对应的运行实例的运行数据，根据所述运行数据分析所述目标任务中各个安全规则的运行情况，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据安全规则对应的运行实例的运行数据，分析该安全规则的运行情况，包括：

4.根据权利要求3所述的方法，其特征在于，所述运行实例的运行数据包括所述运行实例从所述目标分析任务启动到结束的总时长、运行实例从上次获得运行数据到结束的最近时段和/或从所述目标分析任务启动到结束的输入数据量，所述根据安全规则对应的运行实例的运行数据，分析该安全规则的运行情况，包括：

5.根据权利要求2所述的方法，其特征在于，每个安全规则包括多个规则逻辑节点，多个安全规则中具有相同数据源的规则逻辑节点对应同一个运行实例，其中，规则逻辑节点表征安全规则中用于处理数据的类型节点。

6.根据权利要求1所述的方法，其特征在于，每个安全规则包括多个规则逻辑节点，规则逻辑节点表征安全规则中用于处理数据的类型节点，所述根据所述运行数据分析所述目标分析任务中各个安全规则的运行情况，包括：

7.根据权利要求1所述的方法，其特征在于，所述根据所述运行数据分析所述目标分析任务中各个安全规则的运行情况之后，还包括：

8.一种数据分析装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。

11.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-7任一所述的方法。

技术总结本申请提供一种数据分析方法、装置、电子设备及存储介质，涉及数据处理技术领域。该方法通过获取目标分析任务的运行数据，然后根据运行数据分析目标分析任务中各个安全规则的运行情况，如此能够对目标分析任务在集群节点中所运行的安全规则的运行情况进行监控和分析，从而可便于安全分析人员了解到各个安全规则对计算资源的占用，为后续对安全规则的优化提供数据支持。技术研发人员：覃永靖受保护的技术使用者：奇安信科技集团股份有限公司技术研发日：技术公布日：2024/7/29