基于机器学习的网络安全威胁检测方法及系统

本发明涉及网络安全数据处理，尤其涉及基于机器学习的网络安全威胁检测方法及系统。

背景技术：

1、随着互联网的快速发展和信息技术的普及，网络安全问题日益突出。各种网络威胁如病毒、木马、恶意软件、钓鱼攻击、拒绝服务攻击（ddos）、零日漏洞攻击等频繁出现，给企业和个人带来了巨大的经济损失和安全隐患。对网络安全威胁检测的方式随着演化也越来越多样，通过机器学习进行网络安全威胁检测逐渐受到关注。机器学习技术通过对大量数据的训练，能够自动提取特征、识别模式和分类，提高了检测的准确性和效率。特别是深度学习技术的应用，使得威胁检测系统能够处理复杂的网络数据，并在检测精度和实时性方面表现出色。然而，传统的基于机器学习的网络安全威胁检测方法存在已知危险监测的局限性，并且统一检测网络安全存在计算量过大且资源过载的情况。

技术实现思路

1、基于此，本发明提供一种基于机器学习的网络安全威胁检测方法及系统，以解决至少一个上述技术问题。

2、为实现上述目的，一种基于机器学习的网络安全威胁检测方法，包括以下步骤：

3、步骤s1：获取网络接口数据；基于预设的网络数据监测脚本对网络接口数据进行网络数据流监测处理，生成流量监测数据；

4、步骤s2：对流量监测数据进行数据包解析，生成流量解析数据；基于监督学习算法对流量解析数据进行解析流量的结构化信息异常分类处理，分别得到结构化异常流量解析数据以及结构化常规流量解析数据；

5、步骤s3：获取用户网络行为数据；根据用户网络行为数据以及结构化异常流量解析数据对结构化常规流量解析数据进行解析流量的溯源异常分类处理，分别得到溯源异常流量解析数据以及溯源常规流量解析数据；

6、步骤s4：根据结构化异常流量解析数据以及溯源异常流量解析数据对流量监测数据进行异常流量解析数据提取，以得到异常流量解析数据，并将异常流量解析数据传输至预设的网络安全检测系统执行解析异常流量拦截作业；根据溯源常规流量解析数据对流量监测数据进行初步安全流量监测数据提取，生成初步安全流量监测数据；

7、步骤s5：采集初步安全流量监测数据对应的流量行为信息，并标记为初步安全流量行为数据；基于聚类算法对初步安全流量行为数据进行异常流量行为模式识别，得到异常流量行为数据；基于异常流量行为数据对初步安全流量行为数据进行网络攻击流量识别，生成网络攻击流量数据；基于网络攻击流量数据设计网络攻击流量安全拦截机制，并将网络攻击流量安全拦截机制传输至预设的网络安全检测系统执行恶意加密流量拦截作业。

8、本发明通过实时获取网络接口数据，确保监测的及时性和数据的最新性，通过预设的网络数据监测脚本，对网络数据流进行高效处理，确保数据流监测的准确性和稳定性，能够实现对所有通过网络接口的数据进行全面监测，覆盖范围广泛，避免遗漏潜在的威胁数据。对流量监测数据进行数据包解析，提取明文的流量解析数据，确保数据的准确性和完整性，基于监督学习算法对解析数据进行分类处理，提高了结构化信息异常分类的精度，能够有效区分明文流量数据中的异常流量和常规流量，通过结构化异常流量解析数据的生成，快速识别和响应潜在的网络威胁，提高检测效率。结合用户网络行为数据，将流量解析数据与具体用户行为关联起来，提高异常检测的准确性，通过溯源异常分类处理，追溯到异常流量的来源，帮助定位潜在的攻击源，增强安全性，利用结构化异常流量解析数据对常规流量数据进行验证，确保检测结果的可靠性和一致性。根据异常流量解析数据进行流量拦截，能够精准地识别和拦截异常流量，防止潜在威胁对系统造成危害，初步安全流量监测数据的生成，为后续的行为分析和模式识别提供了基础数据，能够动态调整安全策略，将异常流量解析数据传输至预设的网络安全检测系统，实现实时监控和处理，提高系统的反应速度和防护能力。采集和标记初步安全流量行为数据，为后续的聚类分析和模式识别提供了基础，有助于深入分析流量行为模式，通过聚类算法进行异常流量行为模式识别，识别出潜在的异常行为，提高威胁检测的准确性，基于异常流量行为数据进行网络攻击流量识别，能够及时预警潜在的网络攻击，提升系统的防护能力，设计并实施网络攻击流量安全拦截机制，有效拦截恶意流量，防止其对网络安全造成危害。因此，本发明的基于机器学习的网络安全威胁检测方法是分析实时的网络异常流量数据进行危险监测，保障网络安全检测的全面性，并且通过考虑不同的网络攻击或网络木马特征进行网络安全检测，保障了网络安全检测的数据分析时硬件运行的负载能力。

9、优选地，步骤s1包括以下步骤：

10、步骤s11：获取网络接口数据；

11、步骤s12：根据预设的网络数据监测脚本对网络接口数据进行初始网络数据流监测处理，生成初始流量监测数据；

12、步骤s13：根据初始流量监测数据进行流量监测日志采集，生成流量监测日志数据；

13、步骤s14：对流量监测日志数据进行日志特征提取，生成流量监测日志特征数据；利用流量监测日志特征数据对初始流量监测数据进行监测日志特征信息标识，生成流量监测数据。

14、本发明通过获取网络接口数据，实时捕获网络流量，确保监测的及时性和数据的最新性，能够从所有网络接口捕获数据，确保数据来源的广泛性，避免遗漏任何潜在的威胁流量。使用预设的网络数据监测脚本，高效地对网络接口数据进行初始处理，确保流量监测数据的准确性和稳定性，通过预设脚本能够自动化地处理数据流，减少人工干预，提升数据处理的效率和一致性。通过生成流量监测日志数据，将监测结果持久化，便于后续的分析和回溯，流量监测日志数据记录了初始流量的监测情况，为后续的威胁检测和分析提供了宝贵的历史数据参考。对流量监测日志数据进行特征提取，能够从中提取出更有价值的特征信息，提升威胁检测的精度，利用日志特征数据对初始流量监测数据进行标识，进一步优化监测数据的质量和准确性，确保后续步骤的处理效果，特征提取和标识过程增强了数据的可分析性以及可追溯性，有助于后续的机器学习模型训练和威胁检测。

15、优选地，步骤s2包括以下步骤：

16、步骤s21：对流量监测数据进行数据包解析，生成初步流量解析数据；

17、步骤s22：对初步流量解析数据进行数据预处理，所述数据预处理包括数据清洗、数据格式变换、特征提取、数据存储，以生成流量解析数据；

18、步骤s23：获取历史流量解析数据；

19、步骤s24：利用对抗生成神经网络模型对历史流量解析数据进行数据泛化增强处理，生成泛化历史流量解析数据；基于监督学习算法以及泛化历史流量解析数据进行解析流量结构异常的二分类数学模型建立，以生成解析结构异常分类模型；

20、步骤s25：利用解析结构异常分类模型对流量解析数据进行解析流量的结构化信息异常分类处理，分别得到结构化异常流量解析数据以及结构化常规流量解析数据。

21、本发明通过对流量监测数据进行数据包解析，能够提取出数据包中的详细信息，生成初步流量解析数据，为后续处理奠定基础，初步解析数据包含了网络数据包的细节信息，有助于更精细地分析和检测网络威胁。通过数据清洗去除噪声和冗余数据，提升数据的质量和可靠性，数据格式变换确保了数据的一致性，为后续的分析和处理提供了标准化的数据输入，特征提取过程能够提取出对威胁检测最有用的特征，提高检测算法的准确性，数据存储确保了流量解析数据的有效管理和快速访问，方便后续的处理和分析。获取历史流量解析数据为当前数据的分析和处理提供了参考，有助于学习流量明文数据中的正常以及异常特征，以用于进行流量明文数据包中的异常结构，历史数据为机器学习模型的训练提供了丰富的样本，提高模型的准确性和泛化能力。对抗生成神经网络模型能够生成更丰富的历史流量解析数据，增强数据集的多样性，提高模型的鲁棒性，基于泛化历史流量解析数据和监督学习算法建立的二分类数学模型，能够更准确地区分正常数据结构和异常数据结构，提高威胁检测的准确性。利用优化的分类模型对流量解析数据进行结构化信息异常分类处理，能够精确识别出异常流量和常规流量，通过将正常数据结构与异常数据结构进行对比分析，提高了对网络威胁的检测和响应能力，确保网络安全性。

22、优选地，步骤s3包括以下步骤：

23、步骤s31：获取用户网络行为数据；

24、步骤s32：基于用户网络行为数据以及结构化异常流量解析数据进行异常流量溯源特征分析，生成异常流量溯源特征数据；

25、步骤s33：根据异常流量溯源特征数据对结构化常规流量解析数据进行解析流量的溯源异常分类处理，以得到溯源异常流量解析数据以及溯源常规流量解析数据。

26、本发明通过获取用户网络行为数据，将网络流量数据与具体用户行为进行关联，有助于更全面地理解流量的来源特征，获取用户行为数据有助于分析用户的正常行为模式，识别异常行为，提高威胁检测的精准性。结合用户网络行为数据和结构化异常流量解析数据，能够提取出更准确的异常流量溯源特征，有助于追踪异常流量的源头，通过异常流量溯源特征分析，有效定位潜在的网络威胁源，增强网络安全防护能力。利用异常流量溯源特征数据进行分类处理，能够精确地区分溯源异常流量和溯源常规流量，提升检测的准确性，通过溯源异常分类处理，综合分析异常流量的来源和行为特征，为进一步的安全措施提供可靠的数据支持，通过溯源分类，有效降低误报率，确保只有真正的威胁被标识和处理，提高系统的可靠性和用户体验。

27、优选地，步骤s32包括以下步骤：

28、根据用户网络行为数据进行用户网络行为的异常流量溯源信息分析，生成用户网络行为异常流量溯源数据；

29、根据结构化异常流量解析数据以及用户网络行为异常流量溯源数据进行异常流量溯源特征分析，生成异常流量溯源特征数据。

30、本发明通过用户网络行为数据进行异常流量溯源信息分析，准确识别用户行为中的异常流量，确保溯源数据的准确性和可靠性，能够及时发现用户网络行为中的异常流量，帮助快速识别潜在的安全威胁，提升威胁检测的时效性，通过分析用户的行为模式，识别出用户网络行为的异常流量溯源信息和异常流量溯源信息的差异，如追踪不到目标地址的溯源异常信息，为后续的特征分析提供重要数据支持。结合结构化异常流量解析数据和用户网络行为异常流量溯源数据，进行综合特征提取，生成更加准确和全面的异常流量溯源特征数据，通过对多维数据的综合分析，能够提高异常流量溯源特征分析的精度，确保威胁检测的准确性，生成的异常流量溯源特征数据更好地识别异常流量的源头，帮助快速定位对应的异常流量和响应网络威胁，提升网络安全防护能力，通过融合结构化异常流量解析数据和用户行为异常流量溯源数据，实现数据的深度融合和优化，提高异常检测和分析的整体效能。

31、优选地，步骤s5包括以下步骤：

32、步骤s51：采集初步安全流量监测数据对应的流量行为信息，并标记为初步安全流量行为数据；

33、步骤s52：基于聚类算法对初步安全流量行为数据进行聚类模式分析，生成聚类流量行为模式数据；

34、步骤s53：根据聚类流量行为模式数据对初步安全流量行为数据进行异常流量行为模式识别，得到异常流量行为数据；

35、步骤s54：对异常流量行为数据进行网络攻击行为分析，生成异常流量网络攻击行为评估数据；

36、步骤s55：基于异常流量网络攻击行为评估数据对异常流量行为数据对应的初步安全流量行为数据进行网络攻击流量识别，生成网络攻击流量数据；

37、步骤s56：基于网络攻击流量数据设计网络攻击流量安全拦截机制，并将网络攻击流量安全拦截机制传输至预设的网络安全检测系统执行恶意加密流量拦截作业。

38、本发明通过采集初步安全流量监测数据对应的流量行为信息，能够获取到详细的流量行为数据，为后续分析提供准确的数据基础，对初步安全流量行为数据进行标记，有助于明确数据的属性，便于后续的模式识别和分析。利用聚类算法对频域信号进行分析，发现流量行为中的模式，识别出不同类型的流量行为，生成的聚类流量行为模式数据将相似的流量行为进行归类，便于后续的异常检测和分析。通过对初步安全流量行为数据进行模式识别，能够准确识别出异常流量行为，提高威胁检测的精度，及时识别出异常流量行为，迅速采取措施，降低网络威胁带来的风险。对异常流量行为数据进行深入分析，能够识别出潜在的网络攻击行为，提供详细的评估数据，生成的异常流量网络攻击行为评估数据可以为系统提供预警信息，提前防范潜在的攻击。利用评估数据对初步安全流量行为数据进行网络攻击流量识别，能够更准确地识别出网络攻击流量，减少误报率，生成的网络攻击流量数据用于实时防护措施的部署，提高系统的安全性和响应速度。基于网络攻击流量数据设计的网络攻击流量安全拦截机制，有效拦截恶意加密流量，防止其对网络安全造成危害，将拦截机制传输至预设的网络安全检测系统，自动执行拦截作业，实现智能化和自动化的网络安全防护，通过拦截恶意加密流量，进一步提升了网络的整体安全性，确保系统的稳定和可靠。

39、优选地，步骤s52包括以下步骤：

40、步骤s521：根据初步安全流量行为数据进行频域信号转换，生成初步安全流量行为频域信号；

41、步骤s522：对初步安全流量行为频域信号进行频域信号时序特征分析，生成频域信号时序特征数据；

42、步骤s523：根据频域信号时序特征数据设计初步安全流量行为频域信号的频域信号聚类标签；

43、步骤s524：基于聚类算法以及频域信号聚类标签对初步安全流量行为频域信号进行聚类模式识别，生成聚类流量行为模式数据。

44、本发明将初步安全流量行为数据进行频域信号转换，提取出流量行为中的频域特征，有助于更准确地识别和分析流量行为，频域转换能够有效过滤掉时域信号中的噪声，提高数据的清晰度和分析的准确性。对频域信号进行时序特征分析，揭示流量行为的时间特性，帮助识别流量行为的周期性和异常模式，通过时序特征数据的生成，更深入地理解初步安全流量行为的模式，为后续的聚类分析提供丰富的数据支持。基于时序特征数据设计聚类标签，为初步安全流量行为频域信号提供准确的分类依据，有助于提高聚类分析的效果，对频域信号进行有效标注，为后续的聚类模式识别提供明确的分类标准。利用聚类算法和频域信号聚类标签，对初步安全流量行为频域信号进行聚类模式识别，准确区分不同类型的流量行为模式，生成的聚类流量行为模式数据能够识别出流量行为中的典型模式和异常模式，为威胁检测提供重要的参考依据，通过聚类模式识别，能够更精准地识别出异常流量行为，提高网络安全威胁检测的精度和可靠性。

45、优选地，步骤s523包括以下步骤：

46、根据频域信号时序特征数据进行频域波动特征分析，生成频域波动特征数据；根据频域信号时序特征数据进行频域峰值特征分析，生成频域峰值特征数据；基于频域波动特征数据以及频域峰值特征数据设计初步安全流量行为频域信号的频域信号聚类标签。

47、本发明通过将初步安全流量行为数据进行频域信号转换，提取出流量行为中的频域特征，有助于更准确地识别和分析流量行为，频域转换能够有效过滤掉时域信号中的噪声，提高数据的清晰度和分析的准确性。对频域信号进行时序特征分析，揭示流量行为的时间特性，帮助识别流量行为的周期性和异常模式，通过时序特征数据的生成，更深入地理解初步安全流量行为的模式，为后续的聚类分析提供丰富的数据支持。基于时序特征数据设计聚类标签，为初步安全流量行为频域信号提供准确的分类依据，有助于提高聚类分析的效果。聚类标签对频域信号进行有效标注，为后续的聚类模式识别提供明确的分类标准，利用聚类算法和频域信号聚类标签，对初步安全流量行为频域信号进行聚类模式识别，准确区分不同类型的流量行为模式，生成的聚类流量行为模式数据可以识别出流量行为中的典型模式和异常模式，为威胁检测提供重要的参考依据，通过聚类模式识别，能够更精准地识别出异常流量行为，提高网络安全威胁检测的精度和可靠性。

48、优选地，步骤s54包括以下步骤：

49、步骤s541：根据异常流量行为数据进行异常流量横向移动行为分析，生成异常流量横向移动行为数据；基于异常流量横向移动行为数据进行流量横向移动评估参数分析，生成流量横向移动评估参数；通过流量横向移动评估参数建立流量横向移动决策树评估模型；

50、步骤s542：根据异常流量行为数据进行异常流量渗透行为分析，生成异常流量渗透行为数据；基于异常流量渗透行为数据进行流量渗透评估参数分析，生成流量渗透评估参数，并通过流量渗透评估参数建立流量渗透决策树评估模型；

51、步骤s543：基于流量横向移动评估决策树模型以及流量渗透评估决策树模型建立联合网络攻击行为决策树评估模型；

52、步骤s544：根据联合网络攻击行为决策树评估模型对异常流量行为数据进行网络攻击行为分析，生成异常流量网络攻击行为评估数据。

53、本发明通过分析异常流量中的横向移动行为，能够识别出攻击者在网络内部横向扩展的行为模式，有助于提前发现和阻止潜在的威胁，生成的流量横向移动评估参数可以量化流量行为中的横向移动特征，如网络攻击在不同端口之间移动的相关信息，为评估模型提供精准的数据支持，通过流量横向移动评估参数建立的决策树评估模型，可以系统化地评估和识别横向移动行为，提高检测的系统性和准确性。通过分析异常流量中的渗透行为，识别出攻击者企图渗透网络的行为模式，如权限渗透等行为，增强防御能力，生成的流量渗透评估参数为渗透行为提供了量化的评估标准，有助于精确识别渗透行为，通过流量渗透评估参数建立的决策树评估模型，能够系统化地识别和评估渗透行为，提高检测的全面性和准确性。通过结合横向移动和渗透行为的评估模型，建立联合网络攻击行为决策树评估模型，对复杂的网络攻击行为进行综合评估和分析，联合模型综合考虑多种攻击行为，提高检测的全面性和准确性，减少漏报和误报的可能性，全面识别网络攻击行为，提高整体防护能力，增强网络安全。利用联合网络攻击行为决策树评估模型对异常流量行为数据进行精准分析，识别出潜在的网络攻击行为，生成的异常流量网络攻击行为评估数据为进一步的防护措施提供了详细的风险评估信息及时发现和响应网络攻击，提高系统的响应速度和安全性，便于制定针对性的防护策略。

54、本说明书中提供一种基于机器学习的网络安全威胁检测系统，用于执行如上述所述的基于机器学习的网络安全威胁检测方法，该基于机器学习的网络安全威胁检测系统包括：

55、网络流量监测模块，用于获取网络接口数据；基于预设的网络数据监测脚本对网络接口数据进行网络数据流监测处理，生成流量监测数据；

56、解析流量异常分析模块，用于对流量监测数据进行数据包解析，生成流量解析数据；基于监督学习算法对流量解析数据进行解析流量的结构化信息异常分类处理，分别得到结构化异常流量解析数据以及结构化常规流量解析数据；

57、解析流量溯源异常分析模块，用于获取用户网络行为数据；根据用户网络行为数据以及结构化异常流量解析数据对结构化常规流量解析数据进行解析流量的溯源异常分类处理，分别得到溯源异常流量解析数据以及溯源常规流量解析数据；

58、异常流量拦截模块，用于根据结构化异常流量解析数据以及溯源异常流量解析数据对流量监测数据进行异常流量解析数据提取，以得到异常流量解析数据，并将异常流量解析数据传输至预设的网络安全检测系统执行解析异常流量拦截作业；根据溯源常规流量解析数据对流量监测数据进行初步安全流量监测数据提取，生成初步安全流量监测数据；

59、恶意加密流量拦截模块，用于采集初步安全流量监测数据对应的流量行为信息，并标记为初步安全流量行为数据；基于聚类算法对初步安全流量行为数据进行异常流量行为模式识别，得到异常流量行为数据；基于异常流量行为数据对初步安全流量行为数据进行网络攻击流量识别，生成网络攻击流量数据；基于网络攻击流量数据设计网络攻击流量安全拦截机制，并将网络攻击流量安全拦截机制传输至预设的网络安全检测系统执行恶意加密流量拦截作业。

60、本技术有益效果在于，本发明基于机器学习的网络安全威胁检测方法通过深度特征分析、多层次威胁检测和实时响应显著提高了检测的准确性和及时性。系统利用预设的网络流量监测脚本、聚类算法和决策树评估模型，自动化进行数据解析、特征提取和威胁识别，减少人工干预，提高效率。结合频域信号转换、时序特征分析、波动特征和峰值特征提取，深入挖掘流量行为特征，并利用综合决策模型对复杂的网络攻击行为进行全面评估。此外，通过对抗生成神经网络模型提高了流量明文数据结构异常分析的适应性和鲁棒性，以及设计并实施网络攻击流量安全拦截机制，有效阻止潜在威胁，确保网络安全。