一种基于联邦学习的网络入侵检测方法、装置及系统

本发明涉及网络安全检测，特别是涉及一种基于联邦学习的网络入侵检测方法、装置及系统。

背景技术：

1、入侵检测系统通过对网络进行即时监控、分析用户活动、展开应对措施来保障网络的安全。如果用户的行为违反了安全策略，那么系统就会针对该行为发出警报，或者直接终止进程。网络入侵检测分为异常入侵检测和误用入侵检测。前者通过对正常网络活动的学习和建模，识别出与已知模式不一致的行为，它基于对网络流量、系统资源利用、用户行为等数据的分析，发现那些与正常行为显著不同的活动，适用于检测新型的、未知的攻击形式。后者则是基于对先验攻击特征的识别，通过匹配已知攻击规则或特征库，识别出已知的攻击行为，适用于已知攻击模式的检测，比如对已知病毒、恶意软件、常见攻击行为等进行识别和防御。

2、网络入侵检测系统(network intrusion detection system，nids)是一种重要的安全机制，通过对网络流量和系统行为进行监控和分析，可以识别和响应恶意攻击，从而帮助保护计算机网络以及其中的数据和资源免受各种威胁和攻击，包括但不限于黑客攻击、病毒、木马、僵尸网络等。近年来，机器学习(machine learning，ml)，包括浅层模型，特别是深度学习(deep learning，dl)取得了长足的进展，成为网络入侵检测的主流方法，被广泛应用于政府机构、军事系统、企业组织、金融医疗等各种场景中，而无需人工干预。虽然现有的网络入侵算法已经取得了长足的进步，但是用户需要将自己的私有数据上传到一个中心实体，可能导致他们的敏感数据暴露。同时该模型简单，适用范围小，随着网络规模的增大，数据类型多样化也给算法的检测效率、泛化能力带来了新的挑战。现有的网络入侵算法具体存在着以下缺点：(1)数据隐私问题：传统方法通常需要在集中式服务器上收集和存储大量的网络流量数据，用户的敏感信息可能被泄露或滥用；(2)高昂的计算资源需求：深度学习模型通常需要大量的计算资源和高性能硬件才能进行训练和推理，边缘设备或低功耗设备无法满足该需求；(3)模型泛化能力有限：物联网设备产生的流量较少，因此产生的训练数据也会较少，样本的泛用性下降，从而导致模型对未知行为的识别能力较差。

3、为了解决这些问题，基于联邦学习(federated learning，fl)的网络入侵检测方法应运而生。联邦学习不仅可以保护数据隐私，还可以利用分布式计算和资源共享的优势，提高模型的泛化能力。通过多个参与方的合作训练，联邦学习能够有效提升网络入侵检测系统的准确性和鲁棒性。正是由于这些优点，fl为ml算法在ids中更有效地应用提供了新的机会。

4、尽管基于联邦学习的入侵检测系统(federated intrusion detection system，fids)显示出了优于传统模型的优势，并且当前有许多研究者提出了优秀的基于联邦学习的网络入侵检测系统模型，但这些模型仍然存在以下缺陷和漏洞：

5、(1)使用非iid数据的高误报：在联邦学习中，参与方数据的大小、类型、模糊性和复杂性各不相同。这可能导非对称训练的局部模型，在聚合时，这些具有高方差的模型将导致全局模型的拟合不足，从而影响模型的性能。除此之外，如果本地客户端持有包含冗余、不平衡或中毒特征或值的数据，则无论训练量如何，相应的模型都可能失败。

6、(2)通信开销：联邦学习需要参与方之间频繁的通信，以传输模型参数和更新。根据网络带宽的不同，服务器流量、包传输损失、通信所花费的时间等参数可能会有很大的变化。此外，在网络中使用不同的设备必然会出现每个设备的计算能力不同的问题。综上所述，在实际情况下任何联邦网络的总体吞吐量都是较低的。

技术实现思路

1、针对现有的网络入侵检测模型精度不高、泛化能力不足、难以处理大规模高维数据和失衡数据、隐私泄露等问题，本发明提出了一种基于联邦学习的网络入侵检测方法、装置及系统，可以在保护用户隐私的情况下，提高算法的检测效率并节省计算资源。

2、为解决上述问题，本发明采取如下的技术方案：

3、一种基于联邦学习的网络入侵检测方法，包括以下步骤：

4、步骤1：采用特征工程方法对原始数据集进行数据预处理，得到经处理的数据，并将经处理的数据划分成k个部分，再将k个部分的数据分别分散给k个局部模型使用；

5、其中，采用特征工程方法对原始数据集进行数据预处理包括以下步骤：

6、s1-1：对所述原始数据集依次进行数据清洗、独热编码和z-score处理，得到归一化后的数据；

7、s1-2：利用smote-enn算法为归一化后的数据创建新的样本和消除噪声样本，得到高质量样本数据；

8、s1-3：利用mrmr算法计算高质量样本数据在特征空间中的mrmr的值，并根据mrmr的值删除冗余数据，最终得到经处理的数据，其中mrmr＝maxd-minr，maxd表示特征与目标变量之间的最大相关性，minr表示特征之间的最小冗余标准；

9、步骤2：以集成学习模型构建所述局部模型，并选择决策树算法、随机森林算法、极端随机树算法和梯度提升树算法作为集成学习模型的基选择器，使用经处理的数据对集成学习模型进行训练和更新，并在每轮训练结束后，将集成学习模型参数上传至中央服务器；

10、步骤3：所述中央服务器根据fedavg策略将收到的所有局部模型上传的参数进行聚合，生成全局模型的参数，并使用全局模型的参数对新的数据进行训练，得到训练好的全局模型，所述中央服务器将训练好的全局模型的参数下发给k个局部模型，k个局部模型进行参数更新和训练，直至局部模型收敛，收敛后的局部模型使用全局模型的参数进行网络入侵检测，并输出网络入侵检测分类结果。

11、相应地，本发明还提出一种基于联邦学习的网络入侵检测装置，包括：

12、数据预处理模块，用于采用特征工程方法对原始数据集进行数据预处理，得到经处理的数据，并将经处理的数据划分成k个部分，再将k个部分的数据分别分散给k个局部模型使用；

13、局部模块，包括一个以集成学习模型构建的局部模型，并选择决策树算法、随机森林算法、极端随机树算法和梯度提升树算法作为集成学习模型的基选择器，使用经处理的数据对集成学习模型进行训练和更新，并在每轮训练结束后，将集成学习模型参数上传至中央服务器；

14、中央服务器，用于根据fedavg策略将收到的所有局部模型上传的参数进行聚合，生成全局模型的参数，并使用全局模型的参数对新的数据进行训练，得到训练好的全局模型，还用于将训练好的全局模型的参数下发给k个局部模型，k个局部模型进行参数更新和训练，直至局部模型收敛，收敛后的局部模型使用全局模型的参数进行网络入侵检测，并输出网络入侵检测分类结果；

15、其中，所述数据预处理模块包括：

16、处理子模块，用于对所述原始数据集依次进行数据清洗、独热编码和z-score处理，得到归一化后的数据；

17、数据平衡与降噪子模块，用于利用smote-enn算法为归一化后的数据创建新的样本和消除噪声样本，得到高质量样本数据；

18、去冗余子模块，用于利用mrmr算法计算高质量样本数据在特征空间中的mrmr的值，并根据mrmr的值删除冗余数据，最终得到经处理的数据，其中mrmr＝maxd-minr，maxd表示特征与目标变量之间的最大相关性，minr表示特征之间的最小冗余标准，maxd和minr的计算公式如下：

19、

20、

21、其中，s为特征集，fi是特征，c为目标类别，i为互信息。

22、本发明还提出一种基于联邦学习的网络入侵检测系统，包括处理器以及与所述处理器通信连接的存储器，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行时实现如上所述的一种基于联邦学习的网络入侵检测方法的步骤。

23、本发明提供了一种基于联邦学习的、轻量的、能够有效检测各种攻击的网络入侵检测方法，该方法在集成学习的基础上，融合了联邦学习方法，在提高模型的鲁棒性、泛化能力和准确性的同时保护了用户隐私，从而更加满足实际应用的需求。同时，该方法引入了改进的特征工程方法，通过消除数据冗余、平衡数据集从而减少数据噪声，提高了数据集质量，并且达到提高算法速度和入侵检测模型准确度的效果，确保网络系统的可靠性和安全性。与现有技术相比，本发明具有如下的有益效果：

24、(1)本发明根据网络入侵检测数据的特点，包括数据的分布不均、数据的高维度和模型的复杂性等，以集成学习为局部分类模型，选择决策树(decision tree，dt)、随机森林(random forest，rf)、极端随机树(extremely randomized trees，et)和梯度提升树(extreme gradient boosting，xgboost)算法作为集成学习模型的基选择器，这些算法的应用减少了单一模型的偏差和方差，能够提高模型的鲁棒性、泛化能力和准确性，在网络入侵检测任务中具有较好的性能，可以提供多样化的模型预测结果，同时应用到联邦学习中，能够保护数据和模型的隐私；

25、(2)在模型初始化之前使用特征工程优化数据集：通过smote-enn算法可以为少数样本类创建高质量样本，缓解数据分布不平衡问题，mrmr算法可以删除冗余数据，选择独立高质量的特征。以上方法消除了数据冗余、减少数据噪声，提高数据集质量，从而达到提高算法速度和入侵检测模型准确度的效果。