基于DQN的抑制图拆解的方法及系统

本发明涉及网络安全，更具体的，涉及：1、一种基于dqn的抑制图拆解的方法，2、一种基于dqn的抑制图拆解的系统。

背景技术：

1、随着社会的快速发展，各种人工或自然系统中的实体之间存在着越来越复杂的关系。为了更好地研究这些实体之间的相互关系，研究人员通常将其建模为网络(图)结构。网络中会存在信息级联现象，即某些节点可能会对整个网络产生巨大的影响。基于这种情况，网络拆解(图拆解)应允而生：其能够高效地找到网络中的关键节点，并将关键节点从网络中移除从而使网络结构和功能被极大地破坏。因此，图拆解可能会造成网络的安全问题。

2、处于抑制图拆解的需要，发明人考虑采用图对抗性攻击的方式——通过增删边、修改节点特征来欺骗图神经网络模型，使其将节点错误地进行分类。但是发明人后续发现，现有的图对抗攻击算法是基于梯度优化——通过计算边梯度矩阵指导攻击，然而评价抑制图拆解任务的指标对邻接矩阵中的元素不可求偏导，使得优化过程的梯度信息无法传播，导致现有图对抗攻击应用到抑制图拆解任务中会出现效果不佳的情况。

技术实现思路

1、基于此，有必要针对现有图对抗性攻击应用到抑制图拆解任务时效果不佳的问题，提供一种基于dqn的抑制图拆解的方法及系统。

2、本发明采用以下技术方案实现：

3、第一方面，本发明公开了基于dqn的抑制图拆解的方法，包括以下步骤：

4、步骤一，使用随机图生成模型生成多张小规模合成图；

5、步骤二，将步骤一的多张小规模合成图表征成无向图结构，得到多张无向图；其中，无向图与小规模合成图的数量相同、并一一对应；

6、步骤三，利用图神经网络对步骤二中多张无向图进行降维、并得到能够模拟出经过降维的无向图信息的多个虚拟节点；其中，虚拟节点与无向图的数量相同、并一一对应；

7、步骤四，将步骤三的多个虚拟节点作为状态空间，使用dqn算法对智能体进行攻击探索及训练学习；

8、其中，智能体执行的动作包括：对于处于某一条边两端的两个节点，任选其中一个节点进行隐藏；

9、对于某一个动作，在其执行后，状态空间的状态越差，动作对应的奖励越大；

10、步骤五，将训练学习好的智能体对目标网络进行处理，得到目标网络中需要隐藏的关键节点。

11、该种基于dqn的抑制图拆解的方法实现根据本公开的实施例的方法或过程。

12、第二方面，本发明公开了基于dqn的抑制图拆解的系统，其使用了第一方面的基于dqn的抑制图拆解的方法。

13、基于dqn的抑制图拆解的系统包括：图生成模块、图表示模块、图模拟模块、智能体训练模块、图拆解抑制模块。

14、图生成模块用于使用随机图生成模型生成多张小规模合成图。图表示模块用于将多张小规模合成图均表征成无向图结构，得到多张无向图。图模拟模块用于利用图神经网络对多张无向图进行降维、并得到能够模拟出经过降维的无向图信息的多个虚拟节点。智能体训练模块用于将多个虚拟节点作为状态空间，使用dqn算法对智能体进行攻击探索及训练学习。图拆解抑制模块用于将训练学习好的智能体对目标网络进行处理，得到目标网络中需要隐藏的关键节点。

15、该种基于dqn的抑制图拆解的系统实现根据本公开的实施例的方法或过程。

16、第三方面，本发明公开了一种可读存储介质。该种可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行如第一方面公开的基于dqn的抑制图拆解的方法。

17、与现有技术相比，本发明具备如下有益效果：

18、1、本发明将dqn算法应用到抑制图拆解，借助图深度学习的拟合能力和强化学习中dqn范式，使智能体在基于多张小规模生成图处理得到的虚拟节点中进行探索，从而使智能体学习到最优的攻击策略，进而应用到目标网络中找到需要隐藏的关键节点。

19、2、本发明利用图神经网络对由小规模生成图生成的无向图进行处理，进而生成能够模拟出无向图信息的虚拟节点，一方面可以降低特征维度，方便应用dqn进行处理；另一面避免了dqn的智能体直接对无向图进行处理，防止对无向图的信息造成不可逆破坏。

20、3、本发明将dqn算法应用到抑制图拆解使，将对边的选择转化成对边两端节点的隐藏，有效降低了动作复杂度，有利于加快dqn的处理进度。

技术特征：

1.一种基于dqn的抑制图拆解的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于dqn的抑制图拆解的方法，其特征在于，步骤一中，随机图生成模型包括但不限于：er模型、ws模型。

3.根据权利要求1所述的基于dqn的抑制图拆解的方法，其特征在于，步骤二中，无向图的数学表达式为：g＝g(v,e)；

4.根据权利要求2所述的基于dqn的抑制图拆解的方法，其特征在于，步骤三包括：

5.根据权利要求4所述的基于dqn的抑制图拆解的方法，其特征在于，s303包括：

6.根据权利要求1所述的基于dqn的抑制图拆解的方法，其特征在于，步骤四中，在每轮攻击探索及训练学习的过程中，智能体先将攻击探索时产生的经验添加到经验池，再从经验池中随机抽取部分经验来进行训练学习。

7.根据权利要求6所述的基于dqn的抑制图拆解的方法，其特征在于，步骤四中，智能体在初始时的攻击策略为随机攻击。

8.根据权利要求6所述的基于dqn的抑制图拆解的方法，其特征在于，步骤四中，在攻击探索时，智能体使用ε-贪心策略进行动作选择。

9.一种基于dqn的抑制图拆解的系统，其特征在于，其使用了如权利要求1-8中任一所述的基于dqn的抑制图拆解的方法；

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8中任一所述的基于dqn的抑制图拆解的方法的步骤。

技术总结本发明涉及网络安全技术领域，具体涉及基于DQN的抑制图拆解的方法及系统。本发明将DQN算法应用到抑制图拆解，借助图深度学习的拟合能力和强化学习中DQN范式，使智能体在基于多张小规模生成图处理得到的虚拟节点中进行探索，从而使智能体学习到最优的攻击策略，进而应用到目标网络中找到需要隐藏的关键节点。经过仿真对比，本发明的方法相较于现有图对抗性攻击算法，在抑制图拆解任务时具有更好的效果。本发明解决了现有图对抗性攻击应用到抑制图拆解任务时效果不佳的问题。技术研发人员：颜登程,高培栋,吕钊,朱佳聪,程序,董学进,张磊,刘方祥受保护的技术使用者：安徽大学技术研发日：技术公布日：2024/12/2