一种基于分布式智能协作的电磁对抗攻击方法与流程

本发明涉及一种基于分布式智能协作的电磁对抗攻击方法，属于无线通信。

背景技术：

1、随着无线通信技术水平与业务规模的快速增长，通信设备的种类与数量增加，大量的电磁信号分布于频谱空间中，复杂的电磁频谱对通信的安全性和可靠性提出了更高的要求，电磁频谱的安全使用和有效管控成为了无线电监测的重要任务。电磁对抗攻击技术在民用和军事领域都有巨大的应用价值，在民用领域，电磁对抗攻击技术可以用于物联网等无线网络的安全维护；在军事领域，电磁对抗攻击技术可以干扰敌方无人机等非法设备的通信行为，以保障安全。

2、分布式智能协作是指在一个环境中，多个智能体通过相互交互和合作来完成共同的任务或解决问题。每个智能体都具有自主决策和学习能力，并且可以根据当前环境和其他智能体的行为做出适应性的决策。分布式智能协作在许多领域都有广泛的应用，例如：无人机群控制、物流和仓储管理、分布式传感器网络等。分布式智能协作不仅提供了更高效和灵活的解决方案，还具有鲁棒性和可扩展性，通过充分利用各个智能体之间的协同能力，可以实现更复杂和智能的任务执行。

3、现阶段，针对电磁对抗攻击技术的研究均由统一的智能中心进行调度，系统的抗毁性较差，系统节点之间的通信不直接，系统反应速度慢，同时扩展性较差，并且随着大量基于深度学习的通信信号识别方法应用于电磁对抗攻击技术，对于智能中心的算力要求较高并且训练时间长，同时单一收发的模式攻击形式单一、鲁棒性较差，容易被反制。

4、需要一种方法将传统的由智能中心统一调度演化为无中心的分布式多智能攻击实体的自主协同和群体决策，从而提高多个分布式攻击节点之间的协作效率，丰富攻击形式，减少攻击反制的风险，在保证攻击效果的前提下提升攻击的鲁棒性，提高电磁对抗攻击系统的抗毁性和扩展性，同时也可达到分担中心节点计算压力的目的，提高电磁对抗攻击系统的反应速度。

技术实现思路

1、为了解决现有的电磁对抗攻击方法由中心节点统一调度的抗毁性差、鲁棒性差、覆盖范围有限，以及现有方法无法灵活快速部署的问题。本发明的目的是提供一种基于分布式智能协作的电磁对抗攻击方法，将分布式协作与电磁对抗攻击相结合，引入分布式智能协同算法以实现无中心的分布式多智能攻击实体的自主协同和群体决策，提高抗毁性、扩展性以及攻击的有效性，并且通过分布式智能协作充分利用各个节点的算力资源并且更加灵活，能够有更加快速的攻击响应。

2、本发明的目的是通过下述技术方案实现的。

3、本发明公开的一种基于分布式智能协作的电磁对抗攻击方法，包括如下步骤：

4、步骤1：搭建部署分布式的电磁对抗攻击系统，系统由多个节点组成，在需要部署电磁对抗攻击的环境中撒放节点，每个节点之间具有相互通信的能力，从而组成整个电磁对抗攻击系统。系统中的每个节点均具有接收环境中电磁信号的能力，具备检测非法信号并且具有相应的计算能力以及算法模型部署能力。系统工作时每个节点均通过接收环境中的电磁信号从而检测自己周围是否出现非法信号。通过多节点分布式部署提高电磁对抗攻击系统的部署便捷性，扩大覆盖范围，同时避免传统单一中心节点的抗毁性差和可扩展性差的缺点，当系统中的某个节点被摧毁时，不影响其它节点的正常工作，从而不会对系统的性能产生过大的影响，并且通过放入新的节点能够扩大系统的工作范围。

5、部署完成后，系统工作时每个节点均通过天线接收检测环境中的电磁信号，当某个节点检测到非法信号时，该节点立刻获取接收该信号，然后计算得到非法信号的工作频段、中心频点、调制方式、是否跳频变频等信息，成功获取信息后，该节点将该信息广播给网络中的其他节点以进行接下来的电磁对抗攻击。

6、步骤2：组建临时子网路协同对抗非法信号。临时子网络为整个系统中的部分节点为了攻击局部区域的非法目标而暂时组成的小网络。当网络中的某个节点检测到非法信号并且成功获取该非法信号信息后，将这些信息广播给网络的其他节点，网络中的其他节点接收到信息后，距离信息发送节点较近并且自身任务不忙的节点与信息发送节点一起组成一个临时的子网络，临时自网络中的节点通信共享信息，共同参与对非法信号的攻击，从而提高攻击质量以更加有效的抑制非法信号，当完成对非法信号的攻击后，临时子网络解散。所述非法信号信息包括工作频段、中心频点、调制方式、是否跳频变频。所述发送节点较近指述信息发送节点小于预设距离阈值。自身任务不忙的节点指自身任务少于预设任务阈值。

7、步骤3：临时子网络中使用完全合作关系下的多智能体a2c方法(multi-agentcooperative advantage actor-critic，mac-a2c)进行电磁对抗攻击。临时子网络组建完成后，子网络中的节点共同对非法信号发起攻击。使用完全合作关系下的多智能体a2c方法来进行整体任务的协调以及各个节点的调用，网络各个节点之间通信共享信息，与周围环境动态交互，各个节点之间自主协同并且群体决策，即实现基于分布式智能协作的电磁对抗攻击。

8、临时子网络中，第i个节点观测到的局部状态为oi，所有节点观测到的局部状态构成了全局状态s＝[o1,o2,...,om]。所有节点的电磁攻击的策略动作集合为a＝[a1,a2,...,am]。所有的节点利益一致，均为了对抗环境中的非法信号，因此所有的节点具有相同的奖励：r1＝r2＝...＝rm＝r。所有节点具有相同的状态价值函数vπ(s)。

9、mac-a2c使用两类神经网络：价值网络v与策略网络π。

10、mac-a2c的价值网络为v(s；w)，所有智能体共用一个价值网络。记作v(s；w)，它是对状态价值函数vπ(s)的近似，把所有的观测s＝[o1,o2,...,om]作为输入，并输出一个实数作为对状态s的评分。

11、mac-a2c第i号智能体的策略网络为π(·|s；θi)，每个智能体都有自己的策略网络。所有智能体的策略网络结构都一样，但是其参数θ1,θ2,...,θm根据每个节点的实际情况不同，把第i号智能体的策略网络记作π(ai|s；θi)，网络的输入是所有智能体的观测得到的全局状态：s＝[o1,o2,...,om]，输出是在离散动作空间上的ai上的概率分布，从而选择最佳动作。

12、td算法是一种强化学习中的预测方法，在训练的过程中采用时序差分(temporaldifference，td)算法训练临时子网络，用于估计值函数或者策略的价值。

13、观测到状态st，st+1和奖励rt，计算td目标：定义损失函数：损失函数的梯度为：其中是td误差，做一次梯度下降更新w：

14、目标的价值网络记作v(s；w-)，它的结构与v相同，但是参数不同，设当前价值网络和目标网络的参数分别为：wnow，设m个策略网络参数分别是：mac-a2c重复下面的步骤更新参数：

15、(1)观测到当前的状态st＝[o1t,o2t,...,omt]，让每一个智能体做随机抽样：

16、

17、并执行选中的动作。

18、(2)从环境中观测得到奖励rt与下一时刻的状态st+1＝[o1t+1,o2t+1,...,omt+1]。

19、(3)让价值网络做预测：

20、(4)让目标网络做预测：

21、(5)计算td目标与td误差：

22、

23、(6)更新价值网络参数：

24、

25、(7)更新目标网络参数：

26、

27、(8)更新策略网络参数：

28、

29、其中α，β为学习率，γ为介于0和1之间的折扣率，τ为介于0和1之间的权重系数。

30、在完成对mac-a2c算法模型的训练之后，不再需要价值网络v(s；w)，将mac-a2c算法模型部署到每个智能体上，每个智能体用它自己的策略网络做决策，在时刻t观测到全局状态st＝[o1t,o2t,...,omt]，然后得到动作

31、通过mac-a2c方法调动临时子网络中的节点对抗非法信号，根据观测到的状态实时调整攻击策略，对抗环境中的非法信号，即实现基于分布式智能协作的电磁对抗攻击。

32、有益效果：

33、1、本发明公开的一种基于分布式智能协作的电磁对抗攻击方法，采用无中心的多节点分布式的系统模式，实现电磁对抗攻击系统的快速灵活部署，提高电磁对抗攻击系统的抗毁性、鲁棒性和可扩展性。

34、2、本发明公开的一种基于分布式智能协作的电磁对抗攻击方法，在多节点的分布式系统中提出构建临时子网络的方法，采用系统中的部分节点组成临时的子网络，来对非法信号进行电磁对抗攻击，提高攻击的丰富性和有效性，同时提高系统的灵活性和资源利用率。

35、3、本发明公开的一种基于分布式智能协作的电磁对抗攻击方法，在无中心分布式的电磁对抗攻击系统中引入mac-a2c的强化学习算法，通过mac-a2c方法预先的模型训练与部署，进而通过mac-a2c方法实现系统中多节点的群体决策和自主协同，调动临时子网络中的节点对抗非法信号，根据观测到的状态实时调整攻击策略，提高系统的灵敏性并且使电磁对抗攻击更加具有针对性。