异构无人平台集群的自适应稳态组网方法及装置

本发明涉及无人机通信，尤其是涉及一种异构无人平台集群的自适应稳态组网方法及装置。

背景技术：

1、随着人工智能等理论的发展，无人平台性能进一步提高，每个无人平台都具备独立的计算、执行、决策等能力，使用无人平台(包括无人车、无人机等)完成各种任务已经成为未来趋势。无人平台执行任务是通过给多个无人平台搭载不同传感器，以使无人平台获得不同的能力，从而协同完成各种复杂多变的任务。通常任务对无人平台有着多种能力的需求，如续航时间、侦察半径、物资载荷等，功能单一的无人平台已经不能满足复杂任务需求，需要利用多个功能不同(即搭载不同传感器)的无人平台一起协同完成这些给定的任务。异构无人平台协同将提高单体能力，进行群体行为控制，以达到预期任务完成效果。

2、异构无人平台集群采用的飞行自组织网络（flying ad-hoc network，简称fanet）是航空领域移动自组网（mobile ad hoc network，简称manet）的典型应用，由众多异构无人平台组成。随着异构无人平台智能化、低成本、小型化的发展，异构无人平台集群的应用已成为协同侦察、目标监视、应急通信等极其重要的研究方向。fanet虽然潜力巨大，但也面临着许多问题。由于异构无人平台具有的高移动性和能量有限的特点，致使异构无人平台集群网络面临着拓扑变化频繁、链路可靠性低、网络连通性差、网络负载不均衡以及节点故障率高等问题。而将fanet进行聚类后分簇管理是解决上述问题的有效方案之一，如图1所示的一种异构无人平台集群的网络架构图。fanet中的任意一个节点可以是簇头(ch)或簇成员(cm)。cm需要按照预定的航线飞行，完成分配给他们的任务（如监视、军事打击等）。ch除了完成与cm相同的功能外，ch还需要管理集群内的cm，并作为集群内和集群间通信的通信中继。解决异构无人平台高动态环境下数据包构建fanet网络主要包括两个阶段，即集群建立与集群维护。

3、基于聚类的异构无人平台网络分簇方法往往考虑简单的任务环境。在复杂任务环境下，异构无人平台可能需要执行各种不同类型的任务，例如侦察、监视、通信中继等。传统方法往往无法充分考虑任务的多样性，导致分簇结果无法很好地适应各种任务类型的要求（传统的簇规模是固定的，无法适应不同任务类型的要求）。传统fanet网络的维护策略往往是基于静态规则的，无法动态地适应网络环境的变化。导致在运行一段时间后网络拓扑结构差，使得资源利用率低下。

技术实现思路

1、本发明的目的在于提供一种异构无人平台集群的自适应稳态组网方法及装置，以提高异构无人平台集群网络结构的稳定性和可靠性。

2、第一方面，本发明实施例提供了一种异构无人平台集群的自适应稳态组网方法，包括：

3、获取异构无人平台集群的当前节点位置信息和当前节点能量信息；

4、基于所述当前节点位置信息和预设的密度聚类算法，对所述异构无人平台集群进行聚类处理，得到聚类结果；

5、基于所述当前节点能量信息，对所述聚类结果中的每个簇进行簇头选举，得到当前组网结果；

6、周期性获取所述当前组网结果下所述异构无人平台集群的观测数据；其中，所述观测数据包括网络状态信息和节点位置信息；

7、基于所述观测数据，采用强化学习策略对所述当前组网结果进行优化，得到优化后的组网结果。

8、进一步地，所述基于所述当前节点位置信息和预设的密度聚类算法，对所述异构无人平台集群进行聚类处理，得到聚类结果，包括：

9、基于所述当前节点位置信息和预设的聚类参数信息，采用dbscan算法对所述异构无人平台集群进行聚类处理，得到聚类结果；其中，所述聚类参数信息包括簇发现半径和簇内节点最小数量。

10、进一步地，所述基于所述当前节点能量信息，对所述聚类结果中的每个簇进行簇头选举，得到当前组网结果，包括：

11、对于所述聚类结果中的每个簇，以节点剩余能量和节点中心性为效用因子，计算得到所述簇内每个节点的适应度，并将所述簇内适应度最高的节点，确定为所述簇的簇头。

12、进一步地，所述以节点剩余能量和节点中心性为效用因子，计算得到所述簇内每个节点的适应度，包括：

13、通过如下公式计算得到所述簇内的每个节点的适应度：

14、

15、

16、

17、其中，表示节点的节点剩余能量效用因子，表示节点在 t时刻的节点能量，表示节点的初始能量，表示节点的节点中心性效用因子，表示节点在 t时刻距离簇中心的距离， n表示簇内节点数量，表示节点的适应度，表示节点剩余能量效用因子的权重，表示节点中心性效用因子的权重。

18、进一步地，所述基于所述观测数据，采用强化学习策略对所述当前组网结果进行优化，得到优化后的组网结果，包括：

19、以所述观测数据作为观测空间，以簇发现半径、簇内节点最小数量和簇内节点最大数量作为动作空间，通过训练后的强化学习模型生成簇结构优化策略；

20、基于所述簇结构优化策略对所述当前组网结果进行优化，得到优化后的组网结果。

21、进一步地，所述强化学习模型包括特征提取网络、策略网络、价值网络和输出层，所述特征提取网络的输出端分别与所述策略网络的输入端、所述价值网络的输入端连接，所述策略网络的输出端、所述价值网络的输出端分别与所述输出层的输入端连接；所述以所述观测数据作为观测空间，以簇发现半径、簇内节点最小数量和簇内节点最大数量作为动作空间，通过训练后的强化学习模型生成簇结构优化策略，包括：

22、将所述观测数据输入所述特征提取网络进行特征提取，通过所述策略网络和所述价值网络进行动作空间内动作策略的评分，并通过所述输出层进行概率分布转换，得到多个动作策略对应的概率分数值；

23、将概率分数值最高的动作策略确定为簇结构优化策略。

24、进一步地，所述基于所述簇结构优化策略对所述当前组网结果进行优化，得到优化后的组网结果之后，所述方法还包括：

25、接收所述优化后的组网结果下所述异构无人平台集群发送的反馈数据；其中，所述反馈数据包括衡量所述异构无人平台集群的性能和/或网络结构稳定性的数据；

26、基于预设时间段内得到的多条所述反馈数据，对所述强化学习模型进行模型参数的更新。

27、第二方面，本发明实施例还提供了一种异构无人平台集群的自适应稳态组网装置，包括：

28、第一获取模块，用于获取异构无人平台集群的当前节点位置信息和当前节点能量信息；

29、密度聚类模块，用于基于所述当前节点位置信息和预设的密度聚类算法，对所述异构无人平台集群进行聚类处理，得到聚类结果；

30、簇头选举模块，用于基于所述当前节点能量信息，对所述聚类结果中的每个簇进行簇头选举，得到当前组网结果；

31、第二获取模块，用于周期性获取所述当前组网结果下所述异构无人平台集群的观测数据；其中，所述观测数据包括网络状态信息和节点位置信息；

32、组网优化模块，用于基于所述观测数据，采用强化学习策略对所述当前组网结果进行优化，得到优化后的组网结果。

33、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述异构无人平台集群的自适应稳态组网方法。

34、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面所述异构无人平台集群的自适应稳态组网方法。

35、本发明实施例提供的异构无人平台集群的自适应稳态组网方法及装置，能够获取异构无人平台集群的当前节点位置信息和当前节点能量信息；基于当前节点位置信息和预设的密度聚类算法，对异构无人平台集群进行聚类处理，得到聚类结果；基于当前节点能量信息，对聚类结果中的每个簇进行簇头选举，得到当前组网结果；周期性获取当前组网结果下异构无人平台集群的观测数据；其中，观测数据包括网络状态信息和节点位置信息；基于观测数据，采用强化学习策略对当前组网结果进行优化，得到优化后的组网结果。这样基于密度聚类算法对异构无人平台集群进行分簇，采用基于强化学习的动态维护策略动态调整簇结构，使得异构无人平台集群网络具有更好的适应性和动态性，从而提高了异构无人平台集群网络结构的稳定性和可靠性。