一种任务驱动的分布式网络智能管理系统及方法与流程

本发明涉及分布式网络管理领域，更为具体的，涉及一种任务驱动的分布式网络智能管理系统及方法。

背景技术：

1、近年来，无人平台因其广阔的应用前景得到了快速发展，广泛应用于军事、测绘、导航、通信中继等领域。单个无人平台的载荷有限，功能较为单一，为了弥补单个无人平台能力的不足，无人节点采用集群的方式行动，通过交互构成分布式自组织网络，协作共同完成任务。由无人平台构成的分布式网络是一种不依赖于某集中节点且在需要时构建的快速移动自组织网络。分布式自组网与传统的集中式网络相比具有更好的任务执行能力、更好的容错性和鲁棒性，更高的经济可承受性。

2、随着感知、导航、救援等任务对无人平台网络性能的要求越来越高，必须要保证无人节点协同的高效可靠通信。一方面，各种无人单元通过协同将产生多样化的任务类型，包括侦察、探测、协同、指令、态势、网管等任务，每种任务又包括话音、文本、图像、视频、数据等业务类型。每种任务类型与业务属性的服务质量（qos，quality of service）需求也不尽相同，通信网络需要具备匹配不同应用场景的差异化性能保障能力。另一方面，随着信息、通信、人工智能等先进技术的不断涌现及提升，以5g蜂窝、高速wi-fi、车载自组织、航空自组织等网络功能日趋复杂化，管理如此庞大的通信网络、满足各参与单元的需求也是无人平台信息化中的关键部分。

3、传统的通信网络采用人工方法配置网络协议和通信资源，速度慢且错误率高，同时传统的网络架构对新的应用场景适应能力较差，不能满足无人平台网络信息化需求。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种任务驱动的分布式网络智能管理系统及方法，实现在动态变化的网络环境中，以用户任务驱动网络的自动化配置，对网络状态实时监测和精准预测，及时优化调整组网策略，以应对可能出现的网络故障和性能下降。

2、本发明的目的是通过以下方案实现的：

3、一种任务驱动的分布式网络智能管理系统，包括：

4、任务意图转译模块，用于解析任务指令，在得到任务指令的元素后，通过模板映射机制将任务指令解析成网络性能指标的需求，并将结果传递给组网策略生成模块；

5、组网策略生成模块，用于根据收到的任务网络性能指标的需求，结合网络状态信息，基于深度强化学习生成组网控制策略，再基于策略生成配置参数，用于实现分级的任务服务质量保障；

6、策略验证与协商模块，用于对组网控制策略的配置进行验证，判断当前的网络是否能够实现用户任务的网络性能需求，并根据判断结果调整策略配置，当在网络资源不足时，允许多个任务进行服务质量降级协商，通过降低任务的部分网络性能需求实现保底传输，且生成最终配置后能够部署在相应的网络节点上，以满足用户任务需求；

7、网络性能统计模块，用于在网络运行期间，实时监测和统计网络性能，发现网络故障以完成韧性重构，保障网络运行。

8、进一步地，所述任务指令为用户通过意图模板对任务指令进行描述后形成的任务指令，意图模版包括目标对象、业务类型、任务动作、用户级别和持续时间这五种关键元素。

9、进一步地，所述通过模板映射机制将任务指令解析成网络性能指标的需求，具体包括：从多个维度评估任务属性来设计适用于不同业务流的转译模板，以确保能够优先满足重要任务的需求，并且能够准确映射成表示网络资源需求。

10、进一步地，所述模板映射机制包括：用数值“3”“2”“1”“0”分别表示各网络性能指标的要求等级的“高”“中”“低”“无要求”；然后综合多个维度的qos特征，得到从0-9的数值；再依据得到的结果划分出最终的qos要求等级；其中，所述多个维度包括任务类型、业务类型以及用户级别。

11、进一步地，所述基于深度强化学习生成组网控制策略，具体采用马尔科夫决策过程对策略选择问题进行建模：网络管控节点通过与网络环境交互获得回报来修正动作，将该过程描述为三元组<a,s,r>，其中a表示组网控制策略动作集合，s表示任务意图的状态集合，r表示网络管控节点给出具体的组网策略后网络环境对该管控节点的反馈。

12、进一步地，所述基于深度强化学习生成组网控制策略，还包括设计策略选择算法解决马尔科夫决策过程，该算法具体包括：

13、步骤（1），记忆槽将当前时刻的系统状态s和组网控制选择策略a输入主网络，通过带有第一权值参数深度神经网络获得近似的动作值函数的预测值；

14、步骤（2），记忆槽将下一个时刻的系统状态、组网控制选择策略输入目标网络并通过带有第二权值参数深度神经网络获得真实值；

15、步骤（3），构建第个多智能体学习模型损失函数，具体表示为：

16、；

17、为第m个智能体数据集大小，表示记忆槽，表示折扣因子，表示第m个网络管控节点的奖励信号，表示第m个网络管控节点的真实值，表示第m个网络管控节点的预测值；

18、步骤（4），主网络通过最小化损失函数获得的更新；每隔一段时间，主网络将更新后直接复制给目标网络的；将最优的模型参数定义为如下全局损失函数最小化问题，用于网络管控节点更新智能体模型参数：

19、；

20、其中，网络管控节点的损失函数的权值，其中，为所有数据集的大小，表示对任一的意思，为使取最小值下的，m表示网络管控节点的个数，表示损失函数。

21、进一步地，所述基于策略生成配置参数，具体包括：在确定选择了组网控制策略之后，将任务意图转译的具体通信需求参数按需输入到组网策略生成模块中，组网策略生成模块根据设计的算法，将输入的通信需求参数生成出为一组配置参数。

22、进一步地，所述判断当前的网络是否能够实现用户任务的网络性能需求，并根据判断结果调整策略配置，具体包括：将不满足需求的配置返回组网策略生成模块修改，将经过验证的策略下发至各执行节点。

23、进一步地，在策略验证过程中，具体根据网络状态信息存储库以及网络状态预测模型来进行，将配置中的流量调度情况作用到当前的网络状态信息上，以模拟配置下发后的网络状态，此时再将这些数据传入预测模型，这样对配置下发后的网络性能做出预测，判断出当前的配置是否合理；如果不合理，就标记出不满足需求的性能指标，反馈到策略生成模块并修改相应的参数，生成新的配置；如何合理，则进入后续处理。

24、进一步地，所述网络状态预测模型具体根据网络中的节点、链路和流量建立。

25、进一步地，所述网络状态预测模型具体通过使用流量、节点和链路之间的循环依赖关系建立图神经网络模型实现。

26、进一步地，所述当在网络资源不足时，允许多个任务进行服务质量降级协商，通过降低任务的部分网络性能需求实现保底传输，具体还包括：检查在生成配置参数过程中受到影响的意图的实现状态，并判断这些意图是否被满足，如果没有得到满足，标记出这些意图实现时的相关链路，然后为当前的意图重新生成配置，生成配置时使用的链路参数会根据其它意图的满足情况进行修改，如果得到满足，则进行后续处理。

27、一种任务驱动的分布式网络智能管理方法，包括如下步骤：

28、s1，任务意图转译：解析任务指令，获取任务指令的元素后，通过模板映射将任务指令解析成网络性能指标的需求，并将结果传递给组网策略生成步骤；

29、s2，组网策略生成：接收任务网络性能指标的需求，结合网络状态信息，基于深度强化学习生成组网控制策略，再基于策略生成配置参数；

30、s3，策略验证与协商：对组网控制策略的配置进行验证，判断当前的网络是否能够实现用户任务的网络性能需求，并根据判断结果调整策略配置，当在网络资源不足时，允许多个任务进行服务质量降级协商，通过降低任务的部分网络性能需求实现保底传输，且生成最终配置后能够部署在相应的网络节点上；

31、s4，网络性能统计：在网络运行期间，实时监测和统计网络性能，发现网络故障以完成韧性重构，保障网络运行。

32、本发明的有益效果包括：

33、（1）自动化和高效性。本发明通过智能化的全自动方式处理组网控制策略生成与协议参数配置，减少了手动操作的工作量和错误率，提高了网络管理的效率。

34、（2）用户友好性。本发明用户只需描述网络任务，而无需了解具体的操作指令，使网络管理更加用户友好和易于使用。

35、（3）算法复杂度低。基于数学模型的组网控制策略优化通常属于非确定性多项式问题，目前通常采用贪婪方式、最优化理论或启发式算法进行求解。但是，随着可调参数的规模不断增加，对应的计算复杂度和空间复杂度将以指数级的趋势增加，本发明采用强化学习实现的方案可以显著降低算法复杂度，适用于高动态的组网场景。