融合蚁群算法与Q学习的校园DTN路由方法及系统

本发明涉及校园路由，具体涉及融合蚁群算法与q学习的校园dtn路由方法及系统。

背景技术：

1、dtn主要应用在行迹研究等领域，dtn通信中不存在端到端的路径、链路时断时续、网络拓扑结构时刻变化，并且节点具有移动性、节点的资源严重受限，因此，dtn中数据通信具有一定的挑战。研究表明，dtn通信中95％以上的信息都需经由中继节点的转发才能最终传送到目的节点，中继节点的选择问题一直是研究的重点与难点。

2、由于校园环境的人群分布特征符合dtn的应用场景，故现在也有将dtn应用于校园网络中。而当dtn应用于校园网络时，由于校园环境中校内教学楼、道路、绿化区、空旷地交织存在，不同区域内人流密度及方向不均匀，当校园人员处于该环境中时，其目的地、移动速度、移动方向都是不确定且多变的，这对于校园通信的稳定性带来了极大的挑战。

技术实现思路

1、针对背景技术所提出的问题，本发明目的在于提供多传感器信息融合的气液联动阀健康状态诊断方法及系统，解决了现有用于校园环境的dtn路由通信不稳定的问题。

2、本发明通过下述技术方案实现：

3、本发明第一方面提供了融合蚁群算法与q学习的校园dtn路由方法，包括如下步骤：

4、步骤a、源节点向接收节点发送源节点的改进数据包并释放探索蚂蚁；其中，所述改进数据包为在原始数据包的原始字段上添加链路质量值字段形成的；

5、步骤b、探索蚂蚁到达接收节点后判断所述接收节点是否为目的节点，若是，执行步骤d；若否，执行步骤c；

6、步骤c、所述探索蚂蚁计算所述接收节点的链路质量值，形成当前接收节点的改进数据包，并寻找下一个接收节点转发当前接收节点的改进数据包，转发后执行步骤b；

7、步骤d、所述探索蚂蚁转变为学习蚂蚁，所述学习蚂蚁沿着所述探索蚂蚁的探索路线返回源节点，所述学习蚂蚁返回时基于马尔科夫决策过程对探索路径上的所有节点的所述链路质量值进行计算，得到所有节点的q值表；

8、步骤e、当所述学习蚂蚁返回源节点后，所述源节点选择q值最大所对应的路径作为最优路径。

9、在上述技术方案中，本发明在原始数据包的原始字段上添加链路质量值字段，链路质量包括了对校园人员的目的地、移动方向等影响链路稳定的因素进行综合考虑，确定其链路质量值并将其作为选择链路中间节点的考虑因素，以此评估传输路径的稳定性。从而克服传统dtn路由通信链路不稳定的缺陷。

10、在一种可能的实施例中，所述探索蚂蚁计算所述接收节点的链路质量值，形成当前接收节点的改进数据包包括：

11、步骤c1、获取校园地图和校园人员移动数据，所述接收节点根据所述校园地图和所述校园人员移动数据确定移动路径；

12、步骤c2、所述探索蚂蚁对所述移动路径进行计算得到链路质量值。

13、在一种可能的实施例中，所述校园人员移动数据包括历史移动路径和目标位置。

14、在一种可能的实施例中，所述接收节点根据所述校园地图和所述校园人员移动数据确定移动路径包括：

15、根据所述目标位置从所述校园地图中筛选出可达路径；

16、以上一个节点为中心，以最大通讯距离为半径进行范围圈定，得到通讯路径范围；

17、将所述可达路径与所述通讯路径范围进行比较，筛选出备选移动路径。

18、在一种可能的实施例中，在所述接收节点根据所述校园地图和所述校园人员移动数据确定移动路径之前还包括对所述历史移动路径和所述目标位置进行筛选，所述筛选包括：

19、若所述目标位置为空，则将所述接收节点进行删除；

20、若所述目标位置不为空，则对所述历史移动路径进行判断：

21、若所述历史移动路径的行进方向与所述目标位置不一致，则将所述接收节点进行删除。

22、在一种可能的实施例中，所述历史移动路径的行进方向与所述目标位置不一致包括：

23、将所述接收节点与所述目标位置进行连线，若历史移动路径的行进方向与该连线之间的夹角不在[-90°,90°]的范围内时，则认定历史移动路径的行进方向与目标位置是不一致的。

24、在一种可能的实施例中，所述探索蚂蚁对所述移动路径进行计算得到链路质量值包括：

25、

26、其中，q为链路质量值，α、β、γ为权重因子，α+β+γ＝1，i为第i个接收节点，表示探索蚂蚁现在所在的接收节点，di,i-1为探索蚂蚁现在所在的接收节点与上一个节点之间的距离，ci为探索蚂蚁现在所在的接收节点周围可传播的节点数，b为调整因子，e为指数函数，ai为第i个接收节点的目标位置编号，ai-1为第i-1个接收节点的目标位置编号，dai,ai-1为第i个接收节点目标位置与第i-1个接收节点目标位置之间的距离，k为路径传播损失常数，h为障碍物的高度，s为障碍物的面积。

27、在一种可能的实施例中，所述学习蚂蚁返回时基于马尔科夫决策过程对探索路径上的所有节点的所述链路质量值进行计算，得到所有节点的q值表包括：

28、步骤d1、将校园环境设置为环境，将节点设置为智能体，智能体根据所述环境确定智能体t时刻的状态st；

29、步骤d2、所述智能体通过ε-贪婪策略确定t时刻的状态st下t时刻的动作at；

30、步骤d3、所述智能体执行t时刻的动作at，并获取执行t时刻的动作at后的链路质量值，根据链路质量值构建奖励函数，并根据所述奖励函数确定t时刻的奖励rt，并获取所述环境在t+1时刻的状态st+1；

31、步骤d4、将状态st、动作at、奖励rt、状态st+1整合成经验并存入经验回放池中，使用所述经验回放池中的经验训练智能体；

32、步骤d5、重复步骤d1至步骤d4的环境与智能体交互训练直至达到最大迭代次数，此时，所述智能体得到最优q值表。

33、在一种可能的实施例中，所述奖励函数构建如下：

34、r(t)＝q(t)-q(t-1)

35、其中，r(t)为t时刻的奖励函数，q(t)为t时刻的链路质量值，q(t-1)为t-1时刻的链路质量值。

36、本发明第二方面提供了多传感器信息融合的气液联动阀健康状态诊断系统，包括：

37、探索模块，所述探索模块用于源节点向接收节点发送源节点的改进数据包并释放探索蚂蚁；

38、判断模块，所述判断模块用于探索蚂蚁到达接收节点后判断所述接收节点是否为目的节点；

39、计算模块，所述计算模块用于所述探索蚂蚁计算所述接收节点的链路质量值，形成当前接收节点的改进数据包，并寻找下一个接收节点转发当前接收节点的改进数据包；

40、学习模块，所述学习模块用于所述探索蚂蚁转变为学习蚂蚁，所述学习蚂蚁沿着所述探索蚂蚁的探索路线返回源节点，所述学习蚂蚁返回时基于马尔科夫决策过程对探索路径上的所有节点的所述链路质量值进行计算，得到所有节点的q值表；

41、选择模块，所述选择模块用于当所述学习蚂蚁返回源节点后，所述源节点选择q值最大所对应的路径作为最优路径。

42、本技术与现有技术相比，具有如下的优点和有益效果：

43、1、本发明在原始数据包的原始字段上添加链路质量值字段，链路质量包括了对校园人员的目的地、移动方向等影响链路稳定的因素进行综合考虑，确定其链路质量值并将其作为选择链路中间节点的考虑因素，以此评估传输路径的稳定性。从而克服传统dtn路由通信链路不稳定的缺陷；

44、2、相较于现有技术的趋向性以区域为分析单位，本发明是以路径为分析单位，避免了趋向性集中于在某一处。