一种无人机防撞自主决策方法

本发明涉及无人机控制领域，具体涉及一种无人机防撞自主决策方法。

背景技术：

1、随着无人机应用场景的快速增多，其对人们生产生活方式的帮助越来越大，无人机产业正逐渐成为低空经济的主导产业。无人机在农业、物流、监测、救援等各行业领域的广泛应用，导致无人机的活动变得更加多样化和复杂化，增加了碰撞的可能性。

2、无人机防撞是无人机安全飞行中至关重要的一环，目前已有的无人机防撞算法主要包括传感技术、空中交通管理、规章制度和一些控制理论，其中博弈论和影响图方法需要对环境过程进行精确建模。另外，目前已有的相关研究多数是在较多限制条件下完成的，比如固定了无人机和碰撞物的初始位置关系和姿态关系，或者无人机的机动模式受到限制等。这些都导致无人机的自主性大为降低，使得无人机在复杂场景下防撞能力低。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种无人机防撞自主决策方法解决了现有无人机在复杂场景下防撞能力低的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、提供一种无人机防撞自主决策方法，其包括以下步骤：

4、s1、获取环境状态；其中真实环境状态包括无人机的当前状态和碰撞物的当前状态；

5、s2、分别基于无人机的当前状态和碰撞物的当前状态构建无人机质点模型和碰撞物质点模型；

6、s3、通过马尔科夫决策过程对无人机防撞强化学习仿真环境进行建模，得到防撞模型；

7、s4、将当前真实环境状态作为智能体的输入，获取智能体输出的动作并将其作为无人机的控制动作；

8、s5、基于智能体输出的动作、无人机质点模型和碰撞物质点模型，通过防撞模型推演得到下一个状态，并获取智能体当前动作对应的奖励；

9、s6、通过防撞模型推演得到的下一个状态和智能体当前动作对应的奖励更新智能体参数；

10、s7、判断是否继续进行防撞自主决策，若是则返回步骤s4；否则结束；

11、其中智能体包括策略网络和价值网络；价值网络基于智能体当前动作对应的奖励和对状态和动作的价值估计来更新自身参数；策略网络通过价值网络反馈的价值估计更新自身参数；价值网络输出价值估计；策略网络输出动作。

12、本发明的有益效果为：基于碰撞物和无人机的三自由度质点运动模型搭建了更困难且具有随机性的无人机防撞仿真场景，并且从马尔科夫决策过程的角度建模了标准的强化学习环境，针对环境特点引入了周期重启，充分探索了无人机的状态和动作空间，提升了无人机在复杂环境下自主决策防撞的成功率。

技术特征：

1.一种无人机防撞自主决策方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的无人机防撞自主决策方法，其特征在于，构建无人机质点模型的具体过程包括以下步骤：

3.根据权利要求1所述的无人机防撞自主决策方法，其特征在于，构建碰撞物质点模型的具体过程包括以下步骤：

4.根据权利要求1所述的无人机防撞自主决策方法，其特征在于，策略网络为三个依次相连的线性层，尺寸依次为33×128、128×128、128×4，策略网络中前两个线性层的输出通过双曲正切函数激活；

5.根据权利要求1所述的无人机防撞自主决策方法，其特征在于，智能体当前动作对应的奖励的计算表达式为：

6.根据权利要求1所述的无人机防撞自主决策方法，其特征在于，价值网络更新自身参数的具体方法为：

7.根据权利要求6所述的无人机防撞自主决策方法，其特征在于，策略网络更新自身参数的具体方法为：

8.根据权利要求1所述的无人机防撞自主决策方法，其特征在于，智能体与防撞模型的交互数据放入经验缓冲区，并定期通过经验缓冲区中的数据对智能体进行训练。

9.根据权利要求1所述的无人机防撞自主决策方法，其特征在于，智能体每输出设定次数的动作后，重新初始化智能体参数。

技术总结本发明公开了一种无人机防撞自主决策方法，本发明基于碰撞物和无人机的三自由度质点运动模型搭建了更困难且具有随机性的无人机防撞仿真场景，并且从马尔科夫决策过程的角度建模了标准的强化学习环境，针对环境特点引入了周期重启，充分探索了无人机的状态和动作空间，提升了无人机在复杂环境下自主决策防撞的成功率。技术研发人员：李文,段立新,王正,李思思,韩世蛟受保护的技术使用者：电子科技大学技术研发日：技术公布日：2024/8/20