基于人工智能的自动航线规划方法及系统与流程

本发明涉及自动控制系统，具体的涉及一种基于人工智能的自动航线规划方法及系统。

背景技术：

1、船舶的自主控制是一项关键的技术，用于确保船舶在不同的海洋条件下安全导航。传统的船舶控制方法通常涉及手动操纵，但随着技术的发展，自主控制系统变得越来越重要，能够提高航行的安全性和效率。

技术实现思路

1、本发明的目的在于解决上述现有技术中存在的难题，提供一种基于人工智能的自动航线规划系统，以解决航线合理规划、合理避障的问题。

2、为了实现上述目的，本发明提供一种人工智能的自动航线规划方法，

3、通过奖励函数对采取某动作的船舶一个即时奖励，如果船舶采取此动作后与静态障碍物或者动态障碍物发生碰撞，则获得一个负面奖励；

4、若船舶采取此动作到达目标点，则获得一个正面奖励；

5、根据得到的所述正面奖励和所述负面奖励不断学习，判断不同船舶状态下各动作的好坏，指导船舶规避障碍物规划出合理航线、安全航行。

6、优选的，步骤s1：构建船舶航行仿真环境。

7、优选的，步骤s2：设计奖励函数；

8、所述奖励函数指根据船舶目前的状态，给出一定奖励的函数，奖励的大小表明船舶在某一状态的好坏程度。

9、优选的，所述步骤s2具体包括：

10、步骤s2.1：计算船舶与目标点的距离；

11、假设船舶当前位置为，目标点g的坐标为，采用如下公式计算距离奖励值

12、

13、式中，为防止出现即将到达终点奖励值过大而无法收敛的情况。

14、优选的，所述步骤s2具体包括：

15、步骤s2.2：判断船舶是否与静态障碍物发生碰撞；

16、根据航线水域和船舶机动性能，将水域分为安全航行区、存在安全风险区、危险区；

17、其中所述危险区指区域水深不满足安全航行要求、存在海图标识的碍航物和禁航区等，区域不能在此航行；

18、所述存在安全风险区主要是危险区附近，船舶若不立即采取转向措施，则会进入危险区、发生安全事故；

19、所述安全航行区是指当前航区没有静态安全风险，可自由通行，

20、

21、式中，r0为基础奖励值，k是一个较大数，能够针对处于所述危险区的船舶给与较大惩罚，从而排除进入危险区的行为。

22、优选的，所述步骤s2具体包括：

23、步骤s2.3：设置船舶与动态障碍物发生碰撞惩罚值；

24、设船舶周围存在距离小于限制距离llimit的船舶v，即，船舶间安全距离为l0，小于安全距离则会发生安全风险，奖励函数按如下设置，

25、，

26、式中，r1为基础奖励值，设为-r1是对距离较近的船舶防止碰撞设置的惩罚值；t是一个较大数，能够针对可能发生碰撞的船舶给与较大惩罚，从而排除船舶碰撞风险。

27、优选的，其特征在于所述步骤s2具体包括：

28、步骤s2.4：船舶到达规划目标点获得所述正面奖励；

29、当船舶s到达目标点时，获得一个正面奖励；

30、总的奖励函数通过公式进行计算得出。

31、优选的，所述方法进一步包括：

32、步骤s3：进行路径规划模型训练；

33、针对构建的深度强化学习模型进行训练，模型中包括船舶航行的仿真环境、深度神经网络模型以及奖励策略；

34、船舶以智能体的形式在仿真环境中航行，船舶动作为，由深度神经网络输出，深度神经网络网络的输入为船舶当前状态；

35、执行动作后，船舶在仿真环境中进行响应，船舶航线状态变化为，同时根据船舶在仿真系统中的反馈，利用奖励函数计算当前状态下执行的奖励值；

36、步骤s3.1：随机生成深度神经网络初始参数；

37、深度神经网络的参数可用网络连接权重w和偏置b，设网络深度为n层，待训练的参数可表示为{w1，b1，w2，b2，…，wn，bn}；

38、步骤s3.2：计算网络输出偏差；

39、通过最大化奖励值实现最优航线规划，其中为网络输入与输出之间传递函数，由网络结构进行确定；根据总的奖励函数进行计算；

40、步骤s3.3：根据最大化奖励值目标，训练数据输入后，每次计算完成后对参数{w1，b1，w2，b2，…，wn，bn}进行更新，直到网络训练收敛。

41、优选的，所述方法包括如下步骤：

42、步骤s4：根据训练好的路径规划模型进行航线规划。

43、本发明另一方面提供了一种基于人工智能的自动航线规划系统，包括：

44、船舶仿真环境模块，用于构建船舶航行仿真环境；

45、奖励函数设计模块，用于设计奖励函数；

46、模型训练模块，用于进行路径规划模型训练；

47、航线规划模块，用于根据训练好的路径规划模型进行航线规划。

48、与现有技术相比，本发明的有益效果是：

49、1）采用深度强化学习进行航线规划，适用于船舶动态航线过程，能够使船舶具备自主规划能力，快速形成到达目标点的航线。

50、2）深度强化学习网络设计中，在奖励值计算中考虑了目标点距离、静态障碍、动态障碍等因素，能够实现避开水中碍航物的基础上，对船舶等动态目标进行自动避障，可用于船舶航行中的动态航线规划。

51、3）深度强化学习网络的训练，通过仿真环境进行，能够快速实现大样本的高效训练，避免实际环境训练场景较少、训练样本量不足、训练代价高的缺点。

技术特征：

1.一种基于人工智能的自动航线规划方法，其特征在于：

2.根据权利要求1所述的方法，其特征在于，所述方法具体包括步骤s1：构建船舶航行仿真环境。

3.根据权利要求2所述的方法，其特征在于：

4.根据权利要求3所述的方法，其特征在于，所述步骤s2具体包括：

5.根据权利要求4所述的方法，其特征在于，所述步骤s2具体包括：

6.根据权利要求5所述的方法，其特征在于所述步骤s2具体包括：

7.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：

8.根据权利要求7所述的方法，其特征在于，所述方法包括如下步骤：

9.一种基于人工智能的自动航线规划系统，用于执行如权利要求1-8任一项权利要求所述方法，其特征在于：

技术总结本发明提供了一种基于人工智能的自动航线规划方法及系统。通过奖励函数对采取某动作的船舶一个即时奖励，如果船舶采取此动作后与静态障碍物或者动态障碍物发生碰撞，则获得一个负面奖励；若船舶采取此动作到达目标点，则获得一个正面奖励；根据得到的所述正面奖励和所述负面奖励不断学习，判断不同船舶状态下各动作的好坏，指导船舶规避障碍物规划出合理航线、安全航行。算法根据得到的奖励不断学习，判断不同船舶状态下各动作的好坏，从而指导船舶规避障碍物规划出合理航线、安全航行。技术研发人员：周峥,李昇,熊洁琼,张子杰,万茂源,徐晓,丁旻昱受保护的技术使用者：无锡九方科技有限公司技术研发日：技术公布日：2024/6/13