一种基于强化学习的无人机辅助配送系统及方法与流程

本发明涉及无人机配送，具体为一种基于强化学习的无人机辅助配送系统及方法。

背景技术：

1、近年来，无人机辅助配送系统因其高效、灵活的特性而备受关注。然而，现有技术在面对复杂动态环境时，仍存在显著的缺陷。首先，许多无人机配送系统依赖于固定的路径规划，这导致在突发情况下，例如突发障碍物、恶劣天气，无人机难以迅速反应，常常造成配送延误或失败。因此，迫切需要一种新型的无人机配送系统，能够实时感知环境并根据实际情况灵活调整运营策略，以实现更高效的配送服务。

2、现有技术中的，公开号为cn118170013a公开了一种基于强化学习的无人机辅助配送系统及方法，通过ppo-pso算法，lstm–cnn神经网络架构无人机任务分配模型的任务分配算法和用于无人机路径规划模型的航线规划算法，以及构建自主制导与跟踪避障模型，实现地面随机运动目标的连续跟踪和合理避障。但是无人机配送环境并不是一直固定的，不同环境下无人机的飞行状况不同，受气象影响，以及避障行为对续航的影响，都可能导致配送失败，因此仅凭一套强化学习算法进行无人机配送训练，不仅仅影响配送任务，还使得无人机配送失去高效性。

3、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的在于提供一种基于强化学习的无人机辅助配送系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于强化学习的无人机辅助配送系统，包括：

4、数据采集模块，用于实时获取配送无人机的位置信息和无人机周围环境的三维点云数据，并采集无人机配送时的气象信息，并通过三维点云数据获得无人机周围的环境地图数据，所述气象信息包括风速、温度、湿度和降雨量；

5、气象分析模块，用于根据采集的风速、温度、湿度和降雨量数据，并与无人机性能测试时的可承受最大气象参数进行比较，根据比较的结果构建分析模型，生成无人机实时的气象异常指数；

6、续航分析模块，用于获取配送终点的位置信息，并根据周围环境地图数据判断障碍物的高度和宽度信息，获得最小跨越路程数据，并将最小跨越路程数据和获取的无人机的位置信息、配送终点的位置信息以及电池电量信息相结合，生成无人机当前剩余配送路程的续航指数的计算公式；

7、航程分析模块，用于构建深度学习模型，并获取历史数据中的气象信息与续航信息，将历史数据中的气象信息与续航信息分别作为深度学习模型的训练集和标签，进行训练，使用训练完毕的深度学习模型预测当前无人机的剩余航程；

8、配送管理模块，用于对剩余预计路程和无人机的剩余航程进行分析，并结合气象异常指数生成当前无人机的配送必要指数，根据无人机的配送必要指数判断无人机是否需要继续配送，若不需要继续配送则前往最近的停机台待命。

9、进一步地，所述通过三维点云数据获得无人机周围的环境地图数据所依据的逻辑为：

10、通过体素网格法将整个三维空间划分为固定大小的立方体，这些立方体为体素，即体积像素，表示三维数据，对于每个点云中的点，计算其所在的体素位置，并将该点分配到相应的体素中，在每个体素内，保留一个代表点，代表点坐标为体素内所有点的平均坐标，生成新的点云数据；运用ransac地面分割算法从点云中随机选择三个点拟合一个平面模型，生成三维的拟合平面模型，对整个点云中的所有点进行迭代，通过计算每个点到拟合平面的距离，查找那些距离属性值小于阈值c的点，这些点与平面模型一致，记录内点的数量和模型参数，重复所述步骤，保留内点数量最多的模型参数，使用此模型，识别并提取地面点，区分地面与非地面点，构建地面的几何模型，对非地面点进行聚类，每个聚类对应一个潜在的障碍物，对于每个障碍物聚类，以无人机位置为坐标原点，计算其在垂直方向z轴上最大和最小坐标的差值得到障碍物高度h，以无人机飞行方向为前方，在前后方向x轴和左右方向y轴上，计算最大和最小坐标的差值，选择最大的差值作为障碍物宽度w。

11、进一步地，根据周围环境地图数据判断障碍物的高度和宽度信息所依据的方法为：

12、

13、其中，为避障系数，h为障碍物高度，w为障碍物宽度，若，则无人机选择提升高度越过障碍物；若，则无人机选择水平绕过障碍物；若，则继续维持当前航向，以此公式获得最小跨越路程数据。

14、进一步地，生成无人机实时的气象异常指数的方法为：

15、

16、

17、其中，表示风速，表示温度，表示湿度，表示降雨量；为风速权重，，风速对无人机飞行的直接影响；为温度权重，，温度变化影响电池性能和飞行稳定性；为湿度权重，，湿度会导致电气系统的故障；为降雨量权重，，降雨量对飞行安全有影响，但不会损害无人机；；

18、风速比：表示当风速超过最大可承受风速时，值为正，表明气象条件不利；当值为负，表明风速在可承受范围内；温度差：表示当温度接近最大可承受温度时，值接近0，表明气象条件不利；当温度接近最小可承受温度时，值接近1，表明气象条件有利；湿度差：表示当湿度接近最大可承受湿度时，值接近0，表明气象条件不利；当湿度接近最小可承受湿度时，值接近1，表明气象条件有利；

19、如果，则表示气象条件对无人机的飞行产生了负面影响；如果，则表示气象条件是有利的。

20、进一步地，生成无人机当前剩余配送路程的续航指数的计算公式为：

21、

22、

23、其中，为躲避障碍物后的电池剩余容量，为无人机单位时间能耗，为预计所需飞行时间，表示续航指数，为剩余路程，是无人机的设定飞行速度。

24、进一步地，将历史数据中的气象信息作为输入特征，续航信息作为目标标签，构建深度学习模型，将历史数据按80%的比例划分为训练集，20%的比例划分为测试集，并从训练集中进一步提取10%的数据作为验证集，将长短期记忆网络lstm方法作为处理时序数据的深度学习模型。根据气象信息的特征数量构建输入层，将相应的时序数据输入模型，添加lstm层，并选用relu激活函数构建隐藏层，在输出层，模型将预测续航信息。损失函数选择均方误差mse，用于评估模型预测与真实值之间的差异，采用adam优化器进行参数更新，通过验证集实时监控模型性能。

25、进一步地，生成配送必要指数的计算公式为：

26、

27、其中，为配送必要指数，为续航指数，为气象异常指数，当时，的值降低，反映气象条件对配送能力的负面影响。

28、进一步地，根据无人机的配送必要指数判断无人机是否需要继续配送的方法是：其中时，表示无人机具备足够的续航能力和良好的气象条件，可以继续配送；时，表示无人机续航能力不足或气象条件不适合，需寻找最近的停机台待命。

29、进一步地，根据无人机的配送必要指数，判断其是否需要继续配送，如果无人机判定暂时无法完成配送任务，则会执行前往最近的停机台待命的操作。具体流程为，根据位置信息搜索附近的停机台；使用地图导航选择到各个附近停机台的路线，并对比每条路线的长度，选择最短的路线；在地图导航时，将依据地面道路规划，不再进行避障，以提升续航能力，确保能顺利到达停机台；停机台可为无人机充电；如果导航规划的停机台距离目的地大于配送任务的目的地，无人机将继续执行配送任务。

30、本发明还提供一种基于强化学习的无人机辅助配送方法，所述配送方法由上述的无人机辅助配送系统执行获得，具体步骤包括：

31、步骤1：实时获取配送无人机的位置信息和无人机周围环境的三维点云数据，并采集无人机配送时的气象信息，并通过三维点云数据获得无人机周围的环境地图数据，所述气象信息包括风速、温度、湿度和降雨量；

32、步骤2：根据采集的风速、温度、湿度和降雨量数据，并与无人机性能测试时的可承受最大气象参数进行比较，根据比较的结果构建分析模型，生成无人机实时的气象异常指数；

33、步骤3：获取配送终点的位置信息，并根据周围环境地图数据判断障碍物的高度和宽度信息，获得最小跨越路程数据，并将最小跨越路程数据和获取的无人机的位置信息、配送终点的位置信息相结合，生成无人机当前剩余配送路程的续航指数的计算公式；

34、步骤4：构建深度学习模型，并获取历史数据中的气象信息与续航信息，将历史数据中的气象信息与续航信息分别作为深度学习模型的训练集和标签，进行训练，使用训练完毕的深度学习模型预测当前无人机的剩余航程；

35、步骤5：对剩余预计路程和无人机的剩余航程进行分析，并结合气象异常指数生成当前无人机的配送必要指数，根据无人机的配送必要指数判断无人机是否需要继续配送，若不需要继续配送则前往最近的停机台待命。

36、与现有技术相比，本发明的有益效果是：

37、本发明通过引入基于深度强化学习的动态路径规划，显著提升了无人机在复杂环境下的应对能力。具体而言，该系统能够通过三维点云数据实时收集和分析环境气象数据，并与无人机性能测试时的可承受最大气象参数进行比较，根据比较的结果构建分析模型，动态调整飞行路径，从而有效减少配送时间，提升配送成功率，并构建深度学习模型，获取历史数据中的气象信息与续航信息，将历史数据中的气象信息与续航信息分别作为深度学习模型的训练集和标签，进行训练，使用训练完毕的深度学习模型预测当前无人机的剩余航程；与现有技术相比，该方案通过智能化的决策机制，不仅提高了无人机的自主性，还增强了系统在应对突发事件时的灵活性，最终实现了高效、可靠的配送服务。这一创新性技术的实施，能够为无人机配送行业带来显著的技术进步，满足日益增长的市场需求。