一种基于点云图像融合障碍抽象图的轨迹规划方法

本发明属于轨迹规划，尤其涉及一种基于点云图像融合障碍抽象图的轨迹规划方法。

背景技术：

1、近几年，随着机器人技术的飞速进步，日益多样的应用场景对机器人的导航及避障能力提出了更为严格的需求。依照对环境信息的掌握程度的差异，我们可将机器人路径规划技术划分为局部路径规划和全局路径规划两大类，具体包括：

2、(1)局部路径规划：局部路径规划是一种基于机器人当前所处位置周边环境信息进行导航决策的方法。这种方法主要关注机器人在短期内的行动策略，通过实时分析机器人周围的障碍和环境特征，生成一个短期的、局部的路径。

3、(2)全局路径规划：全局路径规划则是一种基于对整体环境的深度感知以生成路径的方法。全局路径规划致力于为机器人从起点至终点生成一条最优或接近最优的路径，同时考虑绕开障碍物并满足其他约束条件(例如最短路径、最低能耗等)。

4、当无人系统进入未知环境时，如果没有预先构建地图或者环境地图过于庞大，无人系统通常只能依赖局部路径规划。然而，大部分机载传感器，如激光雷达和深度相机，只能提供表面信息，往往会导致视野范围不足、视场角限制以及遮挡等问题，从而限制了感知区域，产生未知区域。对于这些未知环境的理解不足可能会影响规划的性能，导致盲目规划，甚至陷入死胡同。

5、对于未知区域的路径规划问题，现行的传统技术主要采用如图1所示的两种处理未知区域的策略。其中一种是较为保守的方法，将未知区域视为不可通行的区域，使规划技术规划出较为安全但速度相对较慢的轨迹。此种策略的主要缺陷在于，它会缩小规划范围，导致无人系统的移动速度下降。另一种是较为激进的方法，将未知区域视为可通行区域，从而规划出飞行速度快但较为危险的轨迹。此种策略的主要不足在于，如果未知区域实际上是不可通行的，那么无人机可能会突然停止，甚至发生碰撞，这极度危险。而且，这两种策略都没有考虑利用已知区域的信息去推测未知区域的占据情况，因此在复杂的环境中难以达到理想的效果。

6、除了传统技术对未知区域处理的两种策略之外，还有一些技术尝试采用深度学习来预测未知区域。例如，如图2所示，使用unet(一种u型的编码器-解码器网络结构)来预测以栅格地图形式表达的地图。如图所示，unet的输入是由已知占据区域构成的栅格地图，其中由于遮挡等因素，未知区域的部分信息是缺失的。通过unet的推理输出，我们可以得到一个更加完整的栅格地图。然后使用这个更完整的地图进行规划技术的碰撞检测，以帮助规划技术获得更好的效果。

7、尽管这种基于深度学习预测未知区域的技术已经考虑到了利用已知区域的信息去推测环境，但仍存在许多不足之处：

8、1.在一个区域中，真正存在障碍物的部分往往只占据一小部分。因此，使用这种技术以稠密的栅格方式来表征地图可能会导致计算资源的浪费。面对更大范围或者更精细的预测任务时，这种技术可能难以满足无人系统的实时性运算需求。

9、2.上述技术只在地图层面进行工作，它得到的更完整的地图直接用于规划算法的碰撞检测。然而，预测未知区域的目的是为了提升规划算法的效果。该技术没有考虑与具体规划算法的结合进行设计，输出更适合规划算法使用的结果。

10、3.通常，无人系统在环境中执行任务时，不仅可以通过激光雷达等传感器获取到与障碍物的距离，还可以通过摄像头获取障碍物的纹理信息。而这些纹理信息同样是预测未知区域时的重要因素。然而，上述技术并没有考虑到使用这些纹理信息。

技术实现思路

1、针对现有技术存在的问题，本技术实施例的目的是提供一种基于点云图像融合障碍抽象图的轨迹规划方法。

2、根据本技术实施例的第一方面，提供一种基于点云图像融合障碍抽象图的轨迹规划方法，包括：

3、获取点云数据和图像数据；

4、基于所述点云数据和图像数据，利用点云图像-图网络生成描述障碍物的图，其中所述点云图像-图网络为训练完成的网络，且训练过程中网络的损失基于节点位置的预测误差和节点间占据状态的预测误差计算得到；

5、基于所述描述障碍物的图，利用基于轨迹库的规划算法进行轨迹规划。

6、进一步地，所述点云图像-图网络中：

7、基于输入的点云数据和图像数据，全连接层和卷积神经网络层分别提取点云特征和图像特征，其中点云数据以包含三维坐标列表的矩阵方式输入，图像数据以三通道矩阵的形式输入；

8、将点云特征和图像特征整合，通过全连接层输出描述障碍物的图，其中所述描述障碍物的图中的节点信息表示障碍物在拓扑结构下的二维节点位置，边信息表示节点之间是否存在边，即节点是否处于占据状态。

9、进一步地，所述点云图像-图网络生成的图结构由包含图节点二维坐标列表的矩阵以及包含图边信息的邻接矩阵的最小编码表示构成。

10、进一步地，所述点云图像-图网络的损失函数为：

11、totolloss＝αmseloss+βbceloss

12、其中：

13、节点位置的预测误差为

14、节点间占据状态的预测误差为

15、y为节点位置真值，为节点位置预测值，n为一个batch中样本的数量，z为拓扑边的真值，为拓扑边的预测值，α和β分别为节点位置的预测误差和节点间占据状态的预测误差的权重。

16、进一步地，基于所述描述障碍物的图，利用基于轨迹库的规划算法进行轨迹规划，包括：

17、基于所述描述障碍物的图获取障碍物的位置；

18、对轨迹库中的所有轨迹进行碰撞检测，排除与障碍物重叠的轨迹；

19、基于预定的指标从轨迹库的剩余轨迹中选取最优轨迹。

20、根据本技术实施例的第二方面，提供一种基于点云图像融合障碍抽象图的轨迹规划装置，包括：

21、获取模块，用于获取点云数据和图像数据；

22、生成模块，用于基于所述点云数据和图像数据，利用点云图像-图网络生成描述障碍物的图，其中所述点云图像-图网络为训练完成的网络，且训练过程中网络的损失基于节点位置的预测误差和节点间占据状态的预测误差计算得到；

23、轨迹规划模块，用于基于所述描述障碍物的图，利用基于轨迹库的规划算法进行轨迹规划。

24、根据本技术实施例的第三方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的方法。

25、根据本技术实施例的第四方面，提供一种电子设备，包括：

26、一个或多个处理器；

27、存储器，用于存储一个或多个程序；

28、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

29、根据本技术实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。

30、本技术的实施例提供的技术方案可以包括以下有益效果：

31、由上述实施例可知，本技术采用多传感器融合的技术手段，结合点云数据与图像数据来获取障碍物信息，克服了单传感器数据信息不足的技术问题，利用深度学习技术对局部感知区域之外的未知环境进行预测，能更全面地感知环境，实现高效预测远程障碍物；利用得到的障碍物信息，辅助基于轨迹库的规划算法进行轨迹规划，避免与障碍物碰撞，同时具有高实时性。

32、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。