一种基于视觉的无人机追踪无人车的方法与流程

本发明属于无人机，尤其涉及一种基于视觉的无人机追踪无人车的方法。

背景技术：

1、近十年，无人机技术得到了飞速的发展，并在多个领域中发挥着作用，例如物流运输、环境监测、农业喷洒等。随着无人机机载电脑计算能力和传感器的不断提升，无人机在目标追踪方面的能力也得到了大幅度的提升。无人机追踪技术设计多方面技术，包括目标检测技术、轨迹预测技术、自主导航技术、运动控制技术等。无人机追踪无人车是一个具有挑战性的问题，一般而言，有三个主要的技术挑战：一是安全性，无人机在追踪无人车过程中应避免与周围的障碍物以及目标发生碰撞。二是可见性，无人机应将无人车保持在可见范围内，避免被障碍物遮挡。三是平滑性，应保持自身轨迹平滑，避免观测的无人车运动模糊。

2、目前，传统无人机追踪无人车的方法中，不仅轨迹的安全性和平稳性难以保证，并且在面对一些极端情况时，如无人车忽然转向或者加减速时目标非常容易丢失，使得现有方案的可靠性较差。现有的可靠的无人机追踪无人车的方案还存在着较大的空白。

技术实现思路

1、本发明目的在于提供一种基于视觉的无人机追踪无人车的方法，以解决上述的技术问题。

2、为解决上述技术问题，本发明的一种基于视觉的无人机追踪无人车的方法的具体技术方案如下：

3、一种基于视觉的无人机追踪无人车的方法，包括如下步骤：

4、步骤1：无人机上配备单目摄像头，基于视觉使用yolov8目标检测算法或是使用apriltag来实时检测目标无人车并对其进行定位；

5、步骤2：预测目标无人车的运动轨迹，在无人车被成功识别并定位后利用训练好的深度学习transformer模型根据无人车历史的运动轨迹来预测无人车的运动轨迹；

6、步骤3：全局路径搜索，根据目标无人车的当前位置和预测的未来运动轨迹，使用informed rrt*算法，建立一棵探索随机树来有效搜索路径，找到一条从无人机当前位置到跟踪目标的路径；

7、步骤4：轨迹优化，针对步骤3中生成的路径，在每个离散的路径点处进行增量式的拓展构造一系列的飞行走廊；然后在飞行走廊内通过分段贝塞尔曲线生成一条光滑、安全且动力学可行的路径。

8、进一步的，所述步骤1使用yolov8中最轻量化的yolov8n作为算法模型，yolov8算法包含以下具体步骤：

9、使用yolov8获取到无人车的检测框后，目标检测框宽度为w，长度为d目标检测框两个对角点坐标为[x1,y1]，[x2,y2]，

10、w＝y2-y1

11、

12、结合相机内参来获取无人车质心的位置：

13、

14、fx,fy,cx,cy分别表示相机x轴的焦距、y轴的焦距、相机主点横坐标、相机主点纵坐标。

15、进一步的，使用apriltag来实时检测目标无人车并对其进行定位的算法步骤如下：自适应阈值分割；查找轮廓，使用union-find查找连通域；对轮廓进行直线拟合，查找候选的凸四边形；对四边形进行解码，识别tag坐标变换，转换到世界坐标系；

16、当场景中出现tag时，首先求出场景图像的梯度图像；然后提取场景中的直线，检测方形角点；然后得到突刺昂的方形区域以及关键角点，将方形区域同态映射为正方形；将映射的正方形与tags库进行匹配，判断是否为tags；然后根据相机的成像原理，根据相机焦距、tag的尺寸计算出相机坐标系下的三维坐标，实现确定tags的位置。

17、进一步的，步骤2所述transformer的结构包括编码器和解码器，其中编码器包含多个多头注意力模块与全连接层网络，解码器包含多头注意力模块与前馈神经网络，在各模块间用残差连接以及进行归一化处理，模型训练采用损失函数为smooth-l1损失函数：

18、

19、式中yi是真实值，f(xi)为预测值，n为预测位置个数，无人车在未来tp时间内对应的n个预测位置表示为：

20、

21、进一步的，所述步骤3使用贪婪方法，解耦为多目标路径搜索问题，每个预测位置zn定义一个无遮挡区域φx，φn被设置为第n个路径搜索问题的目的地。进一步的，步骤3所述informed rrt*算法流程如下：

22、步骤3.1初始化随机树：在状态空间中选取一个初始节点作为树的根节点；步骤3.2设定椭圆采样区域，该区域的焦点为起点和终点，长轴a等于初始路径长度的一半，即：

23、a＝c_best/2

24、其中c_best为初始路径长度，短轴b和焦距c根据椭圆性质计算得出：

25、a2＝b2+c2

26、步骤3.3椭圆采样：在设定的椭圆采样区域内进行采样，得到一个随机点x_rand；

27、步骤3.4寻找最近邻节点：在树中找到距离x_rand最近的节点x_near：

28、xnear＝argmin(dist(xrand，x))

29、dist采用欧式距离；

30、步骤3.5扩展树：以x_near为起点，以x_rand为终点，沿着从x_near到x_rand的路径生成一条新的节点序列，在添加新节点的过程中，计算每个节点的代价，并更新节点的父节点和代价；

31、步骤3.6查找可行路径：如果新节点x_new被添加到树t中，检查从起点到x_new的路径是否可行，如果可行，检查是否找到了一条从起点到目标点的路径，如果找到了一条可行路径，则算法可能进入优化阶段或结束；步骤3.7优化路径：对树t进行优化，通过重新连接节点和修剪无用的分支来减少路径的代价，如果在之后的迭代中找到了更短的路径，更新c_best的值，并重新计算椭圆采样区域的大小和形状；

32、步骤3.8重复执行：重复执行步骤3.2到步骤3.7，直到找到一条可行路径或者达到指定的迭代次数；

33、如果采用找到了一条可行路径，则从终点开始，沿着树的结构向起点回溯得到路径，否则输出无法找到一条可行路径。

34、进一步的，所述步骤4根据步骤3中采样得到的一系列离散位置点，对每一个离散点沿着速度方向生成一小段多边形，再沿着四周进行拓展得到一个无碰撞的凸多边形飞行走廊，

35、整段轨迹用分段贝塞尔曲线进行表示：

36、

37、其中σ为贝塞尔曲线的维度，表示第j段的第i个控制点，t0，t1，...，tn是起点和终点的时间戳，

38、根据每个段的持续时间为每个段引入一个缩放因子αj；

39、采用五次分段贝塞尔曲线(m＝5)作为轨迹参数化，贝塞尔曲线的k阶导数通过控制点表示为：

40、

41、将跟踪问题表述为以下形式：

42、

43、其中第一行为优化的目标函数，它表示为最小化加加速度损失与最小化时间，ρ为一个可以调整的时间权重参数，第一个约束表示轨迹初始位置和终止位置约束；第二个约束表示最大速度与加速度的约束；第三个约束表示为飞行走廊约束，保证生成轨迹能够避开障碍物；第四个约束为可见区域约束，对每个目标预测点都存在一个可见区域，保证追踪无人机能够实时检测到目标无人车；第五个约束为无人机与目标无人车的距离约束，在水平方向和垂直方向上都应与目标无人车存在一定的距离，第六个约束为输出轨迹的持续时间大于等于目标预测轨迹的持续时间，将约束进行软化添加到目标函数里，借助梯度使用l-bfgs进行求解，l-bfgs算法使用前m次迭代的曲率信息来近似hessian矩阵或其逆矩阵的更新：

44、两次自变量x的变化量s：

45、si＝xi+1-xi

46、两次迭代中梯度变化量y：

47、

48、l-bfgs更新公式：

49、

50、式中hk+1为第k+1步迭代的hessian矩阵或其逆矩阵的近似，vi为由si和yi构成的矩阵，用于近似hessian矩阵或其逆矩阵的更新，为初始的hessian矩阵或其逆矩阵的近似，通常取为单位矩阵或对角矩阵，ρk为一个正数，用于调节近似的准确性，其值通常为sk为由sk-m，...，sk-1构成的矩阵。

51、本发明的一种基于视觉的无人机追踪无人车的方法具有以下优点：

52、(1)本发明使用的方法无人机可以在追踪无人车的过程中实现避障功能同时与目标无人车保持一定的距离，保证追踪过程的安全性。

53、(2)本发明使用的方法灵活度较高，无人机会根据目标无人车的轨迹趋势及时更新运动轨迹，保证目标无人车能够不脱离无人机的检测范围。

54、(3)本发明使用的方法效率高，在检测到车的位置后，不对大量的点云数据进行处理，而是将车视为一个质点进行预测并生成轨迹。同时使用了快速的路径搜索算法和轨迹优化算法，计算速度快，保证无人机轨迹生成的实时性。

55、(4)本发明使用的方法适应的场景广，不论是在空旷场景还是一些有着较多障碍物的复杂场景，无人机都能有效对无人车进行实时的跟踪。