一种基于单目视觉的无人机精准降落方法

本发明属于无人机控制，具体是涉及一种基于单目视觉的无人机精准降落方法。

背景技术：

1、随着无人机技术的不断发展，对完成工作任务的无人机进行安全回收和循环作业成为无人机在各个领域进一步推广的关键。而实现无人机重复利用的重要特征是无人机具备自主精准降落的能力。然而，当前无人机在降落阶段的事故频发。视觉导航凭借其成本低、自主性强等优点，已成为无人机自主精准降落在回收末端的首选。视觉引导无人机自主降落一般分为基于合作目标与基于非合作目标的自主降落，当下前者是主要的研究方向。而在相机选取方面，当场景中的物体与摄像头的距离远大于2个摄像头基线的距离时，无人机的双目视觉就退化成了单目视觉问题。因此，如何利用观测信息最少、设备简易的单目相机进行更加安全、平稳自主精准降落成为近年来无人机领域的研究热点。

2、基于单目相机进行无人机精准降落的过程中，二值化分割图像方面，传统的otsu算法对噪声敏感，无法处理局部阈值，分割质量较差；位姿解算方面，大多数非迭代的pnp算法易陷入局部最优，鲁棒性差，计算效率低。

技术实现思路

1、本发明要解决的技术问题是提供一种基于单目视觉的无人机精准降落方法，用以使用单目相机采集降落标识的图像实现精准降落。

2、为了解决上述技术问题，本发明提供一种基于单目视觉的无人机精准降落方法，无人机包括单目相机，无人机到达降落标识上方后，在降落过程中，采集降落标识的图像并进行图像处理获得分割图像，然后将分割图像从像素坐标系通过坐标转换得到相机坐标系，再进行位姿解算获得无人机相对于降落标识的位置信息用来控制无人机降落；

3、所述图像处理包括灰度化处理、中值滤波处理和二值化处理；

4、所述降落标志包括三层嵌套aruco码。

5、作为本发明的一种基于单目视觉的无人机精准降落方法的改进：

6、所述三层嵌套aruco码的内层为1个2号aruco码，中间层为1个1号aruco码，外层为4个3号aruco码，其中，1号aruco码位于正中央，2号aruco码位于1号aruco码内部的中心位置，3号aruco码位于1号aruco码的四个角上。

7、作为本发明的一种基于单目视觉的无人机精准降落方法的进一步改进：

8、所述灰度化处理为采用加权平均法由rgb三个通道的值转换为一个灰度值：

9、gray＝a×r+b×g+c×b                                          (1)

10、其中，r、g、b表示红、绿、蓝三通道分量的取值，灰度图的像素用gray表示，a+b+c＝1。

11、作为本发明的一种基于单目视觉的无人机精准降落方法的进一步改进：

12、所述二值化处理为：

13、采用全局二值化算法进行二值化处理时，二值化方法表示为:

14、

15、其中，f(x，y)为图像中坐标为(x，y)点像素灰度值，h(x，y)为二值化处理后的图像中坐标为(x，y)点的像素值，t为阈值。

16、作为本发明的一种基于单目视觉的无人机精准降落方法的进一步改进：

17、所述坐标转换为：

18、一个像素在u、v方向上对应的物理尺寸分别为dx、dy，可得到下式：

19、

20、其中，(u0，v0)为图像中心的像素坐标；(u，v)为像素坐标系下的坐标；(x，y)为像平面坐标系下对应坐标；

21、降落标识点(xc，yc，zc)到像素坐标系下点(u，v)的转换关系：

22、

23、其中：zb为相机坐标系下zb轴的坐标值；fx＝f/dx为每个像素在x轴上的尺寸；fy＝f/dy为每个像素在x轴上的尺寸；f为相机的焦距；

24、为相机的内参矩阵；为所要求的相机外参矩阵；r为旋转矩阵，t为平移向量。

25、作为本发明的一种基于单目视觉的无人机精准降落方法的进一步改进：

26、所述改进的pnp算法为：

27、3d参考点在世界坐标系中的坐标为在相机参考坐标系中的坐标为4个虚拟控制点在世界坐标系中的坐标为在相机参考坐标系中的坐标为则有：

28、且

29、其中，αij为齐次质心坐标；

30、在相机坐标系中，同样存在：

31、

32、虚拟控制点在相机坐标系下的坐标为：

33、

34、其中，k为相机的内参矩阵，设si是对应的视场深度；

35、式(13)中，i为任意值，将k写成焦距和光心的形式，则有:

36、

37、消去{si}i＝1,l,4，得到两个线性方程：

38、

39、把所有n个点串联起来得到一个线性方程组：

40、lx＝0 (10)

41、式(16)中为12×1的向量，是虚拟控制点在相机坐标系下的坐标，l是2n×12的矩阵,且x在l的右零空间中:

42、

43、式(17)中，ni是l的n个零特征值对应的特征向量，且只考虑n＝1,2,3,4的情况；通过mtm的零特征向量得到ni，并求出bi；

44、对于第i个控制点在相机参考坐标下的坐标(i＝1,…,4):

45、

46、式(18)中，是特征向量vk的第i个3×1子矢量；

47、计算的重心：

48、

49、则矩阵a为：

50、

51、计算的重心：

52、

53、则矩阵b为：

54、

55、得出矩阵a与b，计算h和h的svd分解：

56、h＝bta                                                          (17)

57、h＝uσvt                                                         (18)

58、计算得出旋转矩阵r和平移向量t：

59、r＝uvt (19)

60、

61、作为本发明的一种基于单目视觉的无人机精准降落方法的进一步改进：

62、式(2)中所述阈值t为在最大类间(otsu)算法上引入一个归一化的类内方差计算获得，具体为：

63、图像的平均灰度为：

64、

65、其中，n1为图像中的前景像素数，n2为图像中的背景像素数，μ1和μ2分别为前景和背景像素的平均灰度，n为像素总数为；

66、前景和背景的类内方差分别为：

67、

68、

69、其中，p(i)表示灰度值i的像素在图像中出现的概率；

70、图像的类间方差为：

71、

72、

73、

74、归一化的类内方差的公式如下：

75、

76、所述阈值t为：

77、

78、其中，m为图像中的灰度级别。

79、作为本发明的一种基于单目视觉的无人机精准降落方法的进一步改进：

80、所述无人机降落过程由高到低分为三个阶段：

81、第i阶段，所述无人机位于降落标识上方并下降高度；

82、第ii阶段，所述单目相机采集所述1号aruco码的图像并进行所述图像处理与位姿解算；

83、第iii阶段，所述单目相机采集所述2号aruco码或3号aruco码的图像并进行所述图像处理与位姿解算。

84、本发明的有益效果主要体现在：

85、1、本发明解决了在仅仅依赖于视觉导航技术下，无人机自主降落精度低，普适性差的问题，且在室内室外场景下均满足无人机自主精准降落的实际需求，具有较高的实用价值；

86、2、本发明在图像二值化处理中采用优化了ostu算法，考虑了类内方差和类间方差之间的平衡，从而提高了图像的分割质量；

87、3、本发明在位姿解算中优化了pnp算法，提升了位姿解算的实时性；

88、4、本发明采用三层嵌套aruco码作为降落标识，具有高容量和多尺度支持，适用于无人机降落过程中相机拍摄不同高度和视角下的图像以完成精准定位，鲁棒性和容错性强，进而保证降落过程的稳定。