一种无人机成像防抖方法与流程

本发明涉及图像处理，特别是一种无人机成像防抖方法。

背景技术：

1、高空中的无人机需要通过光学变焦镜头获取目标图像，以对目标进行观察，但由于镜头内部结构有间隙，无人机在空中因风力等因素发生振动时，图像会出现抖动、漂移等情况，影响成像质量。

2、因此，为减少无人机的振动，现有技术中已发展出通过三轴云台等设备进行增稳处理的技术方案，其具体通过imu陀螺仪传感器获取镜头运动位姿，进而通过机械三轴云台对飞机的振动进行补偿，以减少振动对图像获取产生的不良影响，但即使增加上述增稳设备，镜头内部结构之间的间隙仍然存在，镜头仍会有高频振动，仍然无法解决图像抖动的问题。

3、此外，也可通过eis电子防抖，但是其只能解决低频抖动问题，无法解决无人机上的图像高频抖动问题。

技术实现思路

1、为解决上述问题，本发明提出一种无人机成像防抖方法，其可以基于像素点的运动偏移量，对无人机图像的高频抖动、低频抖动进行修正，并且还可以防止图像漂移，可获取良好的成像效果。

2、为实现上述目的，本发明采用的技术方案是：

3、提供了一种无人机成像防抖方法，其特征在于，包括如下步骤：

4、获取相邻的第k帧、第k+1帧图像之间的运动偏移量；

5、根据第k帧、第k+1帧图像之间的运动偏移量对当前帧图像进行高频抖动修正以及低频抖动修正。

6、优选的，获取相邻的第k帧、第k+1帧图像之间的运动偏移量，包括如下步骤：

7、s11、将第k帧图像输入3层的前帧光流金字塔模型中，并分别获取第k帧图像的特征点s在不同层中的坐标；

8、s12、将特征点在前帧光流金字塔模型不同层中的坐标作为光流起点，输入后帧光流金字塔模型中，以得到特征点在第k+1帧图像上的匹配坐标；

9、s13、根据特征点在第k+1帧图像上的匹配坐标获取第k帧、第k+1帧图像之间的运动偏移量。

10、优选的，所述步骤s11包括：

11、获取第k帧图像的特征点的特征点坐标；

12、将第k帧图像输入前帧光流金字塔模型的第0层，并根据第k帧图像中特征点s的特征点坐标获取特征点s在第0层中的坐标s0；

13、将第0层的第k帧图像经过高斯模糊滤波处理，再将其宽度、高度均缩小50％；

14、经过处理的第k帧图像输入至前帧光流金字塔模型的第1层，并根据第k帧图像中特征点的特征点坐标获取特征点s在第1层中的坐标s1；

15、将第1层的第k帧图像经过高斯模糊滤波处理，再将其宽度、高度均缩小50％；

16、经过处理的第k帧图像输入至前帧光流金字塔模型的第2层，并根据第k帧图像中特征点的特征点坐标获取特征点在第2层中的坐标s2。

17、优选的，所述步骤s12包括：

18、将第k+1帧图像输入后帧光流金字塔模型的第0层，将第0层的第k+1帧图像经过高斯模糊滤波处理，再将其宽度、高度均缩小50％；经过处理的第k+1帧图像输入至光流金字塔模型的第1层；将第1层的第k+1帧图像经过高斯模糊滤波处理，再将其宽度、高度均缩小50％；经过处理的第k+1帧图像输入至光流金字塔模型的第2层；

19、将特征点在前帧光流金字塔模型第2层中的坐标s2作为光流起点，输入后帧光流金字塔模型的第2层，并获取第2层中光流终点b2的坐标；

20、获取光流终点b2在后帧光流金字塔模型第1层中的坐标b1；

21、将坐标b1作为光流起点，输入后帧光流金字塔模型的第1层，并获取第1层中光流终点d1的坐标；

22、获取光流终点d1在后帧光流金字塔模型第0层中的坐标d0；

23、将坐标d0作为光流起点，输入后帧光流金字塔模型的第0层，并获取第0层中光流终点d的坐标，光流终点d的坐标即为第k帧图像的特征点在第k+1帧图像上的匹配坐标。

24、重复上述步骤，直至获取第k帧图像的每一特征点(xi，yi)在第k+1帧图像上的匹配坐标(xi',y'i)。

25、优选的，所述步骤s13包括：

26、构建坐标差值序列(δxi,δyi)，该序列中包含i个点，且点的横坐标、纵坐标分别为δxi,δyi，且δxi＝xi-xi'，δyi＝yi-yi'；

27、确定坐标差值序列(δxi,δyi)中每一点的偏移相近点的数量ii，所述偏移相近点是指坐标差值序列(δxi,δyi)中，除第i个点外，与第i个点的横坐标差值、纵坐标差值均满足预设条件的点；

28、确定坐标差值序列(δxi,δyi)中偏移相近点数量ii最大的点，且根据该点的偏移相近点的横坐标、纵坐标获取第k帧、第k+1帧图像之间的运动偏移量(δx,δy)，其中，δxij、δyij分别为所有偏移相近点的横坐标、纵坐标。

29、优选的，所述预设条件为j为坐标差值序列(δxi,δyi)中，除第i个点外的其他点的序号，t为差值阈值。

30、优选的，根据第k帧、第k+1帧图像之间的运动偏移量对当前帧图像进行高频抖动修正，包括如下步骤：

31、根据所述运动偏移量(δx,δy)对第k帧图像的像素点坐标(x0，y0)进行修正，以获取修正后的第k帧图像，且修正后的第k帧图像的像素点坐标为(x0’，y0’)，其中，x0’＝x0+δx，y0’＝y0+δy,以完成图像的高频抖动修正。

32、优选的，根据第k帧、第k+1帧图像之间的运动偏移量对当前帧图像进行低频抖动修正，包括如下步骤：

33、构建长度为n帧图像的滑动窗；

34、获取该滑动窗内n帧图像的x向运动偏移量总和以及y向运动偏移量总和其中，δxn,δyn分别为滑动窗内第n帧图像、第n+1之间的横向运动偏移量、纵向运动偏移量；

35、滑动窗沿第n帧指向第1帧的方向移动，且每次移动一帧，以将队尾的第n帧图像从滑动窗中剔除，同时在队首加入当前帧图像；

36、根据所述x向运动偏移量总和sum_x以及y向运动偏移量总和sum_y对当前帧图像的像素点坐标(x1，y1)进行修正，以获取修正后的当前帧图像，且修正后的当前帧图像的像素点坐标为(x1’，y1’)，其中，x1’＝x1+sum_x，y1’＝y1+sum_y；

37、重复上述滑动窗移动以及像素点修正的步骤，以完成图像的低频抖动修正。

38、优选的，根据第k帧、第k+1帧图像之间的运动偏移量对当前帧图像进行低频抖动修正，包括如下步骤：

39、构建长度为n帧图像的滑动窗；

40、获取该滑动窗内n帧图像的x向运动偏移量总和以及y向运动偏移量总和其中，δxn,δyn分别为滑动窗内第n帧图像、第n+1之间的横向运动偏移量、纵向运动偏移量；

41、根据如下公式分别获取当前滑动窗内n帧图像的x向运动偏移量总和sum_x的x向运动偏移量平均值avg_x以及y向运动偏移量平均值avg_y：

42、

43、

44、滑动窗沿第n帧指向第1帧的方向移动，且每次移动一帧，以将队尾的第n帧图像从滑动窗中剔除，同时在队首加入当前帧图像；

45、根据所述x向运动偏移量总和sum_x的x向运动偏移量平均值avg_x以及y向运动偏移量平均值avg_y对当前帧图像的像素点坐标(x1，y1)进行修正，以获取修正后的当前帧图像，且修正后的当前帧图像的像素点坐标为(x1’，y1’)；

46、重复上述滑动窗移动以及像素点修正的步骤，以完成图像的低频抖动修正。

47、优选的，修正后的当前帧图像的像素点坐标为(x1’，y1’)满足其中，δx1,δy1分别为滑动窗内第1帧图像、第2帧图像之间的横向运动偏移量、纵向运动偏移量。

48、使用本发明的有益效果是：

49、本技术中可以基于像素点的运动偏移量，对无人机图像的高频抖动、低频抖动进行修正，并且还可以防止图像漂移。