一种适用于无人机成像的图像增稳方法与流程

本发明涉及图像处理，特别是一种适用于无人机成像的图像增稳方法。

背景技术：

1、高空中的无人机需要通过光学变焦镜头获取目标图像，以对目标进行观察，但由于镜头内部结构有间隙，无人机在空中因风力等因素发生振动时，图像会出现抖动、漂移等情况，影响成像质量。

2、因此，为减少无人机振动对图像的不良影响，现有技术中已发展出通过三轴云台等设备进行增稳处理的技术方案，其具体通过imu陀螺仪传感器获取镜头运动位姿，进而通过机械三轴云台对飞机的振动进行补偿，以减少振动对图像获取产生的不良影响，但该方法需要增设额外的增稳设备，导致无人机重量、成本增加；此外，也可通过meshflow等算法实现电子防抖，但是其只能解决低频抖动问题，无法解决无人机上的图像高频抖动问题。

技术实现思路

1、为解决上述问题，本发明提出一种适用于无人机成像的图像增稳方法，其根据确定图像的抖动状态对每帧图像进行对应的抖动修正处理，以得到最终的防抖图像序列，从而对无人机成像过程中产生的高频抖动、低频抖动进行图像修正补偿，达图像防抖增稳的效果。

2、为实现上述目的，本发明采用的技术方案是：

3、提供了一种适用于无人机成像的图像增稳方法，其包括如下步骤：

4、s1、通过无人机机载成像设备获取图像序列帧，并将其中第k帧图像确定为原始参考帧图像；

5、s2、获取图像序列帧中，第k帧图像后的每一帧图像相对于原始参考帧图像的偏移值(δxi,δyi)；

6、s3、根据图像的偏移值或imu的位姿信息确定图像的抖动状态；

7、以及s4、对处于不同抖动状态的图像进行抖动修正。

8、优选的，所述步骤s3中，根据图像的偏移值确定图像的抖动状态包括如下步骤：

9、当第k帧图像后，至少有第i帧图像的偏移值(δxi,δyi)满足|δxi|≥t1，或，|δyi|≥t1时，则认为第i帧图像处于第一抖动状态；

10、或，当第k帧图像后，第i帧图像、第i+1帧图像的偏移值满足|δxi|≥t2且|δxi+1|≥t2，或，|δyi|≥t2且|δyi+1|≥t2时，则认为第i帧图像、第i+1帧图像均处于第一抖动状态，其中，(δxi,δyi)、(δxi+1,δyi+1)分别为第i帧图像、第i+1帧图像的偏移值，且第i帧图像、第i+1帧图像为连续帧；

11、或，当第k帧图像后，第i帧图像、第i+1帧图像、第i+2帧图像、第i+3帧图像的偏移值满足|δxi|≥t3且|δxi+1|≥t3且|δxi+2|≥t3且|δxi+3|≥t3，或，|δyi|≥t3且|δyi+1|≥t3且|δyi+2|≥t3且|δyi+3|≥t3时，则认为第i帧图像、第i+1帧图像、第i+2帧图像、第i+3帧图像均处于第一抖动状态，其中，(δxi,δyi)、(δxi+1,δyi+1)、(δxi+2,δyi+2)、(δxi+3,δyi+3)分别为第i帧图像、第i+1帧图像、第i+2帧图像、第i+3帧图像的偏移值，且第i帧图像、第i+1帧图像、第i+2帧图像、第i+3帧图像为连续帧；

12、其中，t1＞t2＞t3。

13、优选的，所述步骤s3中，根据图像的偏移值确定图像的抖动状态包括如下步骤：

14、当第k帧图像后，第i帧图像、第i+1帧图像的偏移值满足t3＞|δxi|≥t4且t3＞|δxi+1|≥t4，或，t3＞|δyi|≥t4且t3＞|δyi+1|≥t4时，则认为第i帧图像、第i+1帧图像均处于第二抖动状态，其中，(δxi,δyi)、(δxi+1,δyi+1)分别为第i帧图像、第i+1帧图像的偏移值，且第i帧图像、第i+1帧图像为连续帧；

15、或，当第k帧图像后，第i帧图像、第i+1帧图像、第i+2帧图像、第i+3帧图像的偏移值满足t4＞|δxi|≥t5且t4＞|δxi+1|≥t5且t4＞|δxi+2|≥t5且t4＞|δxi+3|≥t5，或，t4＞|δyi|≥t5且t4＞|δyi+1|≥t5且t4＞|δyi+2|≥t5且t4＞|δyi+3|≥t5时，则认为第i帧图像、第i+1帧图像、第i+2帧图像、第i+3帧图像均处于第二抖动状态，其中，(δxi,δyi)、(δxi+1,δyi+1)、(δxi+2,δyi+2)、(δxi+3,δyi+3)分别为第i帧图像、第i+1帧图像、第i+2帧图像、第i+3帧图像的偏移值，且第i帧图像、第i+1帧图像、第i+2帧图像、第i+3帧图像为连续帧；

16、或，当第k帧图像后，第i帧图像、第i+1帧图像、第i+2帧图像、...第i+7帧图像的偏移值满足t5＞|δxi|≥t6且t5＞|δxi+1|≥t6且t5＞|δxi+2|≥t6...且t5＞|δxi+7|≥t6(即第i帧图像、第i+1帧图像、第i+2帧图像、...第i+7帧图像的横向偏移值均大于或等于t6，且均小于t5)，或，t5＞|δyi|≥t6且t5＞|δyi+1|≥t6且t5＞|δyi+2|≥t6...且t5＞|δyi+7|≥t6(即第i帧图像、第i+1帧图像、第i+2帧图像、...第i+7帧图像的纵向偏移值均大于或等于t6，且均小于t5)时，则认为第i帧图像、第i+1帧图像、第i+2帧图像、...第i+7帧图像均处于第二抖动状态，其中，(δxi,δyi)、(δxi+1,δyi+1)、(δxi+2,δyi+2)、...(δxi+7,δyi+7)分别为第i帧图像、第i+1帧图像、第i+2帧图像、...第i+7帧图像的偏移值，且第i帧图像、第i+1帧图像、第i+2帧图像、...第i+7帧图像为连续的8帧；

17、其中，t3＞t4＞t5＞t6。

18、优选的，所述步骤s3中，根据图像的偏移值确定图像的抖动状态包括如下步骤：

19、当第k帧图像后，若有连续n帧图像的偏移值均满足横向偏移值小于t6，且纵向偏移值小于t6，则认为该连续n帧图像均处于静止状态.

20、优选的，所述步骤s3中，根据imu的位姿信息确定图像的抖动状态包括如下步骤：

21、imu单元的陀螺仪开始工作后，若在连续m1毫秒内，位姿信息满足或，或，则认为图像处于第一抖动状态；

22、或，imu单元的陀螺仪开始工作后，若在连续m2毫秒内，位姿信息满足或，或，则认为图像将处于第一抖动状态；

23、或，imu单元的陀螺仪开始工作后，若在连续m3毫秒内，位姿信息满足或，或，则认为图像将处于第一抖动状态；

24、其中，m1＜m2＜m3，t1＞t2＞t3，y1、p1、r1分别为陀螺仪的偏航角、俯仰角和横滚角在每1毫秒内的运动量。

25、优选的，所述步骤s3中，根据imu的位姿信息确定图像的抖动状态包括如下步骤：

26、imu单元的陀螺仪开始工作后，若在连续m2毫秒内，位姿信息满足或，或，则认为图像将处于第二抖动状态；

27、或，imu单元的陀螺仪开始工作后，若在连续m3毫秒内，位姿信息满足或，或，则认为图像将处于第二抖动状态；

28、或，imu单元的陀螺仪开始工作后，若在连续m4毫秒内，位姿信息满足或，或，则认为图像将处于第二抖动状态；

29、其中，m3＜m4，t3＞t4＞t5＞t6。

30、优选的，所述步骤s3中，根据imu的位姿信息确定图像的抖动状态包括如下步骤：

31、imu单元的陀螺仪开始工作后，若在连续m5毫秒内，位姿信息满足且且则认为图像将处于静止状态；

32、其中，m4＜m5，t6＞t7。

33、优选的，所述步骤s4包括：

34、若认为当前帧图像处于第一抖动状态，则直接输出当前帧图像的原图，且将当前帧图像替换原始参考帧图像，以作为新的参考帧图像，并重复步骤s2-s4。

35、优选的，所述步骤s4包括：

36、若认为当前帧图像处于第二抖动状态，则对当前帧图像(xi,yi)、原始参考帧图像(x0,y0)均进行抖动补偿，以获得抖动修正后的当前帧图像(xi+δxi,yi+δyi)以及抖动修正后的原始参考帧图像(x0+δxi,y0+δyi)，并重复步骤s2-s4；其中，xi、yi为当前帧图像中的像素点坐标；x0、y0为原始参考帧图像中的像素点坐标。

37、优选的，所述步骤s4包括：

38、若认为当前帧图像处于静止状态，则对当前帧图像(xi,yi)进行抖动补偿，以获得抖动修正后的当前帧图像(xi+δxi,yi+δyi)，并重复步骤s2-s4。

39、使用本发明的有益效果是：

40、本技术中，先根据图像的偏移值或imu的位姿信息确定图像的抖动状态，然后通过对每帧图像进行对应的抖动修正处理，以得到最终的防抖图像序列，从而对无人机成像过程中产生的高频抖动、低频抖动进行图像修正补偿，达到无人机悬停时，图像防抖增稳的效果。