一种基于多相机的无人机成像方法及系统与流程

本发明涉及图像处理，特别是一种基于多相机的无人机成像方法及系统。

背景技术：

1、目前，在无人机进行全向避障，主要采用如下方式进行成像：1、多路针孔成像，但是其视场角过小，存在盲区，且成像为黑白图像，无法直观区分不同的目标；2、鱼眼成像，其视场角相对多路针孔成像大，但无法获取远距离目标图像，并且在使用卷帘快门(rollingshutter)时，容易产生果冻效应，导致图像扭曲，影响目标识别。

技术实现思路

1、为解决上述问题，本发明提出一种基于多相机的无人机成像方法及系统，其可全方位获取环境图像，实现全向避障检测，再将图像通过拼接、分割、校正后，获得rgb彩色图像，由此可通过彩色图像更加直观的观察到不同的目标，便于对其进行准确的区分，同时还可以解决图像果冻扭曲问题。

2、为实现上述目的，本发明采用的技术方案是：

3、一方面，提供了一种基于多相机的无人机成像方法，其包括如下步骤：

4、s1、在无人机的上方搭载第一上视相机、第二上视相机，下方搭载第一下视相机、第二下视相机，左方搭载第一左视相机、第二左视相机，右方搭载第一右视相机、第二右视相机，前方搭载第一前视相机、第二前视相机，后方搭载第一后视相机、第二后视相机；

5、所述第一上视相机、第二上视相机分别对应获取第一上视图像、第二上视图像，第一下视相机、第二下视相机分别对应获取第一下视图像、第二下视图像，第一左视相机、第二左视相机分别对应获取第一左视图像、第二左视图像，第一右视相机、第二右视相机分别对应获取第一右视图像、第二右视图像，第一前视相机、第二前视相机分别对应获取第一前视图像、第二前视图像，第一后视相机、第二后视相机分别对应获取第一后视图像、第二后视图像；

6、s2、将第一上视图像、第二上视图像、第一下视图像、第二下视图像进行横向拼接，以获取第一拼接图像；

7、以及，将第一左视图像、第二左视图像、第一右视图像、第二右视图像进行横向拼接，以获取第二拼接图像；

8、以及，将第一前视图像、第二前视图像、第一后视图像、第二后视图像进行横向拼接，以获取第三拼接图像；

9、s3、将第一拼接图像输入第一图像采集模块，再将所述第一拼接图像分成包括第一上视图像、第二上视图像的上视子图像，以及包括第一下视图像、第二下视图像的下视子图像；

10、将第二拼接图像输入第二图像采集模块，再将所述第二拼接图像分成包括第一左视图像、第二左视图像的左视子图像，以及包括第一右视图像、第二右视图像的右视子图像；

11、以及将第三拼接图像输入第三图像采集模块，再将所述第三拼接图像分成包括第一前视图像、第二前视图像的前视子图像，以及包括第一后视图像、第二后视图像的后视子图像；

12、s4、将上视子图像、下视子图像、左视子图像、右视子图像、前视子图像、后视子图像均进行图像处理，以获得校正rgb图像；

13、以及s5、将所述校正rgb图像输入ai处理单元，以对所述校正rgb图像进行ai处理，并输出深度图，本实施例中，所述ai处理包括基于神经网络模型对图像进行训练。

14、优选的，每一相机镜头的水平视场角均大于或等于110°，垂直视场角均大于或等于90°，对角视场角均大于或等于140°。

15、优选的，获取第一拼接图像/第二拼接图像/第三拼接图像的过程中，在对不同图像进行横向拼接时，将不同图像按照预定顺序进行排列，且将不同图像的像素逐行对齐，再进行图像横向拼接。

16、优选的，所述图像处理包括如下步骤：

17、将子图像输入isp处理模块，通过所述isp处理模块对同一子图像中的两个图像均进行isp处理，以获得彩色图像；

18、将所述彩色图像输入图像转换单元，通过所述图像转换单元将彩色图像转换为rgb图像；

19、将rgb图像输入图像校正单元，所述图像校正单元通过remap表对rgb图像的r、g、b三个分量进行remp校正处理，以获得校正rgb图像。

20、优选的，所述isp处理包括曝光、增益、gamma处理中的一种或几种。

21、优选的，对同一子图像中的两个图像的isp处理方式相同。

22、优选的，所述彩色图像包括yuv420图像。

23、优选的，所述图像转换单元、图像校正单元均集成于一个dsp单元上，且上视子图像、下视子图像、左视子图像、右视子图像、前视子图像、后视子图像至少在2个dsp单元上完成图像转换以及remp校正处理。

24、还提供一种基于多相机的无人机成像系统，其包括：

25、第一上视相机、第二上视相机，其均搭载在无人机的上方；

26、第一下视相机、第二下视相机，其均搭载在无人机的下方；

27、第一左视相机、第二左视相机，其均搭载在无人机的左方；

28、第一右视相机、第二右视相机，其均搭载在无人机的右方；

29、第一前视相机、第二前视相机，其均搭载在无人机的前方；

30、第一后视相机、第二后视相机，其均搭载在无人机的后方；

31、图像拼接单元，其用于将第一上视图像、第二上视图像、第一下视图像、第二下视图像进行横向拼接，以获取第一拼接图像；以及，将第一左视图像、第二左视图像、第一右视图像、第二右视图像进行横向拼接，以获取第二拼接图像；以及，将第一前视图像、第二前视图像、第一后视图像、第二后视图像进行横向拼接，以获取第三拼接图像；

32、图像采集单元，其用于接收第一拼接图像、第二拼接图像、第三拼接图像；具体的，所述图像采集单元包括：第一图像采集模块、第二图像采集模块、第三图像采集模块，其分别对应接收第一拼接图像、第二拼接图像、第三拼接图像；

33、图像分割单元，其用于对第一拼接图像、第二拼接图像、第三拼接图像进行分割，以将所述第一拼接图像分成包括第一上视图像、第二上视图像的上视子图像，以及包括第一下视图像、第二下视图像的下视子图像，将所述第二拼接图像分成包括第一左视图像、第二左视图像的左视子图像，以及包括第一右视图像、第二右视图像的右视子图像，以及将第三拼接图像分成包括第一前视图像、第二前视图像的前视子图像，以及包括第一后视图像、第二后视图像的后视子图像；

34、isp处理模块，其用于对子图像进行isp处理，以获得彩色图像；

35、图像转换单元，其用于将彩色图像转换为rgb图像；

36、图像校正单元，其用于通过remap表对rgb图像的r、g、b三个分量进行remp校正处理，以获得校正rgb图像；

37、ai处理单元，其用于对所述校正rgb图像进行ai处理，并输出深度图。

38、优选的，包括：所述图像拼接单元包括asci芯片、fpga模块中的一种或几种。

39、使用本发明的有益效果是：

40、本技术中，无人机各方向均搭载有2个相机，因此可全方位获取环境图像，实现全向避障检测，再将图像通过拼接、分割、校正后，获得rgb彩色图像，由此可通过彩色图像更加直观的观察到不同的目标，同时还可以解决图像果冻扭曲问题。