一种模拟飞行混合现实头盔实景图像处理方法及装置与流程

本发明涉及模拟飞行训练领域，更为具体的，涉及一种模拟飞行混合现实头盔实景图像处理方法及装置。

背景技术：

1、模拟飞行混合现实头盔实景图像的处理是混合现实头盔的一大难题，实景图像从摄像头采集后需经历多次图像处理，例如对图像进行畸变矫正、旋转、裁切及透镜反畸变矫正。

2、模拟飞行混合现实头盔领域，实景图像的处理还存在以下的问题：a)现有混合现实头盔实景图像处理流程不够标准化，各个厂商有各自的处理办法，缺乏标准的处理流程，导致实景图像处理难度大、易出错，不便于行业的健康快速发展；b)实景图像经过多次处理后图像质量严重下降，导致头盔实景成像效果不佳；c)现有实景图像处理主要通过软件进行处理，其处理延迟高、占用计算机资源大，影响视景成像软件的执行效率，降低了模拟飞行混合显示头盔系统的总体延迟。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种模拟飞行混合现实头盔实景图像处理方法及装置，降低了实景摄像头图像处理的难度，提升了图像处理的效率和质量，增强了模拟飞行混合现实头盔的显示真实感。

2、本发明的目的是通过以下方案实现的：

3、一种模拟飞行混合现实头盔实景图像处理方法，包括以下步骤：

4、s1，图像裁剪：对实景摄像头画面按规定视场角进行裁剪；

5、s2，色彩空间变换：在裁剪完毕后进行色彩空间变换，将yuv像素格式转换为rgb像素格式；

6、s3，图像矫正：对实景摄像头画面产生的桶型畸变进行畸变矫正；

7、s4，图像畸变处理：对步骤s3中畸变矫正后的实景摄像头图像进行图像畸变处理以抵消混合现实头盔中的显示模组所带来的畸变；

8、s5，图像缩放：将实景摄像头画面进行缩放以匹配头盔显示器分辨率。

9、进一步地，在步骤s1中，所述对实景摄像头画面按规定视场角进行裁剪，具体包括子步骤：测算出目标视场角fov对应的矩形区域，测算方法使用标记物裁剪法，在摄像头拍摄场景中在规定视场角位置放置标记物，在摄像头拍摄的画面中进行裁剪，直至标记物在画面中刚好被剔除掉。

10、进一步地，在步骤s2中，所述在裁剪完毕后进行色彩空间变换，将yuv像素格式转换为rgb像素格式，具体包括子步骤：色彩空间变换使用如下公式，通过对原始输入yuv分量与转化矩阵相乘并加上偏移向量完成，即：

11、

12、式中，r,g,b分别表示经过色彩变换后的输出图像的红色、绿色、蓝色分量值，y,u,v分别表示输入的原始图像的灰度值、蓝色投影的色度、红色投影的色度，k11、k12、k13、k21、k22、k23、k31、k32、k33分别表示yuv图像转换为rgb图像的转换矩阵，其中k11取1.164、k12取1.164、k13取1.164、k21取0.0000、k22取-0.391、k23取2.0180、k31取1.5960、k32取-0.813、k33取0.0000，o1、o2、o3分别表示输出图像红色分量的偏移、绿色分量的偏移、蓝色分量的偏移，o1取0、o2取128、o3取128。

13、进一步地，在步骤s3中，所述对实景摄像头画面产生的桶型畸变进行畸变矫正，具体包括子步骤：产生一个枕型畸变将实景摄像头产生的桶型畸变进行抵消。

14、进一步地，在步骤s3中，所述对实景摄像头画面产生的桶型畸变进行畸变矫正，具体包括子步骤：

15、将实景摄像头畸变抽象为两种畸变数学模型，分别为径向畸变和切向畸变；

16、其中，径向畸变数学模型构建如下：

17、

18、

19、

20、式中，表示畸变矫正后的图像像素x坐标，表示原始图像的像素x坐标，表示径向畸变系数1，表示径向畸变系数2，表示径向畸变系数3，、、根据实际实景摄像头光学参数得出，r表示像素点距图像中心点的距离，表示畸变矫正后的图像像素y坐标，y表示原始图像的像素y坐标；

21、其中，切向畸变数学模型构建如下：

22、

23、

24、

25、式中，表示切向畸变系数1，表示切向畸变系数2，、根据实际实景摄像头光学参数得出。

26、进一步地，在步骤s4中，所述对步骤s3中畸变矫正后的实景摄像头图像进行图像畸变处理以抵消混合现实头盔中的显示模组所带来的畸变，具体包括子步骤：

27、进行一个桶型畸变将实景摄像头画面进行畸变处理，构建其数学模型如下：

28、

29、

30、

31、式中，表示畸变后的图像像素x坐标，表示原始图像的像素x坐标，表示径向畸变系数1，表示径向畸变系数2，表示径向畸变系数3，、、根据混合现实头盔透镜光学参数得出，r表示像素点距图像中心点的距离，表示畸变后的图像像素y坐标，y表示原始图像的像素y坐标。

32、进一步地，在步骤s3中，所述对实景摄像头画面产生的桶型畸变进行畸变矫正，具体包括子步骤：对构建的两种畸变数学模型的参数使用张氏标定法进行标定，即通过拍摄多张标定板图片后导入opencv图形工具进行参数运算。

33、进一步地，在步骤s5中，所述将实景摄像头画面进行缩放以匹配头盔显示器分辨率，具体包括子步骤：使用双线性差值算法进行图像放大。

34、进一步地，在步骤s3中图像矫正之前，还包括步骤：将在步骤s3和步骤s4图像处理中会用到的图像矫正表和图像畸变表提前进行合并，将两张表的映射关系通过数学方法映射为一张表，用于在进行图像处理时，减少图像像素移动的次数。

35、进一步地，将在步骤s3和步骤s4图像处理中会用到的图像矫正表和图像畸变表提前进行合并，将两张表的映射关系通过数学方法映射为一张表，具体包括子步骤：判断是否遍历完成所有像素，如否则获取一个未计算的像素值，然后查找矫正表对应值，然后将矫正表对应值作为健在畸变表进行查表，然后记录本值作为融合表，并跳到判断是否遍历完成所有像素步骤；如是则结束。

36、进一步地，在将两张表的映射关系通过数学方法映射为一张表后，还包括如下步骤：将查找映射表关系存入ddr中，在ddr中上电通过ps配置初始化；视频数据和坐标映射表关系均存储在ddr中，把图像数据按照vesa时序读入ram中，坐标映射表从ddr中读入fifo中，每次从fifo中读取一个像素映射关系，再从ram中查找对应的坐标位置，将查找得到的像素存入视频输出fifo中，完成图像矫正工作。

37、一种模拟飞行混合现实头盔实景图像处理装置，包括处理器和存储器，在存储器中存储有程序，当程序被处理器加载时执行如上任一项所述的模拟飞行混合现实头盔实景图像处理方法。

38、本发明的有益效果包括：

39、本发明改进了图像处理方法，将模拟飞行混合现实头盔实景图像处理流程进行标准化，基于此再对关键流程进行算法合并，从而整体上将多次图像处理合并成一次并进一步通过fpga硬件进行加速，降低了实景摄像头图像处理的难度，提升了图像处理的效率和质量，增强了模拟飞行混合现实头盔的显示真实感。