一种微透镜阵列的标定方法及系统与流程

本发明涉及数字图像处理，更具体地，涉及一种微透镜阵列的标定方法及系统。

背景技术：

1、光场相机的出现，是计算成像领域的一个革命性进展。光场相机突破了传统相机只记录光线强度的局限，不仅能够获得光线的位置信息，而且能够记录与场景深度、目标几何形态等高度相关的光线角度信息，通过信号处理算法可以实现先拍照后对焦、精准虚拟视点合成等众多功能，在计算机视觉、机器人、医学成像、工业检测等领域具有广泛的应用前景。

2、目前主流的光场相机是基于微透镜阵列的光场相机，它是在主透镜和图像传感器之间插入微透镜阵列，使来自于主透镜的光线通过每个微透镜后被图像传感器记录，实现对四维光场数据的采集。基于微透镜阵列的光场相机已在深度估计、超分辨重建、重聚焦、姿态估计等方面取得了众多成功应用案例，而为了支撑上述应用，光场相机参数的精确标定至关重要，特别是微透镜阵列参数的标定尤为关键。

3、微透镜阵列是由直径从几百纳米到几毫米的子透镜在基板上按一定排列顺序组成的，单元数目从几千到几万不等。理想情况下微透镜阵列中同一焦距的每个微透镜的参数均相同，因而其光学性能也相同；然而在加工及制作过程无法严格控制阵列中每个微透镜的情况，不可避免的存在一些误差，这样导致各个微透镜材质的折射率不安全一致，各个微透镜的表面结构也不完全一致，另外，微透镜中还可能存在其他的一些缺陷或者杂质，这些最终会导致微透镜阵列中同一焦距的每个微透镜都不是完全一样的，光学性能也不相同，从而对微透镜阵列的整体成像效果产生影响。而微透镜阵列中各个微透镜之间存在的这种微结构和/或材质的不一致，都会体现在对进入微透镜的光线的折射率不同，造成微透镜阵列在获取不同波长的图像场时所成的图像存在色散、模糊等问题，严重影响成像质量。特别是在基于微透镜阵列的光场相机应用于矿山无人驾驶场景时，由于白天或晚上的环境光线不同（即白天和夜晚场景为不同波长的图像场），导致基于微透镜阵列的光场相机获取的图像质量不佳，降低了深度感知数据的准确性，进而影响无人驾驶控制的精度。

4、现阶段对于微透镜阵列的标定研究主要以中心点标定为主，通过白图像的亮度等信息获取图像中心点，进而提升光场相机检校精度，但经此种标定方法校验的光场相机仍均存在对不同波长适应性差的问题。

5、综上，现阶段急需研发一种微透镜阵列的标定方法及系统以解决上述存在的技术问题。

技术实现思路

1、本发明的一个目的是提供一种微透镜阵列的标定方法及系统的新技术方案。

2、根据本发明的第一方面，提供了一种微透镜阵列的标定方法，所述方法包括：

3、将待标定微透镜阵列安装于光学测试装置上以组成光场成像系统；

4、通过所述光场成像系统获取多个不同波长的图像场的光场原始图像矩阵；

5、基于多个不同波长的图像场的图像分布矩阵，利用校正融合模型对获取的所述光场原始图像矩阵进行处理，以得到所述待标定微透镜阵列的优化标定参数矩阵；

6、根据本发明第一方面的方法，所述校正融合模型包括标定子模型和优化融合子模型；

7、基于同一波长的图像场的图像分布矩阵，利用所述标定子模型对同一波长的图像场的光场原始图像矩阵进行处理，以得到相应波长的所述待标定微透镜阵列的标定参数矩阵；

8、基于多个不同波长的图像场的图像分布矩阵，利用所述优化融合子模型对不同波长的所述待标定微透镜阵列的标定参数矩阵进行处理，以得到所述待标定微透镜阵列的优化标定参数矩阵。

9、根据本发明第一方面的方法，所述标定子模型的具体处理过程为：

10、当多个不同波长的图像场具有相同的图像分布矩阵a时，获取相应波长为λi的光场原始图像矩阵oi，根据点扩散函数f计算得到相应的标定参数矩阵为ri，其中，ri=f(a,oi)，a= f'(ri, oi)，i=1~n；

11、当多个不同波长的图像场具有不相同的图像分布矩阵ai时，获取相应波长λi的光场原始图像矩阵oi，根据点扩散函数f计算得到相应的标定参数矩阵为ri，其中，ri=f(ai,oi)，ai= f'(ri, oi)。

12、根据本发明第一方面的方法，所述优化融合子模型的具体处理过程为：

13、通过优化融合函数g对计算得到的多个标定参数矩阵r1, r2... rn进行处理得到融合标定矩阵t，其中，t=g(r1, r2... rn)；

14、依据所述融合标定矩阵t计算得到多个预测图像分布矩阵a'i，其中，a'i= f'(t,oi)；

15、分别计算每个所述预测图像分布矩阵与相应的图像场的图像分布矩阵的差δa1,δa2...δan，其中，δai=a- a'i或者δai=ai- a'i；

16、通过求解优化函数s=g'(t, δa1, δa2...δan)，使得对于r1, r2... rn，当优化函数s为最小值时，得到的融合标定矩阵t作为所述待标定微透镜阵列的优化标定参数矩阵。

17、根据本发明第一方面的方法，所述校正融合模型为预先训练的深度学习神经网络模型。

18、根据本发明第一方面的方法，所述深度学习神经网络模型的输入为某一波长的光场原始图像矩阵，卷积函数的训练目标结果为生成某一波长的图像场的图像分布矩阵，损失函数为经模型处理得到的预测图像分布矩阵与某一波长的图像场的图像分布矩阵的差，通过训练数据集对所述深度学习神经网络模型进行有监督学习或者无监督学习，以建立所述校正融合模型。

19、根据本发明的第二方面，提供了一种微透镜阵列的标定系统，所述系统包括：光学测试装置、能量发生装置以及标定处理装置；

20、所述能量发生装置用于提供多个不同波长的图像场；

21、待标定微透镜阵列安装于所述光学测试装置上以组成光场成像系统；所述光场成像系统用于获取多个不同波长的图像场的光场原始图像矩阵；

22、所述标定处理装置用于基于多个不同波长的图像场的图像分布矩阵，利用校正融合模型对获取的所述光场原始图像矩阵进行处理，以得到所述待标定微透镜阵列的优化标定参数矩阵。

23、根据本发明的第三方面，提供了一种光场成像系统，包括：镜头、微透镜阵列及标定处理模块，所述标定处理模块根据本发明第一方面所述的微透镜阵列的标定方法对所述微透镜阵列的参数进行标定。

24、根据本发明的第四方面，提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现如上述本发明第一方面所述的一种微透镜阵列的标定方法中的步骤。

25、根据本发明的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述本发明第一方面所述的一种微透镜阵列的标定方法中的步骤。

26、根据本发明公开的一个实施例，本发明的一种光场相机微透镜阵列的标定方法及系统具有如下有益效果：

27、本发明的一种微透镜阵列的标定方法及系统首先将待标定微透镜阵列安装于光学测试装置上以组成光场成像系统，进而获取不同波长的图像场的光场原始图像矩阵，最后基于多个不同波长的图像场的图像分布矩阵，利用预先建立的校正融合模型对获取的光场原始图像矩阵进行处理，以得到待标定微透镜阵列的优化标定参数矩阵，实现了微透镜阵列整体参数的综合标定，而非只计算中心点，从而通过对优化标定参数矩阵的计算得到稳定的光场解算结果；在微透镜阵列应用于不同的应用场景时，对于采集的任意波长的图像场，基于优化标定参数矩阵的校正即可得到最优图像数据，而无需在使用前对应用场景进行参数调整或对硬件设备进行调整，实现对不同光谱下的自适应还原。

28、通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。