基于镜头数据库构建的通用像差退化图像恢复方法

本发明涉及光学设计、计算成像、像差退化图像恢复领域，尤其涉及一种基于镜头数据库构建的通用像差退化图像恢复方法。

背景技术：

1、随着盲人辅助设备、无人机、虚拟现实眼镜、智能机器人、手机等移动便携设备的广泛应用，人们对于高像质、大视场、小体积和轻重量的光学成像镜头的需求逐渐增加，这已经成为光学成像镜头设计的新的发展趋势。然而，光学成像镜头设计时，像质和体积往往难以权衡。为了获得优质的成像质量，常用的光学成像镜头通常有结构复杂，体积和重量大，不利于集成和便携的缺点。

2、为了解决这一难题，计算成像的概念应运而生，即光学成像镜头在设计时允许存在未校正的像差，以换来较轻量化的结构，再通过后端算法恢复其像差退化的图像，使得轻量成像镜头成像质量与复杂成像镜头接近。现行主流的像差退化图像恢复算法是使用基于深度学习技术的图像恢复模型，在使用前，需要在所使用成像镜头对应的像差退化图像-高清无像差图像数据对上对该模型进行训练，训练好的模型仅用于恢复这一特定镜头下的像差退化图像。然而，当成像镜头更换结构时，由于成像镜头的像差分布发生变化，上述训练的模型便会失效，此时需要重新执行针对新的镜头结构进行数据集制备、模型训练等步骤，才能使模型能够应用到新的成像镜头上。这种恢复模型和成像镜头结构紧密联系的特性，为轻量计算成像系统的设计和部署增加了大量时间成本，限制了它的更新与迭代。因此，当前该领域需要一种通用的像差退化图像恢复方法，实现仅训练一个模型就能恢复任意轻量成像镜头的像差退化图像。这一技术的难点在于：1)数据集制备，成像镜头的结构种类繁多，像差退化分布各不相同，难以用一个数据集涵盖所有可能出现的像差分布；2)模型设计，即便训练数据能够涵盖多样的像差，模型也需要具有很强的泛化能力和对不同像差退化的分析处理能力，才能实现通用的像差退化恢复。

技术实现思路

1、为了解决背景技术中存在的问题，本发明提出一种基于镜头数据库构建的通用像差退化图像恢复方法。

2、其中，本发明提出自动成像镜头设计方法来构建镜头数据库，该自动成像镜头设计方法能够高效搜索成像镜头不同结构的解空间，生成丰富的、多规格的成像镜头样本，构建的镜头库涵盖大量不同分布特性、不同严重程度的像差退化，为通用像差退化图像恢复模型提供了可靠的训练数据集；本发明还提出同时使用退化和高清特征先验量化来提升像差退化恢复模型的泛化性，以此设计了一种通用像差退化图像恢复模型的结构，实现了仅使用一个训练的模型恢复任意成像镜头的像差退化图像。

3、本发明是通过以下技术方案来实现的：

4、一种基于镜头数据库构建的通用像差退化图像恢复方法，包括如下步骤：

5、1)采用自动镜头设计方法生成多个镜头结构，并根据评价函数对镜头结构进行优化后得到多个镜头样本；

6、2)基于镜头样本像差分布特性筛选所述镜头样本，筛选得到的镜头样本组成镜头数据库；

7、3)获取包含多个无像差图像的无像差图像数据集，每个无像差图像各通过所述镜头数据库中的一个镜头样本仿真得到对应的像差图像，组成像差图像数据集；

8、4)初始化退化特征先验码本和高清特征先验码本，构建像差退化图像重建模型和高清图像重建模型并分别进行特征量化表征预训练，利用像差退化图像重建模型的预训练过程更新退化特征先验码本，利用高清图像重建模型的预训练过程更新高清特征先验码本，预训练完成后获得最终的退化特征先验码本和高清特征先验码本；

9、5)结合所述最终的退化特征先验码本和高清特征先验码本构建通用像差恢复图像模型，利用无像差图像数据集和像差图像数据集训练所述通用像差恢复图像模型；

10、6)利用训练好的通用像差恢复图像模型对待恢复的实际镜头拍摄的像差退化图像进行恢复，输出恢复的无像差图像。

11、优选的，步骤1)中所述的采用自动镜头设计方法生成多个镜头结构，并根据评价函数进行优化后得到多个镜头样本，具体为：

12、1.1)利用预设的设计规格随机生成多个镜头结构，作为初始的透镜群p；所述预设的设计规格为视场角、f数、孔径位置和镜头片数；

13、1.2)根据评价函数对透镜群p进行全局优化得到优化后的透镜群p*；

14、1.3)从优化后的透镜群p*中筛选10％-40％评价函数值较高的透镜，得到高质量透镜群q；

15、1.4)根据评价函数对高质量透镜群q进行局部优化得到优化后的高质量透镜群q*；

16、1.5)优化后的高质量透镜群q*变异得到变异透镜群m，优化后的高质量透镜群q*与变异透镜群m合并作为透镜群p的更新值并返回步骤1.2)迭代优化，直至迭代次数满足预设的最大迭代次数，输出当前优化后的高质量透镜群q*中的所有透镜结构作为透镜样本。

17、优选的，所述步骤1)中的评价函数的值由像质评价指标与物理约束评价指标加权求和得到，像质评价指标为点列图rms半径的平均值、调制传递函数或波像差，物理约束评价指标为有效焦距、系统总长、后工作距、透镜中心厚度、透镜边缘厚度和空气中心间距的加权求和。

18、优选的，所述步骤1.2)中的全局优化采用选择模拟退火算法、粒子群算法或蚁群算法；所述步骤1.4)中的局部优化采用阻尼最小二乘法、adam算法或拟牛顿法。

19、优选的，所述步骤1.5)中的变异为随机改变镜头结构的曲率、玻璃厚度、空气间距、材料折射率和材料阿贝数中的部分参数，改变的玻璃厚度与空间间距的变量数之和需要大于1，玻璃厚度与空间间距的变量值之和在改变前后保持一致。

20、优选的，步骤2)中所述镜头样本像差分布特性为镜头样本各视场的点列图rms半径的平均值以及各镜头样本的点扩散函数阵列间的绝对值差异；

21、所述的基于镜头样本像差分布特性筛选所述镜头样本，具体为：设定镜头样本各视场的点列图rms半径的平均值范围，对在该范围内的镜头样本进行采样，使采样后镜头样本各视场的点列图rms半径的平均值均匀分布，同时，每个采样后镜头样本的点扩散函数阵列与其他所有采样后镜头样本的点扩散函数阵列之间的绝对值差异大于设定阈值，所述设定阈值为0.25×10-6-1×10-6。

22、优选的，步骤3)中所述的每个无像差图像各通过所述镜头数据库中的一个镜头样本仿真得到对应的像差图像，具体流程为：

23、3.1)计算镜头数据库中每个镜头样本的点扩散函数分布矩阵、畸变分布矩阵和照度随视场的分布矩阵；

24、3.2)对于每个无像差图像，随机选取一个镜头样本的点扩散函数分布矩阵、畸变分布矩阵和照度随视场的分布矩阵；

25、3.3)将无像差图像与随机选取的点扩散函数分布矩阵进行分块卷积，将分块卷积结果乘上照度分布矩阵，再通过畸变分布矩阵进行畸变变换，输出对应的像差图像。

26、优选的，步骤4)中所述像差退化图像重建模型和高清图像重建模型的结构相同，都包括特征提取模块、特征量化模块和图像重建模块；

27、所述退化特征先验码本和高清特征先验码本均为多个离散向量组成的码本，所述离散向量均为可学习参数；

28、所述分别进行特征量化表征预训练，利用像差退化图像重建模型的预训练过程更新退化特征先验码本，利用高清图像重建模型的预训练过程更新高清特征先验码本，具体步骤为：

29、对于像差退化图像重建模型，将像差图像数据集输入像差退化图像重建模型进行重建，所述重建具体为：特征提取模块提取输入的像差图像的特征，所述像差图像的特征通过特征量化模块利用退化特征先验码本进行量化，量化后的特征输入图像重建模块，得到像差图像对应的重建图像；

30、计算图像重建损失函数，所述图像重建损失函数包括重建图像与输入的像差图像之间的像素绝对值损失、感知损失和对抗生成损失，并对特征量化模块输出的量化后的特征计算语义损失；

31、根据图像重建损失函数和语义损失进行反向梯度传播，更新像差退化图像重建模型的特征提取模块、图像重建模块与退化特征先验码本的参数；迭代预期的训练迭代次数后，得到所需的退化特征先验码本；

32、同样的，对于高清图像重建模型，将无像差图像数据集输入高清图像重建模型进行重建，重建过程中特征量化模块利用高清特征先验码本进行量化，重建得到无像差图像对应的重建图像；计算图像重建损失函数并对重建过程中量化后的特征计算语义损失，根据图像重建损失函数和语义损失进行反向梯度传播，更新高清图像重建模型的特征提取模块、图像重建模块与高清特征先验码本的参数；迭代预期的训练迭代次数后，得到所需的高清特征先验码本。

33、优选的，步骤5)中所述的通用像差恢复图像模型包括退化特征先验码本、高清特征先验码本、退化特征提取模块、退化特征量化和融合模块、退化特征增强模块、高清特征量化和融合模块以及高清图像重建模块；所述高清图像重建模块的参数继承所述特征量化表征预训练得到的图像重建模块的参数；

34、所述的利用无像差图像数据集和像差图像数据集训练所述通用像差恢复图像模型，具体步骤为：

35、冻结所述通用像差恢复图像模型中的退化特征先验码本、高清特征先验码本和高清图像重建模块；

36、将像差图像数据集输入退化特征提取模块，提取得到退化特征，退化特征通过退化特征量化和融合模块，利用退化特征先验码本进行量化并和量化前的退化特征融合；融合后的退化特征经过退化特征增强模块进行增强后，再输入高清特征量化和融合模块，用高清特征先验码本进行量化并和量化前的增强特征拼接融合，融合后得到高清特征，高清特征最后输入高清图像重建模块，输出恢复的高清图像；

37、计算图像恢复损失函数，所述图像恢复损失函数包括恢复的高清图像与输入的像差图像之间的像素绝对值损失、感知损失和对抗生成损失，并对高清特征量化和融合模块中量化得到的量化特征计算量化损失；

38、根据图像恢复损失函数和量化损失，进行反向梯度传播，更新通用像差恢复图像模型中除冻结外的所有模块；迭代预期的训练迭代次数后，结束训练。

39、优选的，对于所述像差退化图像重建模型和高清图像重建模型特征中的所述特征量化模块、所述通用像差恢复图像模型中的所述退化特征量化和融合模块以及所述高清特征量化和融合模块，其中特征利用特征先验码本进行量化的方法均相同，具体方法为：

40、将待量化的特征与特征先验码本进行特征匹配，计算待量化的特征每个像素位置对应的特征向量与特征先验码本中各码本向量的距离，用最小距离的码本向量取代待量化的特征中该像素位置的特征向量，取代所有像素位置的特征向量后完成特征量化，得到量化后的特征。

41、与现有技术相比，本发明有以下有益效果：

42、1)本发明提出了镜头数据库构建方法，能够在预设的设计规格和评价函数下，自动搜索解空间，输出多样的、满足条件、最优化的镜头结构；所述镜头结构经过筛选所得的镜头数据库涵盖不同像差分布特性。本发明的镜头数据库构建方法解决了上述通用模型训练数据缺失的难题，通过提出自动光学设计方法生成大量、多规格的镜头样本，极大提升了通用像差退化图像恢复算法的泛化性能。

43、2)由于本发明的像差退化图像恢复采用了先验预训练-匹配重建的过程，且对退化特征与内容特征进行了分解，通用像差退化图像恢复模型能从不同类型的像差退化图像中提取高清内容信息，因此有很强的泛化能力，能够对任意成像镜头的像差退化图像进行高质量的恢复。本发明弥补了传统基于深度学习像差退化图像恢复方法只能恢复单个特定镜头图像的局限性，实现了使用一个通用模型进行任何镜头的像差退化图像恢复，大大节省了计算成像系统的数据制备、模型训练的时间成本。