一种退化参数辅助的空间自适应多帧图像复原方法

本发明涉及一种退化参数辅助的空间自适应多帧图像复原方法，属于计算机视觉、图像处理和深度学习领域。适用于图像去噪和湍流效应抑制等图像复原任务，在安防监控、视觉导航和大气科学等领域具有广阔的应用前景。

背景技术：

1、自然场景成像常受到各种退化的影响，这些退化可能由相机的物理限制或恶劣的成像环境引起。例如，来自相机内部和外部的电磁干扰会使得成像结果中出现噪声，这种情况在暗场景中尤为明显。此外，当在炎热天气中进行中长距离成像时，大气湍流引起的大气介质中折射率的随机变化会导致热红外图像出现随机的几何畸变、光线扰动也会造成图像出现明显的模糊效应。这些退化严重降低了图像或视频的质量，影响了基于成像的后续民用或军事应用，如安防监控和视觉导航。值得注意的是，这些情况下的退化强度波动更依赖物理参量、退化空间分布情况更为复杂，相较于运动模糊、离焦模糊等图像退化有本质不同，这使得引入退化先验知识到图像复原当中有极强的必要性与巨大的潜力。

2、在图像去噪领域，早期的图像去噪技术通过非线性滤波整合邻域中相似的像素信息来降低图像噪声。例如smith等人使用非线性滤波来定义图像中与每个像素亮度相似的局部区域，然后基于最小化该局部区域来检测特征，并使用该区域作为平滑邻域进行降噪(参见文献:史密斯等,susan：一种新的低级图像处理方法,国际计算机视觉期刊,1997,23(1):45-78.(smith s m,brady j m.susan—a new approach to low level imageprocessing[j].international journal of computer vision,1997,23(1):45-78.))。后来，传统方法通过图像的稀疏表示或利用局部的自相似性来实现图像去噪。例如elad等人通过稀疏和冗余表示及k-svd算法构建字典，提出了一种基于全局图像先验的图像去噪算法，以去除图像零均值白高斯噪声(参见文献:迈克尔·埃拉德等,基于学习字典的稀疏和冗余表示的图像去噪,ieee图像处理汇刊,2006,3736-3745.(elad m,aharon m.imagedenoising via sparse and redundant representations over learned dictionaries[j].ieee transactions on image processing,2006,15(12):3736-3745.))。dabov等人提出了一种基于变换域增强稀疏表示的新型图像去噪策略，通过将相似的2d图像块分组为3d数据阵列,并使用协同滤波实现稀疏性的增强(参见文献:达博夫等,通过稀疏3d变换域协同滤波进行去噪,ieee图像处理汇刊,2007,16(8):2080-2095.(dabov k,foi a,matteis.denoising by sparse 3-d transform-domain collaborative filtering[j].ieeetransactions on image processing,2007,16(8):2080-2095.))。深度学习的普及极大地促进了图像去噪的性能。如郭庆旺等人提出了一种卷积盲去噪网络(cbdnet)，通过考虑信号相关噪声和相机内信号处理管道来合成更加逼真的含噪图像，并利用真实世界的含噪-干净图像对进行训练，以提高深度卷积神经网络去噪器的泛化能力(参见文献:郭庆旺等,面向真实照片的卷积盲去噪,ieee/cvf计算机视觉与模式识别会议论文集,2019,1712-1722.(guo s,yan z,zhang k,zuo w,zhang l.toward convolutional blind denoisingof real photographs[c].in:proceedings of the ieee/cvf conference on computervision and pattern recognition,2019:1712-1722.))。tassano等人提出了一种基于卷积神经网络架构的视频去噪算法fastdvdnet，能够使用单个网络模型处理各种噪声水平，且无需使用昂贵的运动补偿阶段即可实现出色的性能(参见文献:塔萨诺等,fastdvdnet:无需光流估计的实时深度视频去噪网络,ieee/cvf计算机视觉与模式识别会议论文集,2020,1354-1363.(tassano m,delon j,veit t.fastdvdnet:towards real-time deepvideo denoising without flow estimation[c].in:proceedings of the ieee/cvfconference on computer vision and pattern recognition,2020:1354-1363.))。然而，上述基于深度学习的方法主要在抑制具有恒定强度水平的空间均匀噪声方面表现出色，却缺乏处理强度和空间分布复杂变化噪声的能力。

3、与由于相机硬件物理限制导致的图像退化不同，大气湍流导致的图像退化主要是由成像介质的物理特性引起的。大气湍流会导致大气折射率的不规则波动，进而导致光路的弯曲和散射，结果在成像数据上产生强烈的随机几何失真和模糊。为了缓解红外或可见光图像中的大气湍流退化，传统方法采用多帧配准融合和反卷积技术来实现图像去湍流。如hirsch等人分析了湍流退化模型，将湍流导致的图像退化视为一种空域变化的卷积运算，然后设计了一种高效的反卷积运算框架对退化图像进行复原(参考文献:赫希等,空变多帧盲解卷积的高效滤波器流,美国电气与电子工程师学会计算机视觉和模式识别学会,2010,607-614.(hirsch m,sra s,b,et al.efficient filter flow forspace-variant multiframe blind deconvolution[a]//ieee conference on computervision and pattern recognition[c].piscataway,nj:ieee,2010:607-614.))。nair等人根据输入帧的锐度从五个输入帧中选择一个作为参考帧，将其他帧的信息对齐到参考帧，之后通过一个基于u-net的复原网络对图像进行复原得到输出(参见文献:奈尔,大气湍流缓解的置信引导网络,2021ieee国际图像处理会议论文集,2021,1359-1363.(nair n g,patel v m.confidence guided network for atmospheric turbulence mitigation[c].in:2021ieee international conference on image processing(icip).ieee,2021:1359-1363.))。lau等人提出了一种基于gan的单帧复原算法，该算法通过使用去模糊生成器和变形校正生成器将湍流引起的变形分解为模糊和变形分量来实现图像复原，并加入对抗性损失和感知损失，分别重建一个清晰的图像和抑制伪影，在人脸复原和人脸识别任务中取得了较为满意的结果(参见文献:劳,从大气湍流中复原和识别单一人脸语义感知图像的方法，ieee生物特征、行为和身份科学汇刊,2021,240-251.(lau c p,castillo c d,chellappa r.atfacegan:single face semantic aware image restoration andrecognition from atmospheric turbulence[j].ieee transactions on biometrics,behavior,and identity science,2021,3(2):240-251.))。晋达睿等人在wgan网络的基础上针对湍流退化图像的成像特性，设计出相应的t-s聚合模块，通过分析图像像素的位移、整合不同时间间隔的空间信息，来探索短时曝光中的湍流信息；通过基于时间注意力的对齐模块与时空判别条件来增强复原视频的时域连续型，更好的保留动态场景中的相关细节(参见文献:晋达睿等,通过深度学习抑制大气湍流对复杂场景成像的影响。自然机器智能,2021,876-884.(jin d,chen y,lu y,et al.neutralizing the impact of atmosphericturbulence on complex scene imaging via deep learning[j].nature machineintelligence,2021,3(10):876-884.))。

4、尽管上述方法在图像去噪或湍流抑制上有不错的效果，但仍缺乏对退化强度变化的考虑和退化先验知识的利用，这些方法的效率和解释性较低，难以处理空间不均匀且强度变化的复杂退化。值得一提的是，退化信息在成像过程中决定了退化的表现形式、空间分布和强度变化，这些信息可以为图像复原提供强有力的先验知识。这些退化先验知识隐藏在退化图像中，却可以通过参数化方式学习来指导神经网络进行图像复原。基于此，本发明提出了一种退化参数辅助的空间自适应多帧图像复原方法，首先通过参数预测网络(ppn)从退化图像序列中学习关键退化参数矩阵，然后将学习到的参数矩阵和退化图像序列一起输入退化参数辅助的图像复原网络(dpirn)进行图像复原，进而实现高质量、空间自适应的多帧图像复原。

技术实现思路

1、1、目的：针对现有深度学习图像复原方法在处理空间不均匀且强度变化的复杂退化方面的局限性，本发明的目的是提供一种退化参数辅助的空间自适应多帧图像复原方法，该方法利用退化图像中的先验知识，通过构建退化参数预测网络、退化参数辅助的多帧图像复原网络，实现对图像退化效应的有效抑制，提升图像的清晰度和稳定性。

2、2、技术方案：为了实现上述目的，本发明提出了一种退化参数辅助的空间自适应多帧图像复原方法。方法首先分别设计了退化参数矩阵预测网络与退化参数辅助的多帧图像复原网络，在深度学习网络的技术上构建损失函数，对两个网络分阶段展开训练。其中退化参数矩阵预测网络直接从图像中来获得退化参数矩阵，得到图像的退化空间分布。获得的退化参数矩阵将会作为退化先验信息与退化图像序列一同输入到多帧图像复原网络当中，最终实现图像的空间自适应复原。

3、3、其技术思路主要体现在以下几个方面：本发明的技术思路主要体现在以下三个方面：

4、1)设计退化参数矩阵预测网络：参数预测网络(ppn)目的是从退化图像中学习退化参数的空间分布,挖掘隐藏的退化先验信息,为图像复原网络dpirn提供关键先验引导,支持网络进行空间自适应的复原,在提高复原性能的同时增强算法的适应性,是本方法在退化先验学习和利用方面的一个关键设计。该网络以退化图像序列作为输入，无需其他外部知识。

5、2)退化参数辅助的多帧图像复原网络：dpirn是一个高效的退化参数辅助多帧图像复原网络，网络首先对退化序列进行多层下采样和深度编码，并通过引入退化参数先验,采用多尺度退化信息辅助重建模块,最终实现高质量的空间自适应图像复原。dpirn在少量增加模型参数量和计算复杂度的情况下,实现了复原性能的大幅提升。

6、3)损失函数的构建与模型训练：结合退化物理信息和退化图像信息，构造参数测量损失函数和退化抑制损失函数。模型采用两阶段训练策略，第一阶段先单独训练参数预测网络ppn，第二阶段,固定ppn的参数,将其学习到的退化参数矩阵输入dpirn,与退化图像序列一起训练复原网络。

7、本发明涉及一种退化参数辅助的空间自适应多帧图像复原方法，该方法具体步骤如下：

8、步骤一：由退化参数矩阵预测网络生成图像序列对应的退化参数矩阵。退化参数预测网络接收退化图像序列，并输出其对应的退化参数矩阵。退化参数预测网络采用编码器-解码器结构，首先通过由3d卷积层、残差块和归一化层组成的特征编码器提取退化序列的特征，然后将特征在时间和通道维度上整合，最终通过解码器将整合后的特征解码为噪声强度的空间分布矩阵。对于简单退化如随机噪声，网络直接输入退化图像序列即可；对于如大气湍流引起的复杂退化，网络根据退化特点，还将一同输入图像的时间差分序列，进而从湍流退化序列中提取折射率结构常数cn2描述的湍流强度分布。

9、步骤二：使用退化参数辅助的多帧图像复原网络(dpirn)得到复原图像。dpirn采用编码器-解码器结构，最终实现高质量的空间自适应图像复原。其中，特征提取模块对退化序列进行多层下采样和深度编码，退化参数辅助重建模块作为解码器，在图像重建的过程中引入多尺度退化信息，实现从退化序列到复原序列的端到端映射。具体地，退化序列首先经过由双向循环神经网络(brnn)实现的特征提取器编码为密集图像特征，提取出每一帧图像特征在与前后相邻4帧的特征拼接融合后，再通过退化参数辅助重建模块、转置卷积层和残差块组成的重建器进行解码，最终输出当前目标帧图像的复原结果。

10、步骤三：构造损失函数，展开双阶段的训练。首先使用l1范数作为损失函数对退化参数预测网络进行训练，用于衡量预测的退化参数矩阵与参数标签之间的误差。其次，使用由平滑l1损失和感知损失组成的联合损失函数对图像复原网络进行端到端训练，其中平滑l1损失和感知损失分别用于衡量复原图像与参考图像在低频和高频细节上的相似度。值得注意的是，dpirn与退化参数预测网络并非联合训练，而是分两个阶段依次训练。第一阶段，ppn使用退化图像序列作为输入，以退化参数矩阵作为输出展开训练；第二阶段，dpirn使用退化参数预测网络学习到的退化参数矩阵进行微调。这种分阶段训练策略可以避免退化参数预测网络输出的不准确退化参数矩阵对dpirn训练产生干扰，同时保证退化参数预测网络能够充分利用dpirn提供的梯度信息。最终，通过双阶段训练得到的退化参数矩阵预测网络和退化参数辅助的图像复原网络可用于图像退化的空间自适应抑制。

11、其中，步骤一具体过程如下：

12、1.1：对于简单退化如随机噪声，将退化图像序列直接输入退化参数预测网络。退化图像序列首先经过由3d卷积层组成的特征编码器提取时空特征，编码器包含多个3d卷积层，每个卷积层后接一个残差块和一个归一化层，用于提取退化序列在时间和空间维度上的相关性特征。对于复杂退化如大气湍流引起的退化，除退化图像序列外，还将图像的时间差分序列一同输入退化参数预测网络。时间差分序列通过相邻两帧退化图像作差分获得，能够突出大气湍流引起的时变几何畸变和模糊效应。将原始退化序列与差分序列在通道维度拼接后输入特征编码器，以充分利用退化图像中蕴含的时空湍流信息。

13、1.2：特征编码器提取的时空特征首先在时间维度上进行全局平均池化，然后在通道维度上通过1x1卷积层进行特征融合，得到包含退化全局信息和局部细节信息的紧凑特征表示。

14、1.3：将整合后的特征输入解码器进行上采样和解码。解码器包含多个转置卷积层和残差块，采用跳跃连接将编码器浅层的高分辨率特征与解码器深层的高语义特征融合，逐步将特征还原至原始分辨率，并最终得到退化参数矩阵。对于随机噪声退化，输出矩阵表示噪声强度的空间分布。对于大气湍流退化，输出矩阵表示折射率结构常数cn2描述的湍流强度分布。至此，退化参数预测网络根据输入的退化图像序列，学习并输出刻画退化过程的关键退化参数矩阵，为后续的自适应图像复原提供先验指导。

15、其中，步骤二的具体过程如下：

16、2.1：使用特征提取模块对退化序列进行编码。本发明采用双向循环神经网络(brnn)作为特征提取器,通过多层下采样和深度编码,将退化图像序列映射为密集的图像特征表示。brnn能够同时利用序列中每一帧与其前后相邻帧的信息,提取具有时序特性的特征。

17、2.2：使用特征融合模块融合当前帧与相邻帧的特征。对于当前目标帧,将其特征与邻近帧特征进行融合,形成包含丰富时空信息的特征表示。这一融合过程能够充分利用序列的连续性,捕捉图像退化过程的动态变化特性。

18、2.3：引入退化参数辅助信息增强图像重建。本发明设计了退化参数辅助重建模块,将退化参数矩阵作为先验信息引入图像重建过程。具体地,退化参数矩阵首先经过池化层进行降维并提取重要特征,再通过1×1卷积进一步提取深层次特征，将退化参数转换到图像特征域当中。之后利用softmax激活函数生成概率分布,并与空间特征进行元素级乘积,将退化信息与空间信息进行融合。最后通过transformer块建模特征间的长距离依赖关系,并使用转置卷积生成输出上采样特征,最终生成清晰、准确的复原图像。

19、其中，步骤三的具体过程如下：

20、3.1损失函数的构造

21、3.1.1退化参数预测网络的损失函数

22、退化参数预测网络采用l1范数作为损失函数，用于衡量预测的退化参数矩阵与参数标签之间的误差。

23、3.1.2图像复原网络的损失函数

24、图像复原网络采用由平滑l1损失和感知损失组成的复合损失函数来全面评估和优化复原图像的质量，进而展开端到端训练。其中平滑l1损失结合了l1和l2损失的优点，其对异常值不敏感，并且在误差较小时提供平滑的梯度，可以在保留l2损失的平滑性和l1损失的鲁棒性之间取得平衡。而感知损失是一种基于深度卷积神经网络提取的高层次特征来评估图像质量的方法。与传统的像素级损失函数不同，感知损失更关注图像的视觉相似性和高频细节信息。通过比较复原图像和参考图像在预训练网络(如vgg网络)不同层输出的特征图，感知损失能够捕捉到图像中的纹理、边缘等细节，并在多个尺度上评估图像的视觉质量。通过结合这两种损失函数形成的多尺度结构损失函数，可以在低频和高频信息上进行全面评估，使得训练过程能生成在视觉效果上更自然和逼真的复原图像。

25、3.2：展开双阶段网络训练。网络的训练分两个阶段展开。第一阶段先单独训练参数预测网络ppn，第二阶段,固定ppn的参数,将其学习到的退化参数矩阵输入dpirn,与退化图像序列一起训练复原网络。

26、3、优点及功效：本发明提出了一种退化参数辅助的空间自适应多帧图像复原方法。方法包含退化参数矩阵预测网络(ppn)与退化参数辅助的多帧图像复原网络(dpirn)。其中ppn直接从图像中来获得退化参数矩阵，得到图像的退化空间分布；dpirn对退化序列进行多层下采样和深度编码，使用退化参数辅助重建模块作为解码器，在图像重建的过程中引入多尺度退化信息，实现从退化序列到复原序列的端到端映射。本发明设计了参数测量损失函数和兼顾图像低频和高频细节的图像重建损失函数,采用两阶段训练策略,方法能够在少量参数量、计算量增加的情况下，显著提升复杂退化情况下图像复原结果的清晰度和稳定性，最终实现高质量的空间自适应图像复原。该方法在计算机视觉、航空航天、遥感图像处理、医学图像分析等领域具有广阔的应用前景。