一种基于变分推断的盲多光谱与全色图像融合方法和系统

本发明属于计算机视觉与深度学习，涉及一种基于变分推断的盲多光谱与全色图像融合方法和系统，适用于高精度与多场景要求的多光谱与全色图像融合场景。背景技术：：：1、高质量多光谱图像是一种重要的图像类别，由于其同时具有丰富空间细节与光谱细节等特点，常用于遥感中的农业、灾害检测、城市规划等领域。但高质量多光谱图像的获取面临着两大困难。一方面，目前卫星搭载的成像传感器包含全色相机传感器与多光谱相机传感器。全色相机传感器仅有单个波段，但是空间分辨率较高，能够捕捉丰富的地物空间结构信息；多光谱相机传感器可以捕捉多个频段的地物信息，具有丰富的光谱特征，但是往往空间分辨率较低，地物的空间细节较为模糊，因此难以直接获得高质量多光谱图像。另一方面，尽管可以通过提升多光谱相机传感器的像元数量，但是其数量增加会极大提升传感器的制造成本，且会同时增加传感器的尺寸与重量，不利于卫星的运行。2、全色图像与多光谱图像融合作为遥感成像与计算机视觉领域的重要研究方向，因其能够充分利用全色图像的丰富空间细节，在保证多光谱图像光谱保真度的同时提升其空间分辨率的特点，被广泛应用于语义分割、目标检测等视觉领域。然而，全色图像与多光谱图像融合技术面临以下困难：(1)现有的深度学习类图像融合方法尽管可以取得较好的效果，但是模型的性能受训练数据的影响很大，往往会在训练数据上过拟合，导致模型的性能优劣难以控制，且当训练数据与测试数据之间存在较大差异时模型的性能会下降。(2)目前有监督的深度学习图像融合方法训练时所用的数据集均基于wald协议仿真生成，图像退化较为简单，难以适应不同传感器性能的卫星数据。3、目前已有的全色图像与多光谱图像融合方法可以被分为两个大类：传统方法与基于学习的方法。传统方法可以分为基于cs的方法、基于mra的方法以及基于vo的方法。基于cs的方法把低分辨率多光谱图像投影到变换域中，并将其光谱信息与空间信息分离，将其空间信息用全色图像代替。常见的cs方法有principal component analysis(pca)等(kwarteng p,chavez a.extracting spectral contrast in landsat thematic mapperimage data using selective principal component analysis[j].photogramm.eng.remote sens,1989,55(1):339-348.)。该类方法得到的融合结果空间细节清晰但是容易出现光谱失真。基于mra的方法将泛锐化过程视为多尺度分解下的细节提取和注入过程，通过把低分辨率多光谱图像和全色图像在多尺度的角度上进行分解并将从全色图像中提取的空间信息注入到低分辨率多光谱图像中，最后通过逆变换得到融合图像。如等人利用小波变换，通过把具有高空间分辨率全色图像的高阶小波变换系数添加到低分辨率多光谱图像的空间分量当中提升其空间分辨率(nunez j,otazu x,forso,et al.multiresolution-based image fusion with additive waveletdecomposition[j].ieee transactions on geoscience and remote sensing,1999,37(3):1204-1211.)。该类方法的光谱细节保真度好，但是容易出现空间结构的扭曲。基于vo的方法主要对全色图像、低分辨率多光谱图像和最终融合图像之间的关系进行建模，以最小化损失函数为目标，将其视为一个不适定问题。ballester等人提出了首个基于变分的图像融合方法并取得了较好的结果(ballester c,caselles v,igual l,etal.avariational model for p+xs image fusion[j].international journal ofcomputer vision,2006,69:43-58.)。此类方法需要的计算量大，复杂性很高。该类方法具有较强的物理机理，但是难以实现空间与光谱的平衡。4、近些年来，得益于深度学习的快速发展，许多由数据驱动的基于网络的图像融合方法被提出。masi等人受到卷积神经网络(cnn)在遥感图像超分辨率应用的启发，提出了第一个基于cnn的图像融合网络pnn(masi g,cozzolino d,verdoliva l,etal.pansharpening by convolutional neural networks[j].remote sensing,2016,8(7):594.)；yang等人通过设计高通滤波器保持空间信息同时将上采样的多光谱图像添加到网络输出当中提高光谱保证度，构建深度神经网络pannet实现图像融合(yang j,fu x,hu y,et al.pannet:a deep network architecture for pan-sharpening[c]//proceedings of the ieee international conference on computer vision.2017:5449-5457.)；wei等人提出的drpnn通过引入残差学习以设计具有更多层数的深度神经网络，以提升网络的非线性拟合能力(wei y,yuan q,shen h,et al.boosting the accuracyof multispectral image pansharpening by learning a deep residual network[j].ieee geoscience and remote sensing letters,2017,14(10):1795-1799.)；deng等人提出的fusionnet通过将传统方法与机器学习方法结合起来，以估计非线性注入模型，最终设计神经网络实现图像融合(deng l j,vivone g,jin c,et al.detail injection-baseddeep convolutional neural networks for pansharpening[j].ieee transactions ongeoscience and remote sensing,2020,59(8):6995-7010.)。上述基于深度学习的多光谱图像与全色图像融合方法可以通过大量训练数据隐式学习图像特征，但是往往缺乏明确的理论指引，且容易导致模型过拟合，泛化能力差。因此有许多方法将模型类方法与深度学习方法结合起来，同时利用模型类方法的理论指导与深度学习的数据驱动方式与非线性拟合能力。如tian等人提出的vp-net结合了vo方法的物理建模，并通过深度学习构建非线性拟合的空间结构先验，取得了良好的效果(tian x,li k,wang z,et al.vp-net:aninterpretabledeep network for variational pansharpening[j].ieee transactionson geoscience and remote sensing,2021,60:1-16.)。因此，当前基于深度学习的方法往往缺乏物理模型的指引，导致模型的泛化能力降低，在真实场景下的图像融合效果较差。技术实现思路1、本发明针对现有技术的不足，提出了一种基于变分推断的深度学习盲图像融合方法。本发明所采用的技术方案是：基于变分推断的盲多光谱与全色图像融合方法，首先针对图像融合问题进行变分推断建模，同时考虑低分辨率多光谱图像的模糊退化与噪声退化以及全色图像的噪声退化。其次网络设计上，构建了具有四个子网络的盲图像融合网络vbpn。vbpn包括针对低分辨率多光谱图像的模糊核估计子网络、噪声估计子网络以及针对全色图像的噪声估计子网络以及特征整合与融合子网络。提出的方法具有较好的图像融合性能同时具有更好的泛化能力。最后设计适用于网络的损失函数，指导网络训练，并在gaofen-2仿真数据集上进行训练，最终得到多光谱图像与全色图像融合模型，进行图像融合。该方法包括以下步骤：2、步骤一，利用变分推断对多光谱图像与全色图像融合问题进行建模，将多光谱图像与全色图像融合逆问题分解为两部分，即由低分辨率多光谱图像m作为观测变量的部分与以高分辨率全色图像p作为观测变量的部分，结合低分辨率多光谱图像的模糊退化与噪声退化以及高分辨率全色图像的噪声退化求解退化过程中的隐变量集合，并将隐变量集合的待求解问题作为融合网络损失函数指导融合网络训练；3、其中，隐变量集合θ为：4、5、其中，f代表融合得到的高分辨率多光谱图像，σ2代表多光谱图像退化过程中的噪声方差，λ代表多光谱图像退化过程中的模糊核参数；代表融合结果的图像梯度；δ2代表全色图像退化过程中的噪声方差；6、步骤二，设计基于卷积神经网络与退化参数估计的多光谱图像与全色图像融合网络，融合网络vbpn由四个子网络组成，分别包含多光谱图像模糊核估计子网络、多光谱图像噪声参数估计子网络、全色图像噪声参数估计子网络以及特征整合与图像融合子网络，融合网络以未知退化过程的低分辨率多光谱图像与全色图像作为输入；7、多光谱图像与全色图像融合网络的处理过程如下：8、首先将低分辨率多光谱图像输入到多光谱图像噪声参数估计子网络与多光谱图像模糊核估计子网络中，用于估计低分辨率多光谱图像的退化参数；随后将全色图像输入到全色图像噪声参数估计子网络中估计全色图像的噪声参数，最后将低分辨率多光谱图像上采样后与全色图像一同输入到特征整合与图像融合子网络中，得到融合结果；9、步骤三，结合损失函数训练多光谱图像与全色图像融合网络，并利用训练好的网络实现高分辨率多光谱图像的重建。10、进一步的，由低分辨率多光谱图像m作为观测变量的部分包括：11、针对由低分辨率多光谱到高分辨率多光谱部分，可以理解为一个多通道图像超分辨率问题：12、m＝(f*k)↓s+n13、其中f代表融合得到的高分辨率多光谱图像，k代表模糊核，*代表卷积操作，↓s代表空间尺度的下采样，n代表加性高斯白噪声；于是将m的概率分布建模为：14、15、为了更加精确地估计多光谱图像的模糊与噪声参数，在像素级别对其进行建模，其中mj代表m的第j个像素，代表高斯分布，d为低分辨率多光谱图像的总像素数量，代表多光谱图像退化过程中的噪声方差；16、分别针对f以及k引入先验，对于引入逆gamma分布作为其先验：17、18、其中ig(·)代表逆gamma分布，为多光谱图像第j个像素的噪声方差，α0为控制分布形状的超参数，ξj为根据数据集中的真实高分辨率多光谱图像与低分辨率多光谱图像估计得到的噪声参数；19、对于融合得到的高分辨率多光谱图像，引入高斯分布作为其先验分布：20、21、其中fi为融合得到的高分辨率多光谱图像的第i个像素，为m为高分辨率多光谱图像的总像素数量，xi为数据集中的真实高分辨率多光谱图像，为人为设定的超参数，用于衡量两者之间的微小差异；对于模糊核k，认为其为各向异性的高斯分布：22、23、24、其中g(·)代表各向异性高斯分布，ki′j′为多光谱图像模糊核中第i′行第j′列的值，ρ代表皮尔森相关系数，λ1与λ2分别代表两个方向的噪声方差，s表示模糊核作用的空间点的坐标，当核大小为(2r+1)*(2r+1)时，其范围为[-r,r]；当模糊核尺寸确定时，协方差矩阵可以唯一确定模糊核，因此将协方差矩阵中的三个变量表示为λ：25、26、则：27、k＝g(λ)28、29、其中g(λ)代表各向异性高斯分布，λ代表多光谱图像退化过程中的模糊核参数，其中是控制ρ与之间差距的超参数，ρ代表皮尔森相关系数；κ0为控制逆gamma分布的超参数，参数和分别在数据集仿真的过程中给出。30、进一步的，以高分辨率全色图像p作为观测变量的部分包括：31、针对全色图像与多光谱图像之间的关系，站在梯度的角度进行建模：32、33、其中为梯度算子，为全色图像的梯度，n代表光谱波段数，ω代表加性高斯白噪声，fn代表融合得到的高分辨率多光谱图像的单个波段，tn代表对应波段的权重参数；34、设置：35、36、其中，代表融合结果的图像梯度，t＝{t1,t2,...tn}为给定的一组参数；37、同样在像素级别进行建模，认为两者之间的梯度符合高斯分布：38、39、其中m代表全色图像的像素数量，在数值上与高分辨率多光谱图像的像素数量相同，因此均用m表示，代表全色图像退化过程中的噪声方差；进而对高斯分布的均值和方差的分布分别引入以下先验形式：40、41、42、其中yi代表数据集中真实高分辨率多光谱图像的梯度，为一超参数，用于衡量两者之间的差距，α1为控制逆gamma分布的超参数γi为估计得到的噪声方差参数。43、进一步的，根据贝叶斯公式，隐变量集合的待求解问题的后验分布写为：44、45、规定p(y|x)为在已知观测变量x时变量y的后验分布，p(·)表示概率分布，q(·)表示需要通过网络估计的近似概率分布；由于该后验分布难以求解，根据变分推断的原理，希望得到一个近似后验分布q(θ|m,p)逼近真实的后验分布；后验公式的分子改写为：46、47、48、进一步的，根据变分推断的思想，近似后验分布q(θ|m,p)写为：49、50、根据平均场定理，认为各个待求解隐变量之间相互独立，因此将两项后验分布分别展开为：51、q(f,λ,σ2|m)＝q(f|m)q(λ|m)q(σ2|m)52、53、根据对退化过程的建模，根据各个待求解隐变量的先验分布给出近似后验分布的分布形式：54、55、56、57、58、59、其中，{μj,βj,m,ηl,ui,ai,bi}为需要通过网络估计的隐变量的分布参数，为各隐变量先验形式中给出的超参数；60、根据贝叶斯公式，将两个观测变量m与p的联合概率分布建模为以下形式：61、62、其中代表证据下界，dkl(·)代表kl散度，用于衡量两个分布之间的距离，具体表达形式为：63、64、65、由于两观测变量m与p的联合概率分布logp(m,p)为一难以求解的定值，因此根据联合概率分布的建模形式，最小化两个近似后验概率分布q(f,λ,σ2|m)、与对应先验之间的距离转化为最大化证据下界；66、下面给出证据下界中各项的解析解：67、利用重参数化和重采样技巧，可以得到：68、69、其中，从q(f∣m)、q(λ∣m)与q(σ2∣m)中重采样得到，70、71、72、73、74、75、76、其中γ(·)与ψ(·)分别代表gamma和digamma函数。77、进一步的，所述多光谱图像模糊核估计子网络由带有残差通道注意力模块cab的卷积神经网络构成，从低分辨率多光谱图像中提取各个光谱通道的特征信息，用于整合得到多光谱图像模糊核的特征信息；78、所述多光谱图像噪声参数估计子网络、全色图像噪声参数估计子网络由输入输出同尺度的现有图像去噪网络dncnn构成，并在网络输出端添加池化函数以得到噪声方差参数；79、所述特征整合与图像融合子网络由带有特征整合层的编码器解码器网络构成，编码器与解码器均由fe layer构成，相邻层级的编码器与解码器之间有图像下采样与上采样操作，用于从多尺度提取与整合输入图像的特征，最终得到融合后的高分辨率多光谱图像。80、进一步的，多光谱图像模糊核估计子网络的处理过程如下：81、首先通过一个3×3卷积层提取浅层特征，随后浅层特征通过8层级联的cab模块用于从各个光谱分量提取特征，最终得到的特征经过一个3×3卷积层得到估计的低分辨率多光谱图像模糊核的概率分布参数m，η1，η2；82、cab模块由卷积层、leaky relu激活函数以及通道注意力层ca layer构成，以多光谱图像的浅层特征作为输入，分别经过一个3×3卷积层与leaky relu激活函数，再次经过一个3×3卷积层进一步提取特征后输入到通道注意力层中，以从各个光谱通道提取特征，为了方便网络训练，在该模块的输入输出端添加残差连接，leakyrelu激活函数数学表达如下：83、84、其中：αleaky代表调节激活函数负半轴斜率的参数，x为自变量；85、进一步的，假定输入ca layer的特征为fin，输出特征为fout，则输入特征在calayer中的传递过程为：86、f1＝averagepool(fin)87、f2＝leakyrelu(conv(f1))88、fout＝sigmod(conv(f2))89、其中，f1和f2为中间变量，averagepool(·)为平均池化操作，sigmod(·)为激活函数，其数学表达如下：90、91、进一步的，多光谱图像噪声参数估计子网络和全色图像噪声参数估计子网络的处理过程如下；92、输入的图像首先经过3×3卷积层与relu激活函数，以非线性提取浅层特征，随后特征将输入到5层级联3×3卷积层与leaky relu激活函数层，最终通过3×3卷积层得到估计的多光谱图像噪声分布参数β与全色图像噪声分布参数a，b。93、进一步的，特征整合与图像融合子网络的处理过程如下；94、输入图像经过一个3×3卷积层后输入到第一层编码器中，并经过若干层编码器进行编码，在相同尺度的编码器层级输出与解码器层级输入之间添加跳跃连接以将编码器的特征信息整合到解码器当中，提升图像融合的质量；最终通过解码器获得待求解的高分辨率多光谱图像f的概率分布参数μ，进而得到高分辨率多光谱图像f；95、其中，带有现有的特征整合层fe layer由2层级联的3×3卷积层与leaky relu激活函数组成，用于提取多光谱图像与全色图像的特征信息。96、进一步的，采用的损失函数包括五个部分：即多光谱图像模糊核估计子网络的损失函数为多光谱图像噪声参数估计子网络的损失函数为全色图像噪声参数估计子网络的损失函数为特征整合与图像融合子网络的损失函数为起到共同约束四个子网络训练的损失函数为97、其中与分别由步骤一当中变分推断结果的kl散度项构成，用于指导各个子网络训练，其数学表达形式分别为：98、99、100、101、102、共同约束四个子网络，实现参数传递与共同优化作用的损失函数由步骤一中变分推断的期望项构成，其数学表达为：103、104、最终，总体的损失函数为：105、106、本发明还提供一种基于变分推断的盲多光谱与全色图像融合系统，包括如下步骤：107、融合问题建模模块，用于利用变分推断对多光谱图像与全色图像融合问题进行建模，将多光谱图像与全色图像融合逆问题分解为两部分，即由低分辨率多光谱图像m作为观测变量的部分与以高分辨率全色图像p作为观测变量的部分，结合低分辨率多光谱图像的模糊退化与噪声退化以及高分辨率全色图像的噪声退化求解退化过程中的隐变量集合，并将隐变量集合的待求解问题作为融合网络损失函数指导融合网络训练；108、其中，隐变量集合θ为：109、110、其中，f代表融合得到的高分辨率多光谱图像，σ2代表多光谱图像退化过程中的噪声方差，λ代表多光谱图像退化过程中的模糊核参数；代表融合结果的图像梯度；δ2代表全色图像退化过程中的噪声方差；111、融合网络构建模块，用于设计基于卷积神经网络与退化参数估计的多光谱图像与全色图像融合网络，融合网络vbpn由四个子网络组成，分别包含多光谱图像模糊核估计子网络、多光谱图像噪声参数估计子网络、全色图像噪声参数估计子网络以及特征整合与图像融合子网络，融合网络以未知退化过程的低分辨率多光谱图像与全色图像作为输入；112、多光谱图像与全色图像融合网络的处理过程如下：113、首先将低分辨率多光谱图像输入到多光谱图像噪声参数估计子网络与多光谱图像模糊核估计子网络中，用于估计低分辨率多光谱图像的退化参数；随后将全色图像输入到全色图像噪声参数估计子网络中估计全色图像的噪声参数，最后将低分辨率多光谱图像上采样后与全色图像一同输入到特征整合与图像融合子网络中，得到融合结果；114、最终融合模块，用于结合损失函数训练多光谱图像与全色图像融合网络，并利用训练好的融合网络实现高分辨率多光谱图像的重建。115、与现有技术相比，本发明的优点和有益效果：本发明提出了一种新的基于变分推断的盲多光谱与全色图像融合的方法，采用变分推断对图像融合问题进行建模，考虑更加复杂的退化方式并利用变分推断估计多光谱图像与全色图像的退化参数，以提升方法的泛化能力，同时整合深度学习从海量数据中学习的优势以及变分推断的理论指导，根据变分推断的结果设计了多光谱与全色图像融合网络。大量的仿真和实际实验结果证明了本发明的有效性和实用性。当前第1页12当前第1页12