一种基于多任务交互学习的空谱同时超分辨率重建方法与流程

1.本发明涉及一种基于多任务交互学习的空谱同时超分辨率重建方法，属于图像处理与计算机视觉领域。


背景技术：

2.高空间分辨率和高光谱分辨率图像(hr-hsi)广泛应用于地球科学、医学诊断等领域。然而，如何获得同时具有高空间分辨率和高光谱分辨率的图像仍然是一个有待解决的问题。
3.空间光谱联合超分辨率(sssr)旨在从低空间分辨率多光谱图像(lr-msi)重建高空间分辨率高光谱图像(hr-hsi)。高光谱图像(hsi)具有高光谱分辨率，广泛应用于各种计算机视觉任务，包括目标识别和跟踪、医学图像处理和遥感。虽然hsi可以通过连续窄带实现高光谱分辨率，但其空间分辨率通常比多光谱图像(msi)粗糙得多。这是因为高光谱传感器中密集的光谱通道允许有限数量的光子均匀到达一个狭窄的光谱窗口。传感器捕获的低空间分辨率高光谱图像(lr-hsi)极大地限制了其应用价值。此外，高光谱捕捉往往需要较长的捕捉时间，不能用于捕捉动态场景。因此，如何从lr-msi重建hr-hsi是一个重要且具有挑战性的问题。
4.最近，深度神经网络(dnn)在众多视觉识别和图像恢复任务中取得了巨大成功。许多基于dnn的单张图像超分辨率(sisr)和光谱超分辨率(ssr)方法已被广泛研究并取得了非常好的性能。为了解决空谱联合超分的问题，一种直接的方法是以两阶段的方式依次执行sisr网络和ssr网络或将它们的执行顺序反过来。需要注意的是，当我们首先完成ssr时，会得到lr-hsi，我们有两种方法可以得到超分辨目标hr-hsi。一种方法是通过sisr分别重建每个hr光谱图像，另一种是通过高光谱图像超分辨率(hsisr)联合估计目标hr-hsi。
5.然而，sssr中的空间超分辨率重建和光谱预测是相互关联的，它们应该是互利互惠的。独立运行这两种算法不能充分利用光谱和空间信息之间的内在关系，这限制了sssr的性能。此外，为了预测目标hr-hsi，最先进的sisr/hsisr和ssr网络都需要大量的参数。因此，两阶段sssr神经网络的计算成本高且效率极低。有人提出了一种基于学习的方法，称为ssjsr，以解决sssr问题。他们首先训练一个3层空间超分网络，然后是一个5层光谱超分网络。这种两阶段训练策略将sssr分成两个独立的任务，完全忽略了这两个任务之间的相关性。


技术实现要素：

6.本发明提出了一种基于多任务交互学习的空谱同时超分辨率重建方法，已解决现有技术中存在的问题。
7.一种基于多任务交互学习的空谱同时超分辨率重建方法，所述基于多任务交互学习的空谱同时超分辨率重建方法，包括以下步骤：
8.步骤一、建立ssfin网络架构；
9.步骤二、使用权重衰减策略训练ssfin网络。
10.进一步的，在步骤一中，包括以下步骤：
11.步骤一一、在ssfin网络中建立三个分支：sisr网络、ssr网络和空间光谱融合网络，所述三个分支分别生成三个图像：hr-msi、lr-hsi和hr-hsi，所述三个图像作为ssfin网络的输出，将lr-msi作为ssfin网络的输入；
12.步骤一二、空间超分分支：
13.首先利用卷积层从lr-msi输入中提取空间浅层特征，然后使用n个空间残差组spargs提取深层空间特征，增加一个长跳跃连接，以保留lr-msi的原始低频信息，每个空间残差组由几个残差空间注意力块rsab和一个短的跳跃连接组成，用于探索特征图的空间关系，最后，由两个卷积层和一个上采样模型组成的空间超分头部模块用于重建hr-msi，
14.sisr网络使用定义为l1的损失进行优化：
[0015][0016]
其中是sisr网络的输出，u是地真hr-msi；
[0017]
步骤一三、光谱超分分支：
[0018]
首先使用一个卷积层来提取光谱浅层特征，然后使用n个光谱残差组spergs来提取深层光谱特征，每个光谱残差组由几个残差通道注意力块rcab组成，残差通道注意力块应用全局平均池化层来学习每个通道的权重，最后，由一个卷积层组成的光谱超分头部模块用于重建lr-hsi，
[0019]
应用l1损失来训练ssr网络：
[0020][0021]
其中是ssr网络的输出，v是地真lr-hsi；
[0022]
步骤一四、空间-光谱特征交互模块：
[0023]
在第k个ssfib中：
[0024][0025][0026][0027]
其中conv代表卷积操作，concat代表级联算子，h
sparg
、h
sperg
和h
fm
分别代表空间残差组、光谱残差组和融合模块，和分别代表第k个空间残差组、光谱残差组和融合模块的输出，
[0028]
设置为了融合从空间残差组、光谱残差组和之前的融合模块中提取的特征，首先将和级联起来，其中，0《n《k，然后利用包含两个卷积层和两个线性修正单元relu的融合模块来整合空间和光谱特征，接着应用卷积层分别提取sisr网络和ssr网络的独特特征，最后，将它们的独特特征添加到原始特征中；
[0029]
步骤一五、空谱融合网络：
[0030]
首先使用卷积层来整合来自三个分支的特征，然后使用上采样模型使这些特征具
有与hr-hsi相同的空间尺度，然后应用g个空谱残差组ssrgs来重建目标hr-hsi，使用对偶残差注意力块rdab来连接空间注意力和通道注意力，在空谱残差组中，应用对偶残差注意力块同时提取更有用的空间和光谱特征，在提取空间和光谱不同层次的特征后，使用卷积层来整合网络在不同阶段提取的特征，这是因为深度神经网络在不同深度提取具有不同信息的特征，共享每个空谱残差组的参数，在g个空谱残差组之后，用一个卷积层来重建输出目标，
[0031]
利用l1损失来训练空间光谱融合网络：
[0032][0033]
其中是融合网络的输出，x是地真hr-hsi。
[0034]
进一步的，在步骤二中，具体的，将空间超分网络和光谱超分网络视为两个正则化分支，使用权重衰减策略来训练ssfin，ssfin的总损失函数为：
[0035][0036]
其中m和m分别代表总训练轮数和当前训练轮数，α和β是权衡参数，从损失函数的定义得知，一旦l
spa
和l
spe
的权重衰减为零，即利用学习到的空间和光谱特征来帮助hsi的联合重建。
[0037]
进一步的，在训练过程中，具体的，在空间超分分支中将sparg的数量设置为n＝3，在每个sparg中，将rsab的数量设置为5，在光谱超分分支中，将sperg的数量设置为n＝3，在每个sperg中，将rcab的数量设置为5，在空间光谱融合分支网络中，将ssrg的数量设置为4，每个ssrg有5个rdab，将所有卷积层的卷积核大小设置为3
×
3，α和β设置为0.5，m设置为100，利用adam优化器训练网络进行250,000次迭代，批量大小为8，将每个epoch设置为2500次迭代，学习率初始化为0.0008，并在达到5、15、30和60个epoch时衰减2倍，使用pytorch框架和nvidiateslav100gpu来实施和训练的网络。
[0038]
本发明的有以下有益效果：本发明的一种基于多任务交互学习的空谱同时超分辨率重建方法，设计了空间-光谱特征交互块(ssfib)，使得空间超分分支和光谱超分分支可以受益于彼此。重建模块旨在整合来自空间和光谱sr分支的特征以预测目标hr-hsi。在这个多任务框架中，逐渐降低空间超分和光谱超分任务在总损失中的权重(在训练结束时会降为零)。与当前的特征对比表示学习框架类似，引入了一个小型神经网络头，即：空间/光谱超分头，以去除可能仅对下游任务(即，空间/光谱超分)有用的信息，但为主要空谱联合超分任务保留更多空间和光谱信息。因此，空间sr和光谱sr任务可以看作是正则化分支，这将大大提高网络的特征学习能力。实验结果表明，所提出的sssr框架优于最先进的两阶段方法。
附图说明
[0039]
图1为所提出的ssfin网络的整体构架；
[0040]
图2为空间残差组的详细网络架构，其中，图2(a)为空间残差组，图2(b)为光谱残差组，图2(c)为空间光谱残差组；
[0041]
图3为空间超分头和光谱超分头，其中，图3(a)为空间超分头；图3(b)为光谱超分头；
[0042]
图4为cave数据集的定性结果；
[0043]
图5为pavia centre数据集第51通道的定性结果和相应的误差图像；
[0044]
图6为pavia centre数据集中四个随机选择位置的重建光谱特征。
具体实施方式
[0045]
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
本发明提出了一个空间光谱特征交互网络(ssfin)来在多任务框架中学习空谱联合超分。由于直接从lr-msi恢复hr-hsi是一个严重的不适定问题，我们引入了两个辅助任务(即：空间超分和光谱超分)来帮助网络更好地恢复hr-hsi。特别地，我们的ssfin网络的骨干架构由三个分支组成，一个用于空间超分，一个用于光谱超分，主要分支是整合从空间超分和光谱超分分支学习到的空间和光谱表示。
[0047]
由于空间超分任务和光谱超分任务是相互关联的，应该是互利互惠的而不是独立的，因此，我们设计了空间-光谱特征交互块(ssfib)，使得空间超分分支和光谱超分分支可以受益于彼此。最后，重建模块旨在整合来自空间和光谱sr分支的特征以预测目标hr-hsi。在这个多任务框架中，我们逐渐降低空间超分和光谱超分任务在总损失中的权重(在训练结束时会降为零)。与当前的特征对比表示学习框架类似，我们引入了一个小型神经网络头，即：空间/光谱超分头，以去除可能仅对下游任务(即，空间/光谱超分)有用的信息，但为主要空谱联合超分任务保留更多空间和光谱信息。因此，空间sr和光谱sr任务可以看作是正则化分支，这将大大提高网络的特征学习能力。实验结果表明，所提出的sssr框架优于最先进的两阶段方法。总之，这项工作的主要贡献有三方面：
[0048]
1.我们引入了一种高效的空间光谱联合超分辨率网络，可以在统一的端到端框架中同时解决空间超分辨率重建和光谱预测问题。通过利用空间超分和光谱超分分支之间的相关性，所提出的方法优于两阶段方法。
[0049]
2.为了充分利用空间sr和光谱sr任务的互补性，我们设计了一个新的空间-光谱特征交互块，以促进空间sr分支和光谱sr分支之间的相互引导。这两个带有空间/光谱sr头的正则化分支可以大大提高所提出网络的空间-光谱特征学习能力。
[0050]
3.提议的sssr方法在三个公共数据集上取得了最先进的性能。大量的消融实验进一步验证了所提出方法不同部分的有效性。
[0051]
在本发明中，我们用小写字母表示标量，用粗体字母表示矩阵，用花体表示张量。特别地，让代表lr-msi。sssr的目标是从估计具有高空间分辨率和高光谱分辨率的图像如果我们将张量和重塑为它们的矩阵形式，即：y∈r
hw
×s和x∈r
hw
×s，lr-msi的观测模型可以写成如下：
[0052]
y＝cxr
ꢀꢀ
(8)
[0053]
其中r∈rs×s是多光谱传感器的光谱响应函数，c∈r
hw
×
hw
表示空间退化算子，通常假设它由循环卷积算子和下采样矩阵组成。
[0054]
正如我们从方程(1)中看到的那样，从y估计x是一个严重的不适定问题，尤其是当上采样尺度非常大时。因此，直接从lr-msi重建hr-hsi非常困难。在本发明中，我们引入了两个辅助任务(即，sisr和ssr)来帮助网络更好地恢复hr-hsi。因此，sssr问题被分解为三个子问题：sisr、ssr和空间光谱融合。这些可以表述为
[0055]
y＝cu,and u＝xr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0056]
y＝vr,and v＝cx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0057]
其中u∈r
hw
×s和v∈r
hw
×s分别代表sisr结果和ssr结果。
[0058]
本发明提出了一种基于多任务交互学习的空谱同时超分辨率重建方法的一实施例，所述基于多任务交互学习的空谱同时超分辨率重建方法，包括以下步骤：
[0059]
步骤一、建立ssfin网络架构；
[0060]
步骤二、使用权重衰减策略训练ssfin网络。
[0061]
进一步的，在步骤一中，包括以下步骤：
[0062]
步骤一一、参照图1所示，在ssfin网络中建立三个分支：sisr网络、ssr网络和空间光谱融合网络，所述三个分支分别生成三个图像：hr-msi、lr-hsi和hr-hsi，所述三个图像作为ssfin网络的输出，将lr-msi作为ssfin网络的输入；
[0063]
步骤一二、空间超分分支：
[0064]
空间超分分支：我们首先利用卷积层从lr-msi输入中提取空间浅层特征。然后我们使用n个空间残差组(spargs)来提取深层空间特征。另外，增加了一个长跳跃连接，以保留lr-msi的原始低频信息。每个空间残差组由几个残差空间注意力块(rsab)和一个短的跳跃连接组成，用于探索特征图的空间关系。最后，参照图3(a)所示，由两个卷积层和一个上采样模型组成的空间超分头部模块用于重建hr-msi。空间残差组的详细网络架构如图2(a)所示。
[0065]
sisr网络使用定义为l1的损失进行优化：
[0066][0067]
其中是sisr网络的输出，u是地真hr-msi；
[0068]
步骤一二、光谱超分分支：与sisr网络分支类似，首先使用一个卷积层来提取光谱浅层特征。然后我们使用n个光谱残差组(spergs)来提取深层光谱特征。每个光谱残差组由几个残差通道注意力块(rcab)组成。残差通道注意力块应用全局平均池化层来学习每个通道的权重，这可以极大地帮助网络恢复hsi的频谱信息。最后，参照图3(b)所示，由一个卷积层组成的光谱超分头部模块用于重建lr-hsi。残差通道注意力块的详细网络架构如图2(b)所示。
[0069]
我们应用l1损失来训练ssr网络：
[0070][0071]
其中是ssr网络的输出，v是地真lr-hsi。
[0072]
步骤一三、空间-光谱特征交互模块：
[0073]
hsi包含丰富的空间信息和光谱信息，空间和光谱信息是内在相关的。所以我们设计了空间-光谱特征交互，让sisr网络和ssr网络可以交换信息，互相引导。如图1所示，在第k个ssfib中：
[0074][0075][0076][0077]
其中conv代表卷积操作，concat代表级联算子。h
sparg
、h
sperg
和h
fm
分别代表空间残差组、光谱残差组和融合模块。和分别代表第k个空间残差组、光谱残差组和融合模块的输出。我们设置为了融合从空间残差组、光谱残差组和之前的融合模块中提取的特征，我们首先将和(0《n《k)级联起来，然后利用包含两个卷积层和两个线性修正单元(relu)的融合模块来整合空间和光谱特征，接着应用卷积层分别提取sisr网络和ssr网络的独特特征，最后，我们将它们的独特特征添加到原始特征中。借助这种特征交互学习策略，我们可以预期空间分支和光谱分支可以同时考虑空间上下文信息和光谱相关性；
[0078]
步骤一四、空谱融合网络：
[0079]
由于sisr网络和ssr网络可以帮助我们充分提取lr-msi的空间和光谱特征，我们将这两个网络作为正则化分支，对先验信息进行建模以重构hr-hsi。为了防止信息丢失，我们将空间和光谱超分网络学习特征(和)提供给空间光谱融合网络，而不是它们的超分结果(和)。此外，也被输入到空间光谱融合网络中。我们首先使用卷积层来整合来自三个分支的特征。然后使用上采样模型使这些特征具有与hr-hsi相同的空间尺度。然后应用g个空谱残差组(ssrgs)来重建目标hr-hsi。我们使用对偶残差注意力块(rdab)来连接空间注意力和通道注意力，在空谱残差组中，我们应用对偶残差注意力块同时提取更有用的空间和光谱特征。在提取空间和光谱不同层次的特征后，我们使用卷积层来整合网络在不同阶段提取的特征。这是因为深度神经网络在不同深度提取具有不同信息的特征。为了减少模型参数，我们共享每个空谱残差组的参数。消融分析实验证明，这种操作不仅可以减少网络参数量，还可以提高网络性能。在g个空谱残差组之后，用一个卷积层来重建输出目标。空谱残差组的详细网络架构如图2(c)所示。
[0080]
在本发明中，我们利用l1损失来训练空间光谱融合网络：
[0081][0082]
其中是融合网络的输出，x是地真hr-hsi。
[0083]
进一步的，在步骤二中，具体的，为了防止过拟合并增强模型的泛化能力，我们将空间超分网络和光谱超分网络视为两个正则化分支。在我们的实验中，我们使用权重衰减策略来训练我们的ssfin，以便ssfin可以逐渐将注意力从辅助任务转移到主要任务。ssfin的总损失函数为：
[0084][0085]
其中m和m分别代表总训练轮数和当前训练轮数。α和β是权衡参数。从损失函数的定义可知，一旦l
spa
和v
spe
的权重衰减为零，就可以利用学习到的空间和光谱特征来帮助hsi
的联合重建。
[0086]
在现实的实现过程中，我们在空间超分分支中将sparg的数量设置为n＝3。在每个sparg中，我们将rsab的数量设置为5。在光谱超分分支中，我们将sperg的数量设置为n＝3。在每个sperg中，我们将rcab的数量设置为5。在空间光谱融合分支网络中，我们将ssrg的数量设置为4，每个ssrg有5个rdab。我们将所有卷积层的卷积核大小设置为3
×
3。α和β设置为0.5，m设置为100。我们利用adam优化器训练网络进行250,000次迭代，批量大小为8。我们将每个epoch设置为2500次迭代。学习率初始化为0.0008，并在达到5、15、30和60个epoch时衰减2倍。我们使用pytorch框架和nvidiateslav100 gpu来实施和训练我们的网络。
[0087]
接下来，我们将我们的ssfin方法与由最先进(sota)单张图片超分 光谱超分或光谱超分 单张高光谱图像超分组成的两阶段方法和最近提出的一种sota空谱联合超分方法ssjsr进行比较。其中单张图像超分方法我们使用rcan和san，对与光谱超分方法我们使用awan。对于单张高光谱图像超分，我们选择rcan和sspsr。所有比较方法都在相同的训练数据集重新训练。至于客观比较，我们使用四种图像质量指标来评估不同方法的性能，包括psnr、ssim、sam和ergas。psnr和ssim在每个2d空间图像上计算，然后在所有波段上取平均值。他们分别基于mse和结构一致性来评估恢复的hr-hsi和地真之间的相似性。sam计算恢复的hr-hsi和地真的频谱向量之间的平均角度。至于ergas，它反映了恢复的hr-hsi的整体质量。ergas和sam的值越小结果越好，而psnr和ssim的值越大结果越好。
[0088]
首先进行实验设置：
[0089]
训练数据集：我们在两个公开可用的高光谱成像数据集上评估我们的us3rn方法，包括cave和pavia centre。cave数据集由32张在受控照明下捕获的室内图像组成，空间大小为512
×
512，包括31个10nm宽的光谱带，涵盖了从400到700nm的可见光谱。hr-msi(rgb图像)是通过将所有地真hr-hsi波段乘以与尼康d700相机相同的模拟光谱响应函数r得到，lr-hsi和lr-msi是通过将对应的hr-hsi和hr-msi进行双三次下采样d倍得到的。我们选择前22个样本并从中随机提取64
×
64的有重叠块作为参考hr-hsi进行训练。因此，hr-hsi、hr-msi、lr-hsi和lr-msi的大小分别为64
×
64
×
31、64
×
64
×
3、和数据库中剩余的10个样本用于测试。
[0090]
pavia centre数据集由反射光学系统成像光谱仪(rosis)传感器拍摄，是2001年在意大利北部帕维亚中心地区拍摄的机载hsi。它有102个光谱通道，光谱范围从430到860nm。pavia centre总共包含1096
×
1096个像素点，但有部分区域没有信息我们将其删除，仅选择1096
×
715个有效像素点。左上1024
×
128像素被裁剪作为测试数据，而数据集的其余部分被选为训练数据。我们遵循与ssjsr相同的设置来生成hr-msi。我们从训练数据中随机提取64
×
64的有重叠块作为参考hr-hsi进行训练。因此，使用的hr-hsi、hr-msis、lr-hsi和lr-msi的大小分别为64
×
64
×
102、64
×
64
×
4、和
[0091]
然后与sota的对比：
[0092]
cave数据集上的结果：cave数据集上所有对比方法的psnr、ssim、sam和ergas的平均结果报告在表1中，其中粗体表示最佳结果，下划线表示次佳。我们可以很容易地观察到，所提出的ssfin方法在所有上采样尺度上的所有客观评估指标方面都明显优于其他算法。例如，我们的方法的平均psnr值比次佳方法高在
×
2尺度上高0.55db，在
×
4尺度上高
0.35db，在
×
8尺度上0.46db。排除我们的方法，也没有任何方法可以在所有客观评价指标上领先其它对比方法。这说明对比方法只关注恢复图像的某些方面，不能同时完全恢复图像的空间信息和光谱信息。
[0093][0094][0095]
表1对比方法在cave数据集的10张测试图像的四个pqis定量比较
[0096]
为了比较不同方法的视觉重建结果，我们将光谱响应函数r应用于重建的hr-hsi以生成三个测试图像的rgb图像。从图4可以看出ssfin得到的合成图像最接近地真，而其他方法的结果通常含有明显的错误结构。显然，所提出的方法在恢复原始hsi的细节方面表现最好，并取得了最小的重构误差。
[0097]
pavia centre数据集上的结果：表2列出了所有对比方法在测试图像的psnr、ssim、sam和ergas方面的平均性能。从该表中可以看出，我们的ssfin在上采样因子d＝2和d＝4时优于其他对比方法。当上采样因子为d＝8时，awan sspsr略好于我们的方法。然而，当
我们展示对比方法恢复的视觉结果时，如图5所示，我们可以观察到，虽然提出的方法没有达到最好的客观结果，但我们的主观结果确实比对比方法更好。
[0098][0099][0100]
表2对比方法在pavia centre数据集的四个pqis定量比较
[0101]
为了证明光谱重建结果的可信度，在图6中，我们绘制了六种对比方法在四个随机选择的位置重建的光谱向量。所提出的ssfin恢复的光谱向量更接近地真，这意味着我们的方法可以很好地保留光谱信息。
[0102]
接着进行消融分析：
[0103]
我们通过消融研究进一步研究了我们的模型性能，并将其总结在表3中。
[0104][0105]
表3特征交互学习和正则化分支的有效性分析
[0106]
特征交互学习的作用：为了验证所提出的ssfib的有效性，我们使用正常的残差连接(即，空间残差连接和谱残差连接)来代替ssfib。在这种情况下，空间和光谱sr之间没有相互作用。为了公平起见我们使两种结构的网络参数尽可能接近。表3显示了在空间
×
2超分上10张测试图像的平均结果。通过比较第五行和第六行，我们可以观察到，当我们合并ssfib时，所提出的ssfin的性能在所有四个图像质量指标上都有所提高，例如，psnr为 0.34db。至于其他客观指标，提高也相当可观。这表明空间超分分支和光谱超分分支确实可以相互引导，提高特征学习能力。
[0107]
正则化分支的有效性：为了验证两个正则化分支的有效性，我们报告了具有不同正则化分支的ssfin的性能。通过比较表4中的第二行、第三行、第五行和第六行，我们可以观察到，当α和β都设置为0时，cave上的psnr值(
×
2)相对较低。使用单个空间正则化分支或光谱正则化分支可以适当提高网络性能。当两个分支都使用时，网络性能将大大提高。这表明空间超分任务和光谱超分任务是相关的，可以真正相互指导以提高网络性能。此外，所有方法的性能都高于基准线(第一行)，表明网络中的所有结构都是有用的。
[0108]
参数共享的有效性：表4显示了所提出的ssfin在参数共享与否的情况下的性能。我们可以看到，共享ssrgs的参数可以减少模型的参数，提高网络的性能。
[0109][0110]
表4共享参数的有效性分析
[0111]
最后进行模型复杂度和运行时间分析：
[0112]
我们在表5中展示了不同方法在cave(
×
2)上的模型大小、测试时间和性能。值得注意的是，由于输入到网络的图像的空间大小和通道大小不同，当rcan和awan的顺序交换时，计算量会发生变化，但网络参数量不会改变。另外，对于对比方法awan rcan，为了提取更多的特征，我们将rcan的卷积层的卷积核数量从64个增加到128个。从表中可以看出ssjsr的参数数量很少，但是它的性能是最差的。虽然我们的ssfin实现了最好的性能，但它的参数数量比两阶段方法少。虽然ssjsr的参数很小，但它使用了3d卷积，其flops与其他方
法处于同一数量级。我们的方法具有最少的flop。由于awan和san包含非局部层(non-local layer)，随着输入图像空间尺寸的增加，所需的物理内存会急剧增加，测试时需要更大的内存。由于我们的硬件资源限制，我们仅报告其cpu时间。总之，ssfin在模型大小和性能之间进行了更好的权衡。
[0113][0114]
表5在cave(
×
2)上参数量，计算量，运行时间和psnr性能比较
[0115]
在本发明中，我们为空间光谱超分辨率提供了一个深度空间光谱特征交互网络(ssfin)，以同时上采样lr-msi的空间分辨率和光谱分辨率。我们引入了两个辅助任务(即空间超分和光谱超分)来帮助网络更好地恢复hr-hsi。特别是，我们设计了一个空间光谱特征交互块(ssfib)，以便空间超分和光谱超分可以相互引导。这两个任务可以为最终的hr-hsi重建提供先验知识。此外，我们使用权重衰减策略来训练ssfin，使ssfin可以逐渐将注意力从辅助任务转移到主要任务。在三个公共hsi数据集的评估表明，提出的ssfin在定量结果和视觉质量方面达到了最先进的性能。