一种基于3D注意力机制全通道融合网络的光谱重建方法与流程

一种基于3d注意力机制全通道融合网络的光谱重建方法
技术领域
1.本发明属于高光谱图像处理技术领域，涉及一种基于3d注意力机制全通道融合网络的光谱重建方法。


背景技术：

2.高光谱图像是一个三维的数据立方体，与传统的rgb图像不同，高光谱图像包含了数百个或数千个连续光谱的空间特征和光谱特征，这些丰富的光谱细节特征可应用于许多计算机视觉领域中，例如人脸识别、医学图像处理、目标跟踪、异常检测等。但是，基于扫描的高光谱采集系统在捕获数据时往往需要大量的曝光时间，这种通过牺牲时间分辨率去获得高光谱分辨率的成像方式严重地阻碍了高光谱图像的应用。为了解决这个问题，人们开发了基于压缩感知的快照高光谱成像设备，然而这些设备的系统在硬件实现和重构算法方面都非常复杂，并且十分昂贵。由于扫描和快照高光谱成像系统的局限性，作为一种替代解决方案，从rgb图像进行光谱重建已经引起了广泛的关注和研究，即通过给定的rgb图像去恢复具有一致空间分辨率和更高光谱分辨率的高光谱图像，也称作光谱超分辨率或光谱重建。
3.现有的光谱重建方法大致可以分为两类，基于传统的方法以及基于深度学习的方法。基于传统的方法是通过稀疏恢复、低秩张量恢复以及一些浅层映射模型来学习rgb图像到高光谱图像的三对多的映射关系。但是这类方法往往需要依赖于高光谱数据的各种先验信息，并且其算法的泛化能力很差。近年来，随着深度学习的快速发展，基于卷积神经网络(cnn)的光谱重建方法得到了广泛使用。尽管，基于cnn的方法一定程度上弥补了传统方法的不足，显著地提高了光谱重建的精度，但是也仍然存在一些缺陷。一方面，现有的大多数基于cnn的光谱重建模型平等地对待所有输入特征信息，忽略了不同的特征信息具有不同的光谱分辨率，它们对特征融合的贡献是不平等的，因此限制了cnn的表达能力。另一方面，基于cnn的光谱重建模型采用的空间注意机制主要关注特征的尺度信息，对通道维度信息的关注很少，而采用的通道注意机制却忽略了尺度信息，不能够同时关注通道
‑
空间信息，因此在一定程度上限制了光谱重建算法的重建性能。


技术实现要素：

4.本发明的目的是提供一种基于3d注意力机制全通道融合网络的光谱重建方法，解决了现有技术中的光谱重建算法中的不同特征信息的融合对图像重建贡献一样、以及不能同时关注通道
‑
空间信息的问题。
5.本发明采用的技术方案是，一种基于3d注意力机制全通道融合网络的光谱重建方法，按照以下步骤具体实施：
6.步骤1、构建浅层特征提取模块，
7.该浅层特征提取模块的输入为原始rgb图像，大小为512*482*3，该浅层特征提取模块的输出是大小为256*256*64的特征图像i1；
8.步骤2、构建高光谱特征生成模块，
9.该高光谱特征生成模块的输入是步骤1得到的特征图像i1，大小为256*256*64；该高光谱特征生成模块的输出是加权融合不同特征信息的特征图像i2，大小也为256*256*64；
10.步骤3、构建重建模块，
11.该重建模块的输入数据是步骤2输出的特征图像i2，大小为256*256*64；该重建模块的输出是光谱重建后的高光谱图像i6，大小为256*256*31；重建模块的主要作用就是将高光谱特征生成模块提取到的特征图像i2恢复至与原始rgb图像对应的更高光谱分辨率的图像i6；
12.步骤4、优化光谱重建网络，即成。
13.本发明的有益效果是，能够通过提出的基于3d注意力机制全通道融合网络有效的实现从rgb图像到高光谱图像端到端的映射，并通过3d注意力机制建模通道方向和空间特征的相互依赖性，自适应地学习通道间和通道内的特征响应，从而增强网络的特征表达能力。
附图说明
14.图1是本发明方法的流程框图；
15.图2是本发明方法构建的浅层特征提取模块的结构流程图；
16.图3是本发明方法构建的双残差通道
‑
空间注意机制块的结构流程图；
17.图4是本发明方法构建的3d通道
‑
空间注意机制模块的结构流程图；
18.图5是本发明方法构建的重建模块的结构流程图。
具体实施方式
19.下面结合附图和具体实施方式对本发明进行详细说明。
20.参照图1，本发明的方法基于3d注意机制全通道加权融合网络的光谱重建网络(以下简称光谱重建网络)，由浅层特征提取模块、高光谱特征生成模块、重建模块组成。浅层特征提取模块包含了patch crop、ln正则化层、conv 3*3三部分，直接以原始rgb图像作为输入，实现提取浅层信息。高光谱特征生成模块主要是由堆叠的3个双残差通道
‑
空间注意机制块组成，并通过加权融合这三个双残差通道
‑
空间注意机制块生成的不同特征图去得到高光谱特征。重建模块用于最终输出维度为31的高光谱图像。
21.本发明的方法，利用上述的光谱重建网络框架，按照以下步骤具体实施：
22.步骤1、构建浅层特征提取模块，该浅层特征提取模块的输入为原始rgb图像，大小为512*482*3，该浅层特征提取模块的输出是大小为256*256*64的特征图像i1；浅层特征提取模块主要作用是对输入的原始rgb图像进行块裁剪，然后对每个裁剪块进行归一化处理，再通过卷积进行浅层特征信息的提取，得到特征图像i1。
23.参照图2，浅层特征提取模块的结构依次为：原始rgb图像(inputimage)作为输入图像
→
patchcrop层
→
ln正则化层
→
conv 3*3层
→
输出的特征图像i1(outputfeature)；其中，patchcrop层将原始rgb图像由512*482*3随机裁剪成256*256*3的裁剪块去进行数据增广，以便增强光谱重建网络的稳定性；ln正则化层是对输入数据进行归一化处理，将其归到
0到1之间，提高光谱重建网络收敛的速度；con3*3层为卷积运算，卷积核大小为3*3，卷积步长为1，填充值为0，特征映射数为64。
24.步骤2、构建高光谱特征生成模块，该高光谱特征生成模块的输入是步骤1得到的特征图像i1，大小为256*256*64；该高光谱特征生成模块的输出是加权融合不同特征信息的特征图像i2，大小也为256*256*64。
25.本步骤主要是考虑到不同特征信息对光谱重建的贡献不同，从而提出在特征融合期间为每个输入添加一个额外的权重，让网络去学习每个输入特征的重要性。高光谱特征生成模块利用步骤1输出的特征图像i1以及3个双残差通道
‑
空间注意机制块进行加权融合不同特征信息，使用的权重参数分别是λ1、λ2、λ3、λ4，并且这些融合的参数都是可以通过网络学习得到的，而不是简单通过concat去直接进行通道数的相加。
26.双残差通道
‑
空间注意机制块主要由双残差结构和3d通道
‑
空间注意机制模块(3d
‑
csab)组成，双残差结构是通过长和短跳跃连接形成双重残差学习，保证在充分利用原始rgb图像丰富的浅层特征信息的同时，又能够很好的解决深层网络中梯度消失和爆炸的问题；3d通道
‑
空间注意机制模块能够提取强大的特征来描述连续通道的通道间和通道内的信息，充分利用特征通道之间的相互依赖关系，大大增强了特征相关性学习。
27.参照图3，第一个双残差通道
‑
空间注意机制块的结构依次为：步骤1得到的特征图像i1作为输入特征
→
conv13*3层
→
prelu(激活函数)层
→
conv23*3层
→
残差结构层
→
prelu(激活函数)层
→
conv33*3层
→
3d
‑
csab层
→
残差结构层
→
输出为特征图像i3；其中，每个conv 3*3层均为卷积运算，卷积核大小为3*3，卷积步长为1，填充值为0，特征映射数为64，其中将conv33*3层的输出特征图像称为i4；两个prelu作为激活函数，以便引入更多的非线性并加速收敛；两个残差结构层主要是进行残差连接，解决梯度消失问题；3d
‑
csab层是利用3d卷积层通过捕获联合通道和空间特征来生成注意力图，然后计算3d卷积前的输入特征与生成注意力图的乘积得到新的特征图像i5。
28.参照图4，3d
‑
csab层的结构依次为：第一个双残差通道
‑
空间注意机制块中conv33*3层输出的特征图像i4作为输入
→
3d conv层
→
sigmoid(激活函数)层
→
通道
‑
空间注意力图(channel
‑
spatial attention weight)层
→
输出为特征图像i5(第一个双残差通道
‑
空间注意机制块中3d
‑
csab层的输出)；其中，3d conv层为卷积运算，卷积核大小为3*3*3，卷积步长为1，填充值为1，特征映射数为64；sigmoid(激活函数)层生成channel
‑
spatial间0到1的注意权重图；通道
‑
空间注意力图(channel
‑
spatial attentionweight)层的作用是编码需要关注或抑制的位置，越需要关注的位置越接近1，越需要抑制的位置越接近0；然后通过逐像素相乘的方式将通道
‑
空间注意力图乘以输入的特征图像i4得到新输出的特征图像i5(其中e表示逐像素相乘)，特征图像i5的大小为256*256*64。
29.上述的3d
‑
csab层的输入特征图像i4以及输出特征图像i5是形成特征图像i3的过渡特征图像，也是形成特征图像i3必不可少的一部分，因为特征图像i5能够保证光谱重建网络中学习到的特征权重是不一样的，需要关注的位置权重大，需要抑制的位置权重小。
30.参照图1，将第一个双残差通道
‑
空间注意机制块的输出特征图像i3作为第二个双残差通道
‑
空间注意机制块的输入，并将第二个双残差通道
‑
空间注意机制块的输出作为第三个双残差通道
‑
空间注意机制块的输入，通过堆叠三个结构一样的双残差通道
‑
空间注意机制块去不断增强光谱重建网络对特征的学习能力，同时通过加权融合特征图像i1以及3
个双残差通道
‑
空间注意机制块去生成特征图像i2。
31.步骤3、构建重建模块，
32.该重建模块的输入数据是步骤2输出的特征图像i2，大小为256*256*64；该重建模块的输出是光谱重建后的高光谱图像i6，大小为256*256*31；重建模块的主要作用就是将高光谱特征生成模块提取到的特征图像i2恢复至与原始rgb图像对应的更高光谱分辨率的图像i6。
33.参照图5，重建模块的结构依次为：步骤2输出的特征图像i2作为输入(input feature)
→
conv 1*1层
→
输出为图像i6(output image)；其中，conv 1*1层为卷积运算，卷积核大小为1*1，卷积步长为1，填充值为0，特征映射数为31。
34.步骤4、优化光谱重建网络，
35.光谱重建网络训练时采用的数据集是成对的rgb图像和真实高光谱图像，能够计算输入图像(原始rgb图像)生成的高光谱图像i6和对应的真实高光谱图像的重建损失，并通过网络训练中的最小化损失去不断优化提出的光谱重建网络，即成。