跨波段细节驱动增强的单像素光谱成像方法

本发明涉及一种跨波段细节驱动增强的单像素光谱成像方法，属于光学成像。

背景技术：

1、高光谱成像技术可以同时采集二维空间信息和上百个波段的光谱特征信息。高光谱成像技术是光谱技术和机器视觉的结合，获取的高光谱图像在每个波长下都有一张图像，而且每个像素都有自己的光谱。其数据处理方法主要是利用计算机算法从可见光/近红外（visible near-infrared，vnir）或近红外（near-infrared，nir）高光谱图像中提取、存储和处理信息，并将其用于各种信息处理和数据挖掘任务，如分析、分类、回归、目标检测和模式识别等。典型的高光谱图像处理流程包括：图像采集、校准、空间和光谱预处理、降维以及分类和预测等。但是，受限于传感器的限制，无法获取高空间和光谱分辨率的近红外光谱图像。

2、因此，需要一种跨波段细节驱动增强的单像素光谱成像方法以解决上述问题。

技术实现思路

1、发明目的：针对现有技术所存在的问题，本发明提供一种跨波段细节驱动增强的单像素光谱成像方法。

2、一种跨波段细节驱动增强的单像素光谱成像方法，采用近红外高光谱成像系统，所述近红外高光谱成像系统包括物镜l1、平板分束器bs、rgb相机、全内反射棱镜tir、数字微镜装置dmd、准直器l2和光纤光谱仪，所述物镜l1设置在物体和平板分束器bs之间，所述rgb相机和全内反射棱镜tir分别设置在所述平板分束器bs的两条光路上，所述数字微镜装置dmd设置在所述全内反射棱镜tir直射光路上，所述准直器l2设置在所述全内反射棱镜tir的偏转光路上，所述光纤光谱仪通过光纤接收所述准直器l2的光线；

3、包括以下步骤：

4、步骤一、利用所述rgb相机和光纤光谱仪同时获得所述物体的rgb图像和编码后的近红外高光谱单像素信息；

5、步骤二、对步骤一得到的编码后的近红外高光谱单像素信息采用伪逆单像素成像算法得到初步高光谱图像lr-hsi；

6、步骤三、利用基于注意力融合的高光谱分辨率增强网络sreaf对步骤一得到的rgb图像和步骤二得到的初步高光谱图像lr-hsi进行融合，得到最终的高光谱图像，所述基于注意力融合的高光谱分辨率增强网络sreaf包括空间光谱特征提取模块spfe、u形残差特征提取模块urfe和通道压缩融合模块ccf；

7、所述空间光谱特征提取模块spfe包括空间注意力模块sa和通道注意力模块ca，用于对初步高光谱图像lr-hsi和rgb图像进行特征提取，得到初步特征图；

8、所述u形残差特征提取模块urfe用于对得到初步特征图进行二次特征提取，得到最终特征图；

9、所述通道压缩融合模块ccf用于对最终特征图进行通道压缩融合，得到最终的高光谱图像。

10、更进一步的，所述数字微镜装置dmd采用dct编码矩阵作为编码模板。

11、更进一步的，所述数字微镜装置dmd利用下式对物体的近红外光谱单像素信息进行编码：

12、 ,

13、式中，表示编码后的近红外光谱单像素信息，d为dct编码矩阵，为近红外光谱单像素信息；

14、,

15、式中，d为dct编码矩阵，n为图像的边长，图像尺寸为n×n。

16、更进一步的，步骤二中所述初步高光谱图像lr-hsi通过下式计算得到：

17、 ,

18、式中，代表dct求逆重建结果，即初步高光谱图像lr-hsi，代表物体的编码后的近红外高光谱单像素信息，代表求逆重建操作。

19、更进一步的，步骤三中所述初步高光谱图像lr-hsi经过所述通道注意力模块ca，得到通道权重w1；

20、所述rgb图像经过高通滤波和通道升维后得到含高频特征图rgb(h)，所述含高频特征图rgb(h)经过所述空间注意力模块sa，得到空间权重w2；

21、所述含高频特征图rgb(h)和初步高光谱图像lr-hsi分别点乘通道权重w1和空间权重w2，并且在通道维度上拼接输出，得到初步特征图。

22、更进一步的，步骤三中所述初步特征图通过下式计算得到：

23、,

24、其中，代表经过空间光谱特征提取模块spfe提取的初步特征图，代表初步高光谱图像lr-hsi，代表rgb图像，代表经过高通滤波的rgb图像，代表经过高通滤波和通道升维的rgb图像，代表通道升维操作，代表通道注意力操作，代表空间注意力操作，代表拼接操作，代表点乘操作。

25、更进一步的，步骤三中所述通道注意力模块ca包括第一输入层、第一平均池化层、第一最大池化层、第五组合层、平均输出层、最大输出层、第一sigmod激活函数层和第一输出层，所述第五组合层包括第五卷积层、第二relu激活层和第六卷积层，所述第一输入层连接所述第一平均池化层和第一最大池化层，所述第一平均池化层和第一最大池化层均连接所述第五组合层，所述第五组合层连接所述平均输出层和最大输出层，所述平均输出层和最大输出层相加输入所述第一sigmod激活函数层，所述第一sigmod激活函数层连接所述第一输出层；

26、所述空间注意力模块sa包括第二输入层、第二平均池化层、第二最大池化层、第七卷积层、第二sigmod激活函数层和第二输出层，所述第二输入层连接所述第二平均池化层和第二最大池化层，所述第二平均池化层和第二最大池化层的输出连接后输入依次连接的所述第七卷积层、第二sigmod激活函数层和第二输出层。

27、更进一步的，步骤三中所述最终特征图通过下式计算得到：

28、 ,

29、式中，代表经过u形残差特征提取模块urfe二次提取的最终特征图，u形残差特征提取模块urfe包括三层依次连接的u形残差块，所述u形残差块包括依次连接的第三输入层、第一组合层、第一卷积层、第二组合层、第三组合层和第四组合层和输出层，所述第一组合层包括多个依次连接的vgg层，每个所述vgg层由两个卷积层、两个归一化层和两个第一relu激活层组成，所述第二组合层包括第二卷积层和第一归一化层，所述第三组合层包括第三卷积层、第二归一化层和第一leakrelu激活函数层，所述第四组合层包括第四卷积层和第三归一化层；

30、代表经过空间光谱特征提取模块spfe提取的初步特征图，代表初步高光谱图像lr-hsi，代表经过高通滤波和通道升维的rgb图像，代表拼接操作。

31、更进一步的，步骤三中最终的高光谱图像通过下式计算得到：

32、 ,

33、式中，代表经过通道压缩融合模块ccf的输出，通道压缩融合模块ccf由依次连接的第一卷积激活层、第二卷积激活层、第三卷积激活层和第四卷积激活层组成，代表经过u形残差特征提取模块urfe二次提取的最终特征图，代表经过空间光谱特征提取模块spfe提取的初步特征图，代表初步高光谱图像lr-hsi，代表经过高通滤波和通道升维的rgb图像，代表拼接操作。

34、更进一步的，步骤三中所述高光谱分辨率增强网络sreaf采用损失函数进行约束训练得到最终模型，其中，损失函数通过下式表示：

35、 ,

36、式中，为高光谱分辨率增强网络sreaf的映射过程，和分别表示输入端的近红外高光谱单像素信息和rgb图像，表示输出端的最终的高光谱图像，m为样本总数。

37、有益效果：本发明的跨波段细节驱动增强的单像素光谱成像方法通过引入低成本的高空间分辨率的rgb图像，并构建深度学习框架融合rgb图像和近红外高光谱图像，提升了近红外高光谱图像的分辨率，最终在不增加实际压缩采样次数的同时获得高空间和高光谱分辨率的重建结果。