基于局部-全局特征提取的高光谱图像分类方法及系统与流程

本发明涉及一种高光谱图像分类方法及系统，特别涉及一种基于局部-全局特征提取的高光谱图像分类方法及系统，属于图像频域特征提取和遥感图像处理。

背景技术：

1、随着遥感领域发展，相比于自然rgb图像，高光谱图像能够记录较丰富的光谱域信息，即每个像元包含数百个连续光谱通道的地物判别信息，此外，光谱图像仍然可以包含丰富的空间信息，因此广泛地应用在多个领域，比如环境监测、精准农业与城市发展。高光谱图像分类任务旨在对高光谱图像的每一个像元指派唯一的地物语义标签，是基于高光谱图像地物场景解译的基础，同时也是众多高级光谱任务的基石，例如高光谱图像目标检测和高光谱图像异常检测等。

2、传统的基于经典机器学习与特征工程的高光谱图像分类方法，由于比较依赖于先验知识和经验超参数，在高光谱地物场景的判别性分类与泛化性分类方面不可避免地受到一些限制，难以取得比较理想的地物指派结果。而近年来，由于能够自动捕获层次特征，以端到端多层堆叠著称的深度学习模型，由于强大的光谱-空间特征提取能力，在高光谱图像分类任务中取得了比较理想的结果，推动了基于高光谱图像智能地物场景解译的发展。

3、当前，基于卷积神经网络的分类方法以其局部感知和参数共享的特性在高光谱图像分类任务中受到广泛关注并且证明了它们的优秀性能。对于高光谱图像分类任务来说，学习到更加具有判别性的光谱-空间特征是实现更加优越的高光谱图像分类结果的关键。在目前广泛使用的基于图像块的高光谱图像分类模型中，图像块用来代表图像块的中心像元完成光谱-空间特征的提取与最终分类，二者的地物类别标签保持一致。根据中心像元的邻域像元具有很大概率属于同一地物类别这一假设，中心像元的邻域像元在分类过程中起到辅佐的作用。因此，如何充分进行空间邻域建模对于类别判定性能的提升至关重要。目前，一方面，基于卷积神经网络的分类方法对于高频局部细节更加敏感，擅长提取局部边缘结构信息，这不可避免对全局低频空间信息的整体关注有所缺失，例如背景信息。另一方面，流行的基于transformer的方法虽然可以对全局信息依赖进行建模，但是它们有不平凡的关于输入图像大小的二次计算复杂度，这会较大地影响方法地效率，进一步影响模型在实际场景中任务部署，并且这类方法对于局部信息的关注存在不足。事实上，现有方法中无论采用复杂的顺序模块堆叠的方法，还是采用局部和全局双分支的方法都尚有提升空间。因为它们在每一个特征提取层不能够兼顾高效地局部-全局特征提取。

4、如何高效地进行全局特征提取是个棘手且关键的问题，而根据傅立叶理论中的谱卷积定理，通过逐通道的傅立叶变换，特征学习在傅立叶频谱域中有图像级的感受野。并且，在傅立叶频域上的点乘等同于空间域上的卷积。这些良好的特性可以为解决如何进行局部-全局特征依赖建模和提取提供依据。

技术实现思路

1、为了在高光谱图像分类任务中进行高效地局部-全局特征建模与提取，本发明提供一种基于局部-全局特征提取的高光谱图像分类方法及系统，以局部-全局transformer作为核心模块集成局部卷积学习与全局傅里叶频域学习结合进行高光谱图像分类，可以高效地实现高光谱地物类别的指派。

2、本发明采取的技术方案为：

3、基于局部-全局特征提取的高光谱图像分类方法，包括步骤如下：

4、s1.对高光谱图像进行标准化预处理，然后剪裁成图像块并划分数据集；

5、s2.将图像块送入图像块嵌入层进行图像块嵌入；

6、s3.将经过图像块嵌入的特征图送入连续的多个局部-全局transformer块进行光谱-空间特征提取；所述的局部-全局transformer块属于经典的transformer架构设计，对模块输入的特征图依次进行线性正则化层、局部-全局混合器、线性正则化层和通道混合器处理，在每对线性正则化层和混合器前后都设置一个残差连接以促进模型收敛和特征传递，局部-全局混合器用来对特征图进行空间维度特征建模与提取，通道混合器主要对特征图进行通道维度混合来实现特征建模与提取；

7、s4. 将提取的光谱-空间特征映射送入分类器进行像元分类，并根据标签计算损失值，根据损失值迭代训练模型；

8、s5. 根据训练好的模型，输入待测高光谱图像即能实现分类。

9、上述方法中，步骤 s3所述的局部-全局transformer块优选连续的三个。

10、所述的局部-全局混合器首先对输入的特征经过半通道均等拆分为两个相同维度的特征图分别送入局部分支和全局分支，局部分支中的特征图直接采用3×3深度卷积进行局部空间特征依赖的特征学习，全局分支中特征图首先通过二维实傅立叶变换将输入特征从空间域转换到傅立叶频域的复分量，之后根据复分量的计算对应的实部和虚部进一步计算出对应的振幅分量和相位分量，采用两个并行的1×1深度卷积对振幅和相位分量分别进行频域特征建模和提取，最后采用二维逆实傅立叶变换将振幅和相位分量对应的特征表示重构回空间域，最终对局部分支和全局分支两个分支的输出进行通道拼接耦合完成局部-全局混合器整体输出。

11、所述的通道混合器的结构为点卷积、3×3深度分离卷积、点卷积组合组成，卷积中间穿插gelu激活函数。

12、步骤s4所述的分类器包括一层均值池化层，一层展平层和一层全连接层。

13、所述的损失值使用的交叉熵损失函数，表示为：

14、，

15、其中，表示计算得出的损失值， n表示模型采用小批次训练模式中的单批次训练集的样本数目， k 代表数据场景中的类别数， n和 k分别索引当前批次训练集的第 n 个样本和类别标签集中的第 k个类别， yn代表当前批次训练集中第 n个高光谱图像块样本的真值，表示指示函数，当 yn为 k时，为1；否则，为0，代表所考虑的第 n个高光谱图像块样本属于类别 k的softmax函数输出概率值。

16、基于局部-全局特征提取的高光谱图像分类系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于局部-全局特征提取的高光谱图像分类方法。

17、本发明的有益效果是：

18、（1）用基于卷积特征提取的局部-全局transformer模块作为核心架构来高效地均衡地进行局部-空间特征建模实现高光谱图像分类，一定程度上弥补了现有基于深度学习的方法在高光谱图像分类任务上的不足。

19、（2）所用局部-全局混合器中，同样的基于高效的深度卷积运算，即3×3深度卷积和1×1深度卷积，局部分支直接在空间域进行高效地深度卷积计算对局部空间特征依赖进行建模与提取，全局分支通过逐通道的傅立叶变换在傅立叶频域挖掘全局上下文特征表示对全局空间特征依赖进行建模与提取。巧妙地在空间域与傅里叶频域之间的合理转换是进行困难的全局空间特征高效建模的关键。因此这样在空间域和傅里叶频域进行的双域特征学习分别承担了局部和全局特征建模的功能，可以高效地在一个模块实现特征学习与建模的整体平衡，这对高光谱图像局部与全局空间特征的建模至关重要,极大地促进光谱-空间特征学习并实现高光谱像元地物类别判定能力的提升。

20、（3）通过按照经典transformer模式耦合强大的局部-全局混合器与高效的通道混合器分别实现光谱-空间特征在空间维度和通道维度的特征建模与提取，两种混合器整体上相互补充，高效且出色地完成光谱-空间特征的整体建模，特别是对应困难的局部-全局特征的提取。采用连续三个局部-全局transformer保证充分地进行光谱-空间特征提取，为实现优异地高光谱地物类别判定性能提供了充分保障。