一种光谱波段非一致场景下的高光谱图像分类方法

本发明涉及图形处理领域，具体而言，涉及一种光谱波段非一致场景下的高光谱图像分类方法。

背景技术：

1、跨域高谱光图像分类对于地物分类和识别、农业与生态环境监测、城市规划与发展、灾害监测与应急响应等重要问题有重要作用。但是由于在跨域高光谱图像任务中，源域和目标域的样本往往存在较大的光谱偏移，例如光谱数量不同，在源域上训练的模型无法直接用于目标域。因此目前没有对源域和目标域光谱数量不一致情况下的研究，大多是对源域和目标域的光谱进行提取，获得相同数量的波段再进行研究，这些研究大体分为两种：一种是域自适应，将源域和目标域的数据对齐到一个共同的特征空间，使差异最小化；另一种是域泛化，将源域图像生成拓展域，以学习源域和拓展域上的域不变表示：

2、基于域自适应的跨域分类有y.zhang等人在文献“y.zhang,w.li,m.zhang,y.qu,r.tao and h.qi,"topological structure and semantic information transfernetwork for cross-scene hyperspectral image classification,"ieee transactionson neural networks and learning systems,vol.34,no.6,pp.2817-2830,2023.”中提出的基于图最优传输和最大均值差的方法，该方法通过图最优传输对齐图拓扑关系来协助最大均值差对齐源域和目标域的分布，图对齐和分布对齐协同工作来对目标域进行分类。

3、基于域泛化的跨域分类有h.zhao等人在文献“h.zhao,j.zhang,l.lin,j.wang,s.gao and z.zhang,"locally linear unbiased randomization network for cross-scene hyperspectral image classification,"ieee transactions on geoscience andremote sensing,vol.61,pp.1-12,2023.”中提出的基于无偏随机化和对比对抗学习的方法，该方法通过无偏随机化用源域图像来生成拓展域，利用对比对抗学习约束拓展域具有源域的域不变特征和一定的偏移特征，然后在源域和拓展域上进行学习，训练出一个具有泛化性的网络直接用于目标域的分类。

4、这些方法都是简单地将源域和目标域数据的波段进行切割，在相同数量波段的前提下进行训练，无法应对实际应用中源域和目标域波段相差较大的情况。

技术实现思路

1、本发明实施例提供了一种光谱波段非一致场景下的高光谱图像分类方法，以至少解决针对源域和目标域光谱不一致情况下的跨域分类的局限性技术问题。

2、根据本发明实施例的一个方面，提供了一种光谱波段非一致场景下的高光谱图像分类方法。其中，该方法可以包括：获取第一初始高光谱图像的源域图像和第二初始高光谱图像的目标域图像，对源域图像和目标域图像进行预处理，得到预处理后的源域子图像和目标域子图像，其中，源域子图像的波段数量为n，目标域子图像的波段数量为k；基于目标域的波段数量k，从源域子图像的n个波段中随机选择m个波段进行遮蔽，保留k个未被遮蔽的波段；利用k个未被遮蔽的波段通过线性插值函数对m个已经遮蔽的波段进行还原，得到还原后的源域子图像的波段数量，其中，还原后的源域子图像的波段数量包括k个未被遮蔽的波段和还原后m个新波段；对k个未被遮蔽的波段和还原后的m个新波段进行位置编码，得到k个未被遮蔽的波段的位置编码和m个新波段的位置编码；基于波段数量k、m和k个未被遮蔽的波段的位置编码和m个新波段的位置编码，得到源域子图像对应的重构后的源域重构子图像；对源域重构子图像进行显示和隐式光谱偏移，得到偏移后的源域偏移子图像，对源域偏移子图像进行平滑处理，得到源域子图像对应的模拟域子图像，将源域子图像和模拟域子图像进行合并，得到合并子图像；通过特征提取器和分类器对合并子图像进行处理，得到合并子图像的分类结果和特征投影，基于优化后的特征提取器和分类器对目标域子图像进行处理，得到目标域子图像的分类结果，其中，特征投影用来计算损失函数，通过损失函数用以优化模拟域子图像的生成和分类过程。

3、可选地，利用k个未被遮蔽的波段通过线性插值函数对m个已经遮蔽的波段进行还原的表达式为：其中，x0、y0和x1、y1分别是k个相邻的两个波段的中心波长和辐射强度值，x和y是k个相邻的两个波段的中心位置的中心波长和辐射强度值。

4、可选地，对k个未被遮蔽的波段和还原后的m个新波段进行位置编码，得到k个未被遮蔽的波段的位置编码和m个新波段的位置编码，包括：对k个未被遮蔽的波段进行位置编码的过程表达式为：其中，pe0，int(pos)为k个未被遮蔽的波段的位置编码，pos代表该波段位置的绝对索引，dim_idx是维度索引，d_model是嵌入维度；对还原后的m个新波段进行位置编码，得到m个新波段的位置编码为零。

5、可选地，基于波段数量k、m和k个未被遮蔽的波段的位置编码和m个新波段的位置编码，得到源域初始子图像对应的重构后的源域重构子图像，包括：将k个未被遮蔽的波段的位置编码和m个新波段的位置编码与原始特征进行相加，得到源域重构子图像，其中，当波段数量为k时，原始特征为k与k个未被遮蔽的波段的位置编码之和，当波段数量为m，原始特征为m加零。

6、可选地，对源域重构子图像进行显示和隐式光谱偏移，得到偏移后的源域偏移子图像，包括：将源域重构子图像在原始特征上增加高斯噪声，得到偏移后的特征；对偏移后的特征进行降维处理，得到降维后的偏移降维原始特征；通过解码器对偏移降维原始特征进行特征提取，得到特征图；通过计算特征图的均值和方差，得到内容特征；将内容特征通过自适应实例归一化算法，随机生成一张样式特征；计算一张样式特征的均值和方差，且通过仿射变换改变一张样式特征的均值和方差；将改变后的一张样式特征的均值和方差与特征图的均值和方差进行对齐，确定源域重构子图像显示偏移和隐式偏移完成；当源域重构子图像显示偏移和隐式偏移完成后，对特征图通过解码器进行解码，得到偏移后的源域偏移子图像。

7、可选地，对源域偏移子图像进行平滑处理，得到源域子图像对应的模拟域子图像，包括：通过1×1×1的卷积核来平滑源域偏移子图像，得到模拟域子图像。

8、可选地，通过损失函数用以优化模拟域子图像的生成过程的表达式为：其中，ladv为优化模拟域子图像的生成过程中特征提取器的损失函数，nc指的是第c类的样本数量，zi表示第i个样本的特征向量，和分别代表正样本和负样本，pc(i)和nc(i)分别代表第c类的正样本集合的第i个样本和第c类的负样本集合的第i个样本，将合并子图像中的第c类作为正样本，其他类作为负样本，s为相似度，c代表类别，τ为温度参数。

9、可选地，通过损失函数用以优化模拟域子图像的分类过程的表达式为：其中，lcon为优化模拟域子图像的生成过程中分类器的损失函数，n是样本总数量，选取源域中的样本为正样本作为正样本集p(i)，模拟域中的为负样本集n(i)，zi表示第i个样本的特征向量，和分别代表正样本和负样本，s为相似度，τ为温度参数。

10、本发明的有益效果：

11、本发明提出了一种新的光谱波段非一致场景下的高光谱图像分类方法，当源域高光谱图像和目标域高光谱图像的波段数量不一致时，将源域与目标不一致的波段进行遮蔽，利用遮蔽后的波段进行线性插值，将线性插值后的新波段进行编码处理，编码处理后在进行显示偏移和隐私偏移，得到模拟域，将源域和模拟域进行相加后通过特征提取器和分类器进行处理，得到分类结果和用特征投影来计算损失函数，用以优化模拟域的生成和分类过程，将优化后的特征提取器和分类器对目标域高光谱图像进行处理，得到目标域高光谱图像的分类结果，解决了针对源域和目标域光谱不一致情况下的跨域分类的局限性技术问题，达到了将跨域的分类任务看作一个基于域泛化的分类问题，可以有效解决源域和目标域光谱不一致的分类问题，训练速度快，分类准确率高的技术效果。