基于异源空间特征增强的端到端跨域小样本高光谱图像分类方法

本公开实施例涉及高光谱图像处理，尤其涉及一种基于异源空间特征增强的端到端跨域小样本高光谱图像分类方法。

背景技术：

1、高光谱图像处理是遥感图像处理领域的关键技术。高光谱图像分类是高光谱图像处理技术的核心技术之一。尽管高光谱图像分类算法取得了较大的进展，但现有方法通常依赖于使用大规模标注数据进行训练。然而，高光谱图像面临难以获取以及标注困难等现实问题，导致高光谱图像分类算法仅能够使用少量的标记数据进行训练。为了缓解数据不足的问题，利用易于收集数据的源域知识来帮助解决真实跨域场景下的小样本任务是一种可行的方式。现有标注高光谱图像不足以训练具有良好泛化能力的特征提取模型，导致小样本高光谱图像分类性能有限。然而，大量具有丰富自然图像空间知识的基础视觉模型能够以较低的成本获得，为迁移自然图像知识提升小样本高光谱图像分类的性能提供了新的机遇。由于自然图像与高光谱图像在光谱分布、空间分辨率、场景内容等方面存在巨大分布差异，导致从源域学到的丰富空间知识难以有效迁移到目标域。

技术实现思路

1、为了避免现有技术的不足之处，本技术提供一种基于异源空间特征增强的端到端跨域小样本高光谱图像分类方法，用以解决现有技术中存在自然图像与高光谱图像在光谱分布、空间分辨率、场景内容等方面存在巨大分布差异，导致从源域学到的丰富空间知识难以有效迁移到目标域的问题。

2、根据本公开实施例，提供一种基于异源空间特征增强的端到端跨域小样本高光谱图像分类方法，该方法包括：

3、构建基于异源图像空间特征增强的高光谱图像分类模型；其中，所述高光谱图像分类模型包括基础分类分支、基础模型分支和特征融合模块；

4、将高光谱图像输入至所述基础分类分支中，以输出空间-光谱特征组；其中，所述空间-光谱特征组包括4个不同空间尺寸的第一空间-光谱特征、第二空间-光谱特征、第三空间-光谱特征和第四空间-光谱特征；

5、将所述高光谱图像输入至所述基础模型分支中迁移来自自然图像的空间知识，以输出加权后的空间特征；

6、利用特征融合模块对所述加权后的空间特征和所述空间-光谱特征组进行特征分层融合，以输出融合特征组；其中所述融合特征组包括第一融合特征、第二融合特征、第三融合特征和第四融合特征；

7、将所述融合特征组输入至解码器中进行处理，以输出与所述高光谱图像的空间尺寸相同的目标特征；

8、利用分类头将所述目标特征转换为预测概率图，并输出所述预测概率图。

9、进一步的，所述基础分类分支为u-net结构，包括4个连续的第一编码块、第二编码块、第三编码块和第四编码块；所述基础模型分支包括三通道图像学习模块和先验知识提取模块；所述特征融合模块分别与所述基础分类分支和所述基础模型分支的特征连接。

10、进一步的，所述将高光谱图像输入至所述基础分类分支中，以输出空间-光谱特征组的步骤中包括：

11、将所述高光谱图像输入至基础分类分支的编码器中，所述编码器包括所述第一编码块、所述第二编码块、所述第三编码块和所述第四编码；

12、所述第二编码块、所述第三编码块和所述第四编码块分别进行一个2倍下采样操作；

13、所述第一编码块、所述第二编码块、所述第三编码块和所述第四编码块分别输出空间尺寸与所述高光谱图像相同的第一空间-光谱特征、空间尺寸为所述高光谱图像的二分之一的第二空间-光谱特征、空间尺寸为所述高光谱图像的四分之一的第三空间-光谱特征和空间尺寸为所述高光谱图像的八分之一的第四空间-光谱特征。

14、进一步的，将所述高光谱图像输入至所述基础模型分支中进行处理，以输出加权特征的步骤中，包括：

15、将所述高光谱图像输入至所述基础模型分支的所述三通道图像学习模块中进行学习，以得到三通道图像；

16、将所述三通道图像输入至所述基础模型分支的所述先验知识提取模块中提取其空间信息；

17、将所述空间信息输入至多个连续的通道注意力层中对其不同通道特征图的重要性进行建模，以输出加权后的空间特征。

18、进一步的，利用特征融合模块对所述加权特征和所述空间-光谱特征组进行特征分层融合，以输出融合特征组的步骤中，包括：

19、将所述第一空间-光谱特征进行三次连续2倍上采样，以分别得到第一采样结果、第二采样结果和第三采样结果；其中，所述第一采样结果的空间尺寸为所述高光谱图像的四分之一，所述第二采样结果为所述高光谱图像的二分之一，所述第三采样结果的空间尺寸与所述高光谱图像的空间尺寸相同；

20、将所述第一空间-光谱特征、第二空间-光谱特征、第三空间-光谱特征以及第四空间-光谱特征分别与第三采样结果、第二采样结果、第一采样结果以及基础模型分支输出的加权空间特征图沿通道维度进行拼接；

21、分别利用四个卷积对拼接后的特征进行融合，以得到所述第一融合特征、所述第二融合特征、所述第三融合特征和所述第四融合特征。

22、进一步的，所述解码器包括四个连续的第一解码块、第二解码块、所述第三解码块和所述第四解码块。

23、进一步的，将所述融合特征组输入至解码器中进行处理，以输出与所述高光谱图像的空间尺寸相同的目标特征的步骤中，包括：

24、将所述第一融合特征输入至所述第一解码块中进行二倍上采样操作，以得到第一解码特征；

25、将所述第二融合特征与所述第一解码特征输入至所述第二解码块中进行二倍上采样操作，以得到第二解码特征；

26、将所述第三融合特征与所述第二解码特征输入至所述第三解码块中进行二倍上采样操作，以得到第三解码特征；

27、将所述第四融合特征与所述第三解码特征输入至所述第四解码块中，以得到目标特征；

28、利用一个卷积将目标特征转化为概率预测图输出。

29、进一步的，利用交叉熵损失函数计算所述高光谱图像分类模型的损失函数。

30、本公开的实施例提供的技术方案可以包括以下有益效果：

31、本公开的实施例中，通过上述基于异源空间特征增强的端到端跨域小样本高光谱图像分类方法，一方面，该方法包括一个基础分类分支、一个基础模型分支以及一个特征融合模块。其中，基础分类分支的骨干网络是一个u-net，能够不损失空间信息地完成高光谱图像分类；基础模型分支包括一个三通道图像学习模块和一个先验知识提取模块，三通道图像学习模块使用动态网络自适应地从高光谱图像中学习最佳的三通道图像，这个学到图像被馈送到先验知识提取模块中的基础模型中迁移自然图像知识并进行细化；特征融合模块以分层的方式将两个分支的特征进行充分融合以获得增强的空间特征表示。另一方面，通过从具有丰富自然图像知识的基础模型中迁移空间信息增强高光谱图像的空间特征表示，能够提升小样本高光谱图像分类的性能；该方法是端到端的小样本高光谱图像分类方法，仅需对其中的有限数量样本进行标记便能对完整图像进行分类，使用便捷；该方法能够灵活配置sam、dino或dinov2，利用具有不同特点基础模型提高分类性能。