基于提示学习的遥感图像分类方法与流程

本发明涉及遥感图像智能解译领域，尤其涉及一种基于提示学习的遥感图像分类方法。

背景技术：

1、遥感图像分类是遥感技术应用的一项关键任务，其对农业和环境监测、城市规划、抢险救灾和军事侦察等领域的发展具有重要意义。由于遥感成像技术的快速发展和遥感卫星的增加，遥感图像数据的数量和质量不断提升，研究人员基于此开发了大量表现出色的遥感图像分类方法。其中，基于卷积神经网络和基于注意力的深度学习方法获得了惊人的表现。基于卷积神经网络的遥感图像分类方法利用局部和全局空间特征学习遥感图像的特征表示，提高遥感图像的分类性能。卷积神经网络由输入层、卷积层、池化层、全连接层和输出层构成，在卷积神经网络最后通过一个全连接层获得图像的抽象特征，然后输入到分类器中进行分类。如vgg、resnet等。基于注意力机制的遥感图像分类方法使得模型关注图像的特定区域来提高遥感图像的分类性能，如vit等。虽然这些方法获得了性能的提升，但是这些方法都只关注视觉上的表示，忽略了图像语义的理解，从而阻碍了遥感图像分类方法的性能提升。

技术实现思路

1、为解决上述现有技术中存在的技术问题，本发明提供一种基于提示学习的遥感图像分类方法，包括以下步骤：

2、步骤s1、获取遥感图像样本及其真实类别标签，并进行预处理，形成遥感图像数据集；

3、步骤s2、根据遥感图像数据集，通过图像编码器和文本编码器，获得遥感图像样本的图像特征向量和文本特征向量；

4、步骤s3、计算遥感图像样本的图像特征向量和文本特征向量之间的相似性，得到遥感图像样本的预测类别标签；

5、步骤s4、计算分类损失和对比损失，重复执行所述步骤s1至s4，训练并输出分类模型；

6、步骤s5、利用所述分类模型进行遥感图像分类。

7、根据本发明的一个技术方案，在所述步骤s1中，所述数据预处理包括：

8、步骤s11、根据所述真实类别标签，确定所述遥感图像数据集所包含的类别的类别信息描述及类别数量；

9、步骤s12、设置提示模板，所述提示模板的结构为”this is aphoto ofthe{pro}{cls}used forthe classificationtask”，pro为遥感图像样本的属性信息描述，cls为遥感图像样本的类别信息描述；

10、步骤s13、根据所述真实类别标签和所述提示模板，为所述遥感图像数据集中的每个遥感图像样本生成一个提示。

11、根据本发明的一个技术方案，在所述步骤s13中，具体包括：

12、步骤s131、定义类别信息描述列表和属性信息描述列表，所述类别信息描述列表的元素分别为与所述遥感图像数据集所包含的类别对应的类别信息描述，所述属性信息描述列表的元素分别为与所述类别信息描述一一对应的属性信息描述，所述类别信息描述列表和所述属性信息描述列表的长度与所述遥感图像数据集的类别数量相等；

13、步骤s122、根据所述真实类别标签，查找所述类别信息描述列表和所述属性信息描述列表，获取与所述真实类别标签对应的类别信息描述和属性信息描述，并分别放入所述提示模板的pro和cls位置，形成遥感图像样本的提示。

14、根据本发明的一个技术方案，在所述步骤s2中，具体包括：

15、步骤s21、通过所述图像编码器获得遥感图像的图像特征向量，所述图像编码器的网络结构为clip图像分支的vision transformer结构；

16、步骤s22、通过所述文本编码器获得遥感图像样本的提示的文本特征向量，所述文本编码器的网络结构为clip文本分支的transformer结构。

17、根据本发明的一个技术方案，在步骤s3中，计算所述图像特征向量与所述文本特征向量的相似性，得到遥感图像样本属于每一类别的概率，取概率值最大的类别为预测类别标签，遥感图像样本属于类别k的概率的计算公式如下：

18、

19、其中，＜·＞为余弦相似度，f(·)为图像编码器，g(·)为文本编码器，f(xi)表示第i张遥感图像标签xi的图像特征向量，g(tj)表示标签为j的对应提示tj的文本特征向量，k和j的范围为[1,k]，k为所述遥感图像数据集的类别数量，τ为温度超参。

20、根据本发明的一个技术方案，在所述步骤s4中，具体包括：

21、步骤s41、根据步骤s3得到的类别概率，计算分类损失lcls；

22、步骤s42、根据步骤s2得到的图像特征向量和文本特征向量，计算对比损失lcon；

23、步骤s43、构建总损失ltotal＝lcls+λlcon，其中λ为平衡系数，用于调节损失之间的权重，lcls为分类损失，lcon为对比损失。

24、根据本发明的一个技术方案，在所述步骤s41中，使用遥感图像样本的真实类别标签yi和在所述步骤s3中得到的预测类别标签是真实类别标签yi的概率计算分类损失lcls，表示为：

25、

26、其中，b为batch的大小。

27、根据本发明的一个技术方案，在所述步骤s422中，具体包括：

28、步骤s4221、根据遥感图像样本的真实类别标签构建监督矩阵gt，gt形状为b×b,b为batch的大小，其元素为：

29、

30、其中，yp和yq分别表示该batch图像中序号为p和q的图像的标签，p和q的范围为[0,b-1]；

31、步骤s4222、根据所述步骤s2得到的图像特征向量和文本特征向量，计算图像文本相似度矩阵i2t_logit和文本图像相似度矩阵t2i_logit，利用所述步骤s4221得到的监督矩阵gt，计算对比损失lcon＝(li2t+lt2i)/2，其中，li2t和lt2i都是bcewithlogitsloss损失函数，表示为：

32、bcewithlogitsloss＝{l1,...,ln},ln＝-[yn·log(σ(xn))+(1-yn)·log(1-σ(xn))]

33、其中，n代表batch的数量，n代表每个batch预测的标签数量，σ(·)代表sigmoid函数，表示为：

34、

35、根据本发明的一个技术方案，在所述步骤s422中，具体包括：

36、步骤s4221、计算遥感图像样本的图像文本相似度矩阵i2t_logit，表示为：

37、i2t_logit＝i·tτ

38、其中，表示矩阵乘法，i为一组batch遥感图像样本的图像特征矩阵，t为一组batch遥感图像样本对应的提示的文本特征矩阵；

39、步骤s4222、计算文本图像相似度矩阵t2i_logit：

40、t2i_logit＝t·iτ；

41、步骤s4223、根据所述步骤s421得到的监督矩阵gt和所述步骤s4221得到的图像文本相似度矩阵i2t_logit计算对比损失li2t：

42、li2t＝bcewithlogitsloss(i2t_logit,gt)；

43、步骤s4224、根据所述步骤s421得到的监督矩阵gt和所述步骤s4222得到的文本图像相似度矩阵t2i_logit计算对比损失lt2i：

44、lt2i＝bcewithlogitsloss(t2i_logit,gt)。

45、本发明与现有技术相比，具有如下有益效果：

46、本发明提出了一种基于提示学习的遥感图像分类方法，基于提示学习的遥感图像分类方法，基于clip模型框架将分类任务转换成图像文本匹配任务，设计反映遥感图像属性和上下文信息的提示模板将分类标签转换为文本提示，使用对比损失解决正样本对过少的问题。本发明通过提示学习，同时利用图像和文本两种模态信息，可以为模型提供更加丰富的语义和上下文信息，缓解了遥感图像分类方法只关注视觉表示而忽略语义信息挖掘导致的分类精度不高的问题，提高了遥感图像分类准确性。本发明，充分利用视觉语言模型的先验知识，并通过对比学习，将分类任务转换成图像和文本的匹配任务，进一步提高了模型的分类精度。