一种小样本分类方法、系统、介质及设备与流程

本发明属于图像处理，具体涉及一种小样本分类方法、系统、介质及设备。

背景技术：

1、遥感图像分类技术逐渐成为地球观测、环境监测等领域的关键技术之一,并且以其大范围和高分辨率的特点而备受瞩目，然而，传统的图像分类方法在处理小样本情况时面临挑战。由于小样本数据集的局限性，传统方法在泛化到新领域时表现不佳。近年来，深度学习作为备受关注的技术，凭借其强大的特征学习能力在图像分类任务中取得了显著的成果。然而，传统深度学习模型通常需要大量标注数据以建立准确的模型，而在遥感领域，获取大规模标注数据集相对困难。在这一技术背景下，研究者们关注基于深度学习的小样本遥感图像分类，借助迁移学习、元学习等手段，致力提高在有限标注数据下的准确性和泛化能力。在解决小样本遥感图像分类挑战的过程中，基于大模型的算法逐渐崭露头角。随着深度学习领域的不断发展，大型神经网络模型，特别是预训练的模型，被认为在小样本情境下具有更强大的特征学习和迁移能力。

2、clip是一个联合的文本-图像预训练大模型，通过大规模预训练学习，在文本和图像之间建立了高效的语义联系。在小样本遥感图像分类中，由于遥感图像数据常受标注困难，clip通过预训练在大规模文本-图像对上，从有限标注数据中学得更丰富的语义信息。其对比学习方法使得clip能更好地泛化到未见过的类别，显著提升小样本分类性能。clip在理解图像内容的同时，与文本描述建立深刻联系，使得模型在样本数量有限的情况下，更具强大的泛化能力。

3、dino是由自监督学习方法训练的大模型，旨在无监督地学习强大的图像表示。dino通过最大化图像样本之间的相似性，同时最小化来自同一图像的不同视图之间的相似性，推动模型学习具有丰富语义的特征。其独特之处在于引入了无标签数据，通过在大规模未标注图像上进行训练，使模型能够从数据中挖掘深层次的语义结构。这种方法不仅提高了遥感图像分类等任务的性能，而且使得模型在小样本情况下也能表现出色，适用于缺乏大规模标注数据的场景。

4、目前遥感领域小样本场景分类方法一般包括自监督学习和元学习。自监督学习通过设计代理任务，如图像旋转或颜色变换，来生成伪标签，从而使用大规模未标注数据进行自我监督学习。这有助于提高模型对遥感图像中丰富特征的学习能力。另一方面，元学习通过在少量样本上学习如何快速适应新任务，使得模型更具泛化能力，适应遥感领域的小样本情景。然而，这些方法仍然存在一些缺陷，如自监督学习可能需要大量未标注数据，而元学习对于不同领域间的差异性适应仍有一定挑战。

5、程塨等人在ieee，2021，60:1-11中提出了一种基于原型网络的小样本遥感图像场景分类方法，称为spnet，在元学习的基础上，它使用了原型自校准和互校准来提高原型的准确性和代表性。spnet利用支持样本的标签信息来校准从支持特征生成的原型，并利用查询样本的预测概率作为另一种原型来反向预测支持样本。spnet使用了缩放的余弦距离作为度量。但是由于该方法没有考虑不同数据集之间的域差异和迁移学习的问题，可能影响模型的泛化能力，不便于实际应用。

6、张向荣等人在ieee，2023，61:1-13中提出了一种新的小样本遥感场景分类方法，被命名为多分支特征生成网络(mfgnet)。为提升模型在遥感场景分类中的特征表示能力，该方法引入了一个尺度-角度感知的自监督预训练任务，以学习遥感场景中的尺度不变性和旋转不变性特征。具体而言，该方法首先构建了一个特征生成网络，通过将类别特定的特征与采样的类内特征相结合，生成新的样本。为确保生成样本的质量，文中引入了两个新的正则化项：类内多样性损失和类间一致性损失，分别用于增加生成样本的多样性和区分性。然而，值得注意的是，该方法在利用自监督先验方面存在一定局限性。当前方法将自监督任务仅作为一个辅助的损失函数引入，而未对其与特征生成网络进行有效的融合和互补，阻碍了其在实际项目中的应用。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种小样本分类方法、系统、介质及设备，用于解决特征表达能力不足，模型泛化能力不足以及容易出现过拟合的技术问题。

2、本发明采用以下技术方案：

3、一种小样本分类方法，包括以下步骤：

4、s1、从数据集中获取训练样本集和测试样本集；

5、s2、构建小样本遥感图像场景分类网络模型；

6、s3、利用步骤s1得到的训练样本集对步骤s2得到的小样本遥感图像场景分类网络模型进行训练；

7、s4、将步骤s1得到的测试样本集输入步骤s3训练好的小样本遥感图像场景分类网络模型中，输出图像的预测结果。

8、优选地，步骤s1中，从含有r个类别的数据集中选取m个类别的数据构成训练集，剩下的n个类别的数据构成测试集。

9、优选地，步骤s2中，构建小样本遥感图像分类网络具体为：

10、选取预训练好的深度大模型；采用多级注意力融合模块融合全局子特征和局部子特征，生成融合特征fo，将融合特征fo通过阈值ω进行特征筛选，形成嵌入特征fd，利用残差结构将全局特征fclip整合到融合特征fd中；引入自适应模块和缓存模块；最终得到测试集遥感图像特征zd。

11、更优选地，融合特征fo为：

12、

13、其中，为全局子特征，为局部子特征，dk为尺度因子，m为中间层的数量，mean(·)为均值函数。

14、更优选地，自适应模块的结构关系为：第一线性层，第一relu激活函数，第二线性层和第二relu激活函数；第一线性层用于对输入特征进行线性变换，接着通过第一relu激活函数引入非线性映射，以捕捉输入特征的非线性关系；然后，第二线性层再次进行线性变换，通过第二relu激活函数得到最终的输出。

15、更优选地，测试集遥感图像特征zd为：

16、zd＝αzol+qwt

17、其中，α为超参数，zo为练集特征和测试集特征之间的相关性，l为训练集的onehot标签，q为测试集特征，w为文本特征。

18、优选地，步骤s3具体为：

19、s301、设置采集初始化迭代次数为t＝1，最大迭代次数为t；

20、s302、从训练样本中随机抽取n批遥感图像训练样本，输入到图像分类网络中得到类别概率分数，并和其对应的真实标签向量通过交叉熵损失函数计算损失值，并将该损失值进行反向传播，对图像分类网络进行迭代更新；

21、s303、当t>t成立，得到优化更新后的图像分类网络；否则令t＝t+1，返回步骤s302。

22、第二方面，本发明实施例提供了一种基于大模型clip和dino的小样本遥感图像分类系统，包括：

23、数据模块，从数据集中获取训练样本集和测试样本集；

24、构建模块，构建小样本遥感图像场景分类网络模型；

25、训练模块，利用训练样本集对小样本遥感图像场景分类网络模型进行训练；

26、输出模块，将测试样本集输入训练好的小样本遥感图像场景分类网络模型中，输出图像的预测结果完成分类任务。

27、第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述小样本分类方法的步骤。

28、第四方面，本发明实施例提供了一种计算机可读存储介质，包括计算机程序，所述计算机程序被处理器执行时实现上述小样本分类方法的步骤。

29、与现有技术相比，本发明至少具有以下有益效果：

30、一种小样本分类方法，采用clip和dino两种预训练大模型提取遥感图像复杂的特征，凭借大模型强大的特征提取能力，对遥感图像进行多层次、多维度的特征学习，提高了对地物、结构和场景的理解能力；设计的多级注意力融合模块，集成了遥感图像全局和局部两方面的特征，增强了在不同尺度遥感图像上的泛化能力；设计的缓存模块，在特征解耦过程中结合遥感图像文本信息，利用文本引导图像生成，增强图像特征的可判别性；设计的小样本遥感图像分类网络，由于采用了预训练大模型提取遥感图像特征，凭借强大的先验知识可以提取遥感图像的关键特征；同时，由于采用多级注意力融合模块和缓存模块，集成了遥感图像全局、局部和文本特征，深入挖掘遥感图像内容，这两个模块共同作用提高了本发明对小样本遥感图像的分类精度。

31、进一步的，从遥感数据集中获取训练样本集和测试样本集，确保训练样本集和测试样本集的类别不交叉，通过在训练集中包含部分类别的数据，模型可以学习到更广泛的特征表示，从而提高了其泛化能力，使得在未见过的类别上也能表现较好。

32、进一步的，构建小样本遥感图像分类网络。通常在遥感图像分类任务中，获取大规模标记数据十分昂贵和困难。构建小样本分类网络可以更好地应对数据稀缺性的挑战，使得即使在数据有限的情况下，也能够建立有效的分类模型，可以更好地适应真实世界中数据量有限的情况。

33、进一步的，利用自适应模块动态地调整模型的参数，以适应输入遥感影像的不同特征分布和场景变化；该自适应模块通过两个线性层对遥感图像特征进行线性变换，通过激活函数捕捉图像特征的非线性关系，从而提高模型在解译遥感影像时的适应性和泛化能力。

34、进一步的，对小样本遥感图像分类网络进行训练，网络训练的原理基于梯度下降和反向传播算法；在训练过程中，通过计算损失函数对模型参数的梯度，然后沿着梯度的反方向更新参数，使损失函数逐渐减小，从而使模型逐渐收敛到最优解。反向传播算法通过将损失沿着网络反向传播，计算每个参数对损失的贡献，然后根据这些梯度来更新参数，实现模型的优化。通过网络训练，可以不断调整神经网络的参数，使其更好地拟合遥感图像训练数据，从而提高模型在小样本分类场景的性能和准确性。

35、可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

36、综上所述，本发明整合clip和dino两种预训练大模型提取遥感场景中的全局和局部信息，充分地解译遥感图像场景中的复杂内容。该方法提出了多级注意力融合模块，融合来自clip和dino大模型所提取的遥感影像全局和局部特征，挖掘遥感场景中丰富的全局信息和细致的局部信息，并减少冗余信息干扰，以获得判别性的图像表征并提高分类性能；考虑到遥感图像场景的特点，利用所提出的自适应模块，使得模型动态的调整参数以更好的适应遥感影像场景内容，并且设计了缓存模块，利用从clip中缓存的文本特征来引导图像特征生成，精确计算查询集图像的标签，提高分类性能。

37、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。