基于全局和局部内容匹配的小样本图像分类方法及装置

本申请涉及图像分类，具体的说是基于全局和局部内容匹配的小样本图像分类方法及装置。

背景技术：

1、近年来，卷积神经网络(cnn)在各类视觉任务中展示了出色的性能。但此类数据驱动的方法需要大量有标注的训练数据才能保障其性能。然而，收集和标注数据的过程既耗时又昂贵。相比之下，由于人类积累了大量的先验知识，其只需少量样本就可以快速识别新物体。小样本学习(fsl)任务旨在模仿人类对新物体快速识别的能力。

2、目前，主流的小样本学习(fsl)方法在大量的基础类别样本上预训练模型，并使用预训练的模型提取新类别样本的视觉特征，其旨在通过预训练获取具有强泛化性的视觉特征，并利用提取的新类别视觉特征实现对新类别的识别。但是，少量新类别样本的视觉特征不足以表示其数据分布，导致容易产生过拟合的问题。

3、最近，随着视觉语言模型的发展，如对比视觉语言预训练(clip)，几种方法旨在使clip适应于fsl，并取得了显著的改进。其中，few-shot任务被设计用来解决训练样本和类别有限的分类任务。然而，这些方法只使用全局特征来拟合图像的内容，从而忽略了图像局部内容的表达，当训练样本不足时，这类模型的识别性能就会受损。为了缓解这些问题，其一是提取图像的不同部分(例如前景或背景)，其二是设计全局-局部交互架构，以帮助模型从图像中捕获更多内容。然而，这些方法引入了巨大的训练参数，因此需要大规模的计算和存储成本。

技术实现思路

1、在本实施例中提供了基于全局和局部内容匹配的小样本图像分类方法及装置，以解决相关技术中在全局特征来拟合图像的内容，忽略了图像局部内容的表达，当训练样本不足时，这类模型的识别性能会受损的问题。

2、第一方面，本发明实施例提供一种基于全局和局部内容匹配的小样本图像分类方法，所述小样本图像分类方法包括：

3、获取自然图像样本集，对所述自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与所述图像对应的文本描述转换为高维特征向量；

4、选择性地组合判别性的局部特征，并利用所述局部特征融合构建局部表示；

5、将所述局部表示和所述全局特征进行匹配，构建鲁棒分类器；

6、对所述鲁棒分类器训练，利用训练后的所述鲁棒分类器进行图像分类。

7、在一个可选的实施例中，获取自然图像样本集，对所述自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与所述图像对应的文本描述转换为高维特征向量包括：

8、获取自然图像样本集，所述自然图像样本集用于预训练；

9、利用clip模型的视觉编码器对所述自然图像样本集中的图像进行特征提取，得到全局特征和局部特征；

10、利用clip模型的文本编码器将与所述图像对应的文本描述转换为高维特征向量。

11、在一个可选的实施例中，选择性地组合判别性的局部特征，并利用所述局部特征融合构建局部表示包括：

12、利用clip模型计算局部特征的分类分数；

13、计算分类分数与文本标签之间的kl散度，根据所述kl散度选择局部特征，通过平均融合选定的所述局部特征；

14、以选定的所述局部特征的平均值作为局部表示。

15、在一个可选的实施例中，选择性地组合判别性的局部特征，并利用所述局部特征融合构建局部表示还包括：

16、去除clip模型的视觉编码器的最后一层池化层。

17、在一个可选的实施例中，将所述局部表示和所述全局特征进行匹配，构建鲁棒分类器包括：

18、根据所述局部表示和所述全局特征分别构建局部分类器和全局分类器；

19、将所述局部分类器和所述全局分类器融合得到鲁棒分类器。

20、在一个可选的实施例中，根据所述局部表示和所述全局特征分别构建局部分类器和全局分类器包括；

21、利用tip-adapter中描述的缓存模块的logits与clip模型融合编写，得到局部分类器和全局分类器。

22、在一个可选的实施例中，对所述鲁棒分类器训练，利用训练后的所述鲁棒分类器进行图像分类包括：

23、获取支持集，所述支持集包括支持样本，提取支持样本的全局特征和局部特征；

24、利用全局特征进行分类器训练，使用交叉熵损失和支持特征标签训练分类器，得到训练损失函数；

25、利用梯度下降算法训练鲁棒分类器，并计算损失函数，根据所述损失函数更新各部分参数；

26、训练迭代次数达到预设次数时得到训练后的鲁棒分类器，利用训练后的所述鲁棒分类器进行图像分类。

27、与现有技术相比，本发明的基于全局和局部内容匹配的小样本图像分类方法的有益效果如下：

28、通过关注图像的局部内容，并通过选择性地组合局部内容来设计一个局部构造来构建鲁棒的局部表示，这有助于分类器关注图像的细节；通过联合微调全局分类器和局部分类器来匹配全局内容和局部内容，然后从不同的角度分析图像内容，以获得更好的匹配，同时帮助模型感知不同视场下样本的内容，提高分类器的效率；最后将两种分类器结合起来，同时关注局部细节和全局结构，从多个角度对图像内容进行分析，从而实现样本识别。

29、第二方面，本发明实施例提供一种基于全局和局部内容匹配的小样本图像分类装置，包括：

30、特征提取模块，用于获取自然图像样本集，对所述自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与所述图像对应的文本描述转换为高维特征向量；

31、局部表示构建模块，用于选择性地组合判别性的局部特征，并利用所述局部特征融合构建局部表示；

32、分类器构建模块，用于将所述局部表示和所述全局特征进行匹配，构建鲁棒分类器；

33、训练模块，用于对所述鲁棒分类器训练，利用训练后的所述鲁棒分类器进行图像分类。

34、第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于全局和局部内容匹配的小样本图像分类方法。

35、第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的基于全局和局部内容匹配的小样本图像分类方法的步骤。

36、与现有技术相比，本发明的基于全局和局部内容匹配的小样本图像分类装置、电子设备及存储介质的有益效果与第一方面所述的基于全局和局部内容匹配的小样本图像分类方法相同，故此处不再赘述。

技术特征：

1.一种基于全局和局部内容匹配的小样本图像分类方法，其特征在于，所述小样本图像分类方法包括：

2.根据权利要求1所述的基于全局和局部内容匹配的小样本图像分类方法，其特征在于，获取自然图像样本集，对所述自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与所述图像对应的文本描述转换为高维特征向量包括：

3.根据权利要求2所述的基于全局和局部内容匹配的小样本图像分类方法，其特征在于，选择性地组合判别性的局部特征，并利用所述局部特征融合构建局部表示包括：

4.根据权利要求3所述的基于全局和局部内容匹配的小样本图像分类方法，其特征在于，选择性地组合判别性的局部特征，并利用所述局部特征融合构建局部表示还包括：

5.根据权利要求1所述的基于全局和局部内容匹配的小样本图像分类方法，其特征在于，将所述局部表示和所述全局特征进行匹配，构建鲁棒分类器包括：

6.根据权利要求5所述的基于全局和局部内容匹配的小样本图像分类方法，其特征在于，根据所述局部表示和所述全局特征分别构建局部分类器和全局分类器包括；

7.根据权利要求1所述的基于全局和局部内容匹配的小样本图像分类方法，其特征在于，对所述鲁棒分类器训练，利用训练后的所述鲁棒分类器进行图像分类包括：

8.一种基于全局和局部内容匹配的小样本图像分类装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的基于全局和局部内容匹配的小样本图像分类方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于全局和局部内容匹配的小样本图像分类方法的步骤。

技术总结本发明公开了基于全局和局部内容匹配的小样本图像分类方法及装置，所述方法包括：获取自然图像样本集，对自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与图像对应的文本描述转换为高维特征向量；选择性地组合判别性的局部特征，并利用局部特征融合构建局部表示；将局部表示和全局特征进行匹配，构建鲁棒分类器；对鲁棒分类器训练，利用训练后的鲁棒分类器进行图像分类。通过关注图像的局部内容，并通过选择性地组合局部内容来设计一个局部构造来构建鲁棒的局部表示，这有助于分类器关注图像的细节；将两种分类器结合起来，同时关注局部细节和全局结构，从多个角度对图像内容进行分析，从而实现样本识别。技术研发人员：王硕,谢恩龙,卢金达,郝艳宾,何向南受保护的技术使用者：中国科学技术大学技术研发日：技术公布日：2024/9/2