一种基于对比学习的小样本珍稀鸟类识别方法

技术特征：
1.一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，包括以下步骤；s1：普通鸟类图像的收集，利用多个图像搜索引擎爬取大量普通鸟类的图像，构建预训练图像数据集i
pretrain
；s2：预训练模型的构建，该预训练模型包括图像增强模块、编码器和投影器；s3：预训练模型的训练，在预训练图像数据集i
pretrain
中随机抽取一批普通鸟类图像输入到预训练模型中，经过图像增强模块构建每幅图像的正例样本，其它图像样本则作为负例图像样本，将所有的正例图像样本和负例图像样本输入到编码器中提取特征，然后投影器将其转化为投影向量特征，计算正例图像样本特征与负例图像样本特征之间的对比损失函数，利用梯度下降法对编码器和投影器中的参数进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束；s4：珍稀鸟类图像的收集，利用多个图像搜索引擎爬取10类珍稀鸟类图像，对搜索的图像进行人工筛选，每种类别中保留5幅质量良好的图像，并对其类别标签进行人工标注，从而完成珍稀鸟类识别的训练图像数据集i
train
的构建；s5：识别模型的构建以及训练，固定预训练模型中编码器的参数，移除投影器并添加线性分类器以及softmax层，从训练图像数据集i
train
随机抽取一批珍稀鸟类图像输入到识别模型中，利用预训练模型得到图像特征，然后经过线性分类器后得到图像所属类别的概率预测值，计算该概率输出值与人工标签值之间的损失函数，利用梯度下降法对线性分类器中的参数进行优化，对上述步骤重复多次，直到到达最大迭代次数，识别模型的训练过程结束；s6：珍稀鸟类图像的测试，固定识别模型中的编码器和分类器中的参数，将在线采集到的珍稀鸟类图像输入到识别模型中得到珍稀鸟类图像的类别值。2.根据权利要求1所述的一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，所述步骤s2中预训练模型的构建具体步骤如下：s21：预训练模型中的图像增强模块表示为t(
·
)，对输入图像进行增强操作；s22：预训练模型中的编码器表示为n
θ
(
·
)，其中θ为参数，该网络为resnet34，该网络的初始层为一层卷积层和最大池化层，卷积层中具有64个7
×
7卷积核，步长为2，最大池化层中滤波器的大小3
×
3，步长为2；网络的第1层、2层、3层和4层分别含有3、4、6、3个残差块，四个残差块中分别具有64，128，256以及512个通道；s23：预训练模型中的投影器表示为其中为参数，为多层全连接层。3.根据权利要求1所述的一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，所述步骤s3中预训练模型的训练的具体步骤如下：s31：在预训练图像数据集i
pretrain
中随机抽取m幅普通鸟类图像，第m幅图像被表示为i
m
；s32：图像增强模块对m幅图像进行图像操作将其扩展为2m幅图像，此处图像增强操作为对图像先进行颜色抖动，然后对其进行水平翻转，其中颜色抖动将图像从rgb颜色空间变换到hsv颜色空间，对图像在hsv颜色空间改变图像的色调、饱和度和明度，再将变换后的图像转到rgb空间，而水平翻转操作将图像的左右部分以图像垂直中轴线为中心进行镜像对换，第m幅图像被表示为i
m
经过图像增强模块后的图像表示为则图像i
m
和为一对正例
图像样本，其余图像则成为图像i
m
的负例样本图像，第n幅负例样本图像表示为i
n
；s33：将正例图像样本和负例图像样本输入到预训练模型的编码器中提取特征，第m幅图像i
m
及其正例样本图像的特征表示为n
θ
(i
m
)和第n幅负例样本图像i
n
的特征表示为n
θ
(i
n
)；s34：将正例图像样本和负例图像样本输入到预训模型的投影器得到图像的投影特征向量，第m幅图像i
m
及其正例样本图像的投影特征表示为和第n幅负例样本图像i
n
的特征表示为s35：正例图像样本特征与负例图像样本特征之间的对比学习损失函数的计算公式为：其中s[
·
]计算两个图像特征之间的相似性，其计算公式为：]计算两个图像特征之间的相似性，其计算公式为：s36：利用梯度下降法对编码器和投影器中的参数θ和进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束。4.根据权利要求1所述的一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，所述步骤s5识别模型的构建以及训练的具体步骤如下；s51：固定预训练模型中编码器中的参数，移除投影器并添加线性分类器以及softmax层，线性分类器表示为l
w
(
·
)，其中w表示参数；s52：从训练图像数据集i
train
随机抽取一批珍稀鸟类图像输入到识别模型中，第p幅图像表示为i
p
，利用预训练模型得到图像特征表示为n
θ
(i
p
)；s53：线性分类器以及softmax层将特征转化图像所属珍稀鸟类类别的概率预测值的计算公式为：l
w
(n
θ
(i
p
))
q
表示线性分类器l
w
(
·
)对图像特征计算分类分值的第q个分量，p
pq
表示类别概率预测值的第q个分量，而q∈q＝10表示珍稀鸟类的类别；s54：概率输出值与人工标签值之间的交叉熵损失函数的计算公式为：l
ce
(w)＝∑
p
y
pq
p
pq (5)；y
pq
表示图像i
p
人工标签值的第q个分量。5.根据权利要求1所述的一种基于对比学习的小样本珍稀鸟类识别方法，其特征在于，
所述步骤s6珍稀鸟类图像的测试的具体步骤如下；s61：固定识别模型中的编码器和分类器中的参数θ和w；s62：在线采集到的珍稀鸟类图像表示为x，输入到识别模型中的主干网络得到的特征表示为n
θ
(x)，然后经过线性分类器以及softmax层得到该图像所属的珍稀鸟类类别。

技术总结
本发明公开一种基于对比学习的小样本珍稀鸟类识别方法，该方法首先收集普通鸟类图像构建预训练图像数据集，然后在预训练图像数据集随机抽取一批图像输入到预训练模型中，提取正例图像样本和负例图像样本的投影向量特征，计算正例图像样本特征与负例图像样本特征之间的对比损失函数，利用梯度下降法完成预训练过程。接下来固定预训练模型中主干神经网络的参数，移除投影器并添加线性分类器以及Softmax层，利用收集的珍稀鸟类图像使用交叉损失函数对线性分类器参数进行优化，完成识别模型的训练，最后利用识别模型对珍稀鸟类图像进行在线分类识别。该方法通过对比学习对卷积神经网络进行训练来提高网络的迁移性，从而提高小样本珍稀鸟类识别方法的性能。高小样本珍稀鸟类识别方法的性能。高小样本珍稀鸟类识别方法的性能。


技术研发人员：杨赛 胡彬 周伯俊 杨慧
受保护的技术使用者：南通大学
技术研发日：2022.02.18
技术公布日：2022/5/31