一种基于对比学习的小样本珍稀鸟类识别方法

1.本发明涉及一种基于对比学习的小样本珍稀鸟类识别方法，属于计算机视觉技术领域。


背景技术：

2.鸟类是人类赖以生存的自然生态系统中的重要组成部，也是人类的朋友。它们在控制害虫以及维持自然界的生态平衡方面具有有着十分重要的作用。然而，随着全球经济现代化的快速发展，人类的居住环境却不断发生恶化，这也造成大量鸟类的栖息环境遭到破坏。特别是对生态环境和栖息环境更加苛刻的珍稀鸟类，面临着濒临灭绝的风险，因此对珍稀鸟类开展保护迫在眉睫。
3.对珍稀鸟类进行分类识别是开展珍稀鸟类保护行动的首要重要环节。珍稀鸟类的自动识别能够节省大量的人工成本，能够大幅提高珍稀鸟类保护的效率。珍稀鸟类识别是鸟类识别的分支，属于计算机视觉领域中的细粒度分类任务。目前细粒度分类方法根据模型在训练时所使用的人工标注信息量不同，被分为基于强监督信息的分类模型和基于弱监督信息的分类模型。强监督的细粒度图像分类算法在模型训练的时候，除了图像的类别标签外，还使用了标注框、局部区域位置等额外的人工标注信息。例如，part r-cnn利用r-cnn算法检测分类对象(鸟)以及局部区域(头、身体等)，并建立关于标注点位置的几何约束，将局部区域检测的结果约束在分类对象检测的一定范围内。由于标注信息的获取代价十分昂贵，严重限制了基于强监督信息的分类模型的实际应用。仅仅使用类别标签完成分类的弱监督方法可以克服上述缺点，例如，fu等提出递归注意力卷积神经网络，主要包含分类子网络和注意力区域子网络，并利用相互增强的方式递归地学习有区别性的注意力区域以及多尺度特征表示；zheng等提出的多注意力卷积网络同样是采用相互增强的方式产生更精确的判别性部位和更好的特征表示，该网络由卷积、通道分组和部位定位三个子网络组成，通道分组网络将卷积层的特征通道作为输入，使用聚类方法产成多个局部区域。
4.然而，由于珍稀鸟类数量非常稀有，需要大量的训练样本进行模型训练的强监督信息和弱监督信息的方法都无法适用。为此，刘佶鑫等(刘佶鑫，陈秀梅，朱广信.一种基于部件级多特征融合的珍稀鸟类稀疏识别方法.申请号：201811143808.x)公开了一种基于部件级多特征融合的珍稀鸟类稀疏识别方法，该方法提取鸟类的头、身体及目标框三部分信息的颜色、全局及局部特征，使用稀疏表示分类器完成珍稀鸟类的分类识别。该方法中虽然不借助大量的计算资源训练神经网络，但是该方法中所使用的hog特征为传统的人工设计特征，其性能要远远低于深度卷积网络所提取的高层语义特征，分类识别性能也将随之大大降低。为了克服现在技术中存在的问题，本发明公开了一种基于对比学习的小样本珍稀鸟类识别方法，该方法通过对比学习对卷积神经网络进行训练来提高网络的迁移性，能够使得卷积神经网络在珍稀鸟类样本很少的情况下完成分类识别，同时又能够有效利用卷积网络强大的特征提取能力，从而提高小样本珍稀鸟类识别方法的性能。


技术实现要素：

5.针对上述现有技术存在的问题，本发明提供一种基于对比学习的小样本珍稀鸟类识别方法，从而解决上述技术问题。
6.为了实现上述目的，本发明采用的技术方案是：一种基于对比学习的小样本珍稀鸟类识别方法，包括以下步骤；
7.s1：普通鸟类图像的收集，利用多个图像搜索引擎爬取大量普通鸟类的图像，构建预训练图像数据集i
pretrain
；
8.s2：预训练模型的构建，该预训练模型包括图像增强模块、编码器和投影器；
9.s3：预训练模型的训练，在预训练图像数据集i
pretrain
中随机抽取一批普通鸟类图像输入到预训练模型中，经过图像增强模块构建每幅图像的正例样本，其它图像样本则作为负例图像样本，将所有的正例图像样本和负例图像样本输入到编码器中提取特征，然后投影器将其转化为投影向量特征，计算正例图像样本特征与负例图像样本特征之间的对比损失函数，利用梯度下降法对编码器和投影器中的参数进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束；
10.s4：珍稀鸟类图像的收集，利用多个图像搜索引擎爬取10类珍稀鸟类图像，对搜索的图像进行人工筛选，每种类别中保留5幅质量良好的图像，并对其类别标签进行人工标注，从而完成珍稀鸟类识别的训练图像数据集i
train
的构建；
11.s5：识别模型的构建以及训练，固定预训练模型中编码器的参数，移除投影器并添加线性分类器以及softmax层，从训练图像数据集i
train
随机抽取一批珍稀鸟类图像输入到识别模型中，利用预训练模型得到图像特征，然后经过线性分类器后得到图像所属类别的概率预测值，计算该概率输出值与人工标签值之间的损失函数，利用梯度下降法对线性分类器中的参数进行优化，对上述步骤重复多次，直到到达最大迭代次数，识别模型的训练过程结束；
12.s6：珍稀鸟类图像的测试，固定识别模型中的编码器和分类器中的参数，将在线采集到的珍稀鸟类图像输入到识别模型中得到珍稀鸟类图像的类别值。
13.进一步的，所述步骤s2中预训练模型的构建具体步骤如下：
14.s21：预训练模型中的图像增强模块表示为t(
·
)，对输入图像进行增强操作；
15.s22：预训练模型中的编码器表示为n
θ
(
·
)，其中θ为参数，该网络为resnet34，该网络的初始层为一层卷积层和最大池化层，卷积层中具有64个7
×
7卷积核，步长为2，最大池化层中滤波器的大小3
×
3，步长为2；网络的第1层、2层、3层和4层分别含有3、4、6、3个残差块，四个残差块中分别具有64，128，256以及512个通道；
16.s23：预训练模型中的投影器表示为其中为参数，为多层全连接层。
17.进一步的，所述步骤s3中预训练模型的训练的具体步骤如下：
18.s31：在预训练图像数据集i
pretrain
中随机抽取m幅普通鸟类图像，第m幅图像被表示为im；
19.s32：图像增强模块对m幅图像进行图像操作将其扩展为2m幅图像，此处图像增强操作为对图像先进行颜色抖动，然后对其进行水平翻转，其中颜色抖动将图像从rgb颜色空间变换到hsv颜色空间，对图像在hsv颜色空间改变图像的色调、饱和度和明度，再将变换后的图像转到rgb空间，而水平翻转操作将图像的左右部分以图像垂直中轴线为中心进行镜
像对换，第m幅图像被表示为im经过图像增强模块后的图像表示为则图像im和为一对正例图像样本，其余图像则成为图像im的负例样本图像，第n幅负例样本图像表示为in；
20.s33：将正例图像样本和负例图像样本输入到预训练模型的编码器中提取特征，第m幅图像im及其正例样本图像的特征表示为n
θ
(im)和第n幅负例样本图像in的特征表示为n
θ
(in)；
21.s34：将正例图像样本和负例图像样本输入到预训模型的投影器得到图像的投影特征向量，第m幅图像im及其正例样本图像的投影特征表示为和第n幅负例样本图像in的特征表示为
22.s35：正例图像样本特征与负例图像样本特征之间的对比学习损失函数的计算公式为：
[0023][0024]
其中s[
·
]计算两个图像特征之间的相似性，其计算公式为：
[0025][0026][0027]
s36：利用梯度下降法对编码器和投影器中的参数θ和进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束。
[0028]
进一步的，所述步骤s5识别模型的构建以及训练的具体步骤如下；
[0029]
s51：固定预训练模型中编码器中的参数，移除投影器并添加线性分类器以及softmax层，线性分类器表示为lw(
·
)，其中w表示参数；
[0030]
s52：从训练图像数据集i
train
随机抽取一批珍稀鸟类图像输入到识别模型中，第p幅图像表示为i
p
，利用预训练模型得到图像特征表示为n
θ
(i
p
)；
[0031]
s53：线性分类器以及softmax层将特征转化图像所属珍稀鸟类类别的概率预测值的计算公式为：
[0032][0033]
lw(n
θ
(i
p
))q表示线性分类器lw(
·
)对图像特征计算分类分值的第q个分类，p
pq
表示类别概率预测值的第q个分量，而表示珍稀鸟类的类别；
[0034]
s54：概率输出值与人工标签值之间的交叉熵损失函数的计算公式为：
[0035]
l
ce
(w)＝∑
pypq
p
pq
ꢀꢀ
(5)；
[0036]ypq
表示图像i
p
人工标签值的第q个分量。
[0037]
进一步的，所述步骤s6珍稀鸟类图像的测试的具体步骤如下；
[0038]
s61：固定识别模型中的编码器和分类器中的参数θ和w；
[0039]
s62：在线采集到的珍稀鸟类图像表示为x，输入到识别模型中的主干网络得到的特征表示为n
θ
(x)，然后经过线性分类器以及softmax层得到该图像所属的珍稀鸟类类别。
[0040]
本发明的有益效果是：本发明通过公开一种基于对比学习的小样本珍稀鸟类识别方法，该方法通过对比学习对卷积神经网络进行训练来提高网络的迁移性，能够使得卷积神经网络在珍稀鸟类样本很少的情况下完成分类识别，同时又能够有效利用卷积网络强大的特征提取能力，从而提高小样本珍稀鸟类识别方法的性能。
附图说明
[0041]
图1为本发明的方法流程示意图；
[0042]
图2为本发明的预训练模中编码器架构示意图；
[0043]
图3为本发明的普通鸟类的示例图；
[0044]
图4为本发明的珍稀鸟类示例图。
具体实施方式
[0045]
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
[0046]
除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
[0047]
如图1实施例所示，其为一种基于对比学习的小样本珍稀鸟类识别方法，包括以下步骤；
[0048]
s1：普通鸟类图像的收集，利用多个图像搜索引擎爬取大量普通鸟类的图像，构建预训练图像数据集i
pretrain
；这些普通鸟类按照生活习性和外形特征可分为八大类，每大类的示例图片如图3所示；
[0049]
s2：预训练模型的构建，该预训练模型包括图像增强模块、编码器和投影器；预训练模型中的图像增强模块表示为t(
·
)，对输入图像进行增强操作；编码器的架构图如图2所示，预训练模型中的编码器表示为n
θ
(
·
)，其中θ为参数，该网络为resnet34，该网络的初始层为一层卷积层和最大池化层，卷积层中具有64个7
×
7卷积核，步长为2，最大池化层中滤波器的大小3
×
3，步长为2；网络的第1层、2层、3层和4层分别含有3、4、6、3个残差块，四个残差块中分别具有64，128，256以及512个通道；预训练模型中的投影器表示为其中为参数，为多层全连接层。
[0050]
s3：预训练模型的训练；
[0051]
s31：在预训练图像数据集i
pretrain
中随机抽取m幅普通鸟类图像，第m幅图像被表示为im；
[0052]
s32：图像增强模块对m幅图像进行图像操作将其扩展为2m幅图像，此处图像增强操作为对图像先进行颜色抖动，然后对其进行水平翻转，其中颜色抖动将图像从rgb颜色空
间变换到hsv颜色空间，对图像在hsv颜色空间改变图像的色调、饱和度和明度，再将变换后的图像转到rgb空间，而水平翻转操作将图像的左右部分以图像垂直中轴线为中心进行镜像对换，第m幅图像被表示为im经过图像增强模块后的图像表示为则图像im和为一对正例图像样本，其余图像则成为图像im的负例样本图像，第n幅负例样本图像表示为in；
[0053]
s33：将正例图像样本和负例图像样本输入到预训练模型的编码器中提取特征，第m幅图像im及其正例样本图像的特征表示为n
θ
(im)和第n幅负例样本图像in的特征表示为n
θ
(in)；
[0054]
s34：将正例图像样本和负例图像样本输入到预训模型的投影器得到图像的投影特征向量，第m幅图像im及其正例样本图像的投影特征表示为和第n幅负例样本图像in的特征表示为
[0055]
s35：正例图像样本特征与负例图像样本特征之间的对比学习损失函数的计算公式为：
[0056][0057]
(1)；
[0058]
其中s[
·
]计算两个图像特征之间的相似性，其计算公式为：
[0059][0060][0061]
s36：利用梯度下降法对编码器和投影器中的参数θ和进行优化，对上述步骤重复多次，直到到达最大迭代次数，预训练过程结束。
[0062]
s4:珍稀鸟类图像的收集,利用多个图像搜索引擎爬取10类珍稀鸟类图像，对搜索的图像进行人工筛选，每种类别中保留5幅质量良好的图像，并对其类别标签进行人工标注，从而完成珍稀鸟类识别的训练图像数据集i
train
的构建；珍稀鸟类的示例图片如图4所示；
[0063]
s5：识别模型的构建以及训练；
[0064]
s51：固定预训练模型中编码器中的参数，移除投影器并添加线性分类器以及softmax层，线性分类器表示为lw(
·
)，其中w表示参数；
[0065]
s52：从训练图像数据集i
train
随机抽取一批珍稀鸟类图像输入到识别模型中，第p幅图像表示为i
p
，利用预训练模型得到图像特征表示为n
θ
(i
p
)；
[0066]
s53：线性分类器以及softmax层将特征转化图像所属珍稀鸟类类别的概率预测值的计算公式为：
[0067][0068]
lw(n
θ
(i
p
))q表示线性分类器lw(
·
)对图像特征计算分类分值的第q个分类，p
pq
表示类别概率预测值的第q个分量，而表示珍稀鸟类的类别；
[0069]
s54：概率输出值与人工标签值之间的交叉熵损失函数的计算公式为：
[0070]
l
ce
(w)＝∑
pypq
p
pq
ꢀꢀ
(5)；
[0071]ypq
表示图像i
p
人工标签值的第q个分量。
[0072]
s6：珍稀鸟类图像的测试，固定识别模型中的编码器和分类器中的参数，将在线采集到的珍稀鸟类图像输入到识别模型中得到珍稀鸟类图像的类别值。
[0073]
s61：固定识别模型中的编码器和分类器中的参数θ和w；
[0074]
s62：在线采集到的珍稀鸟类图像表示为x，输入到识别模型中的主干网络得到的特征表示为n
θ
(x)，然后经过线性分类器以及softmax层得到该图像所属的珍稀鸟类类别。
[0075]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。