一种基于组件监督网络的小样本图像分类方法与流程

1.本发明涉及模式识别技术领域，尤其涉及一种基于组件监督网络的小样本图像分类方法。


背景技术：

2.小样本图像分类过程通常包含两个阶段，第一个阶段是使用基类数据训练特征提取模型，第二阶段是使用训练好的特征提取模型提取新类数据的特征，使用设计的分类器完成分类任务。其中特征提取模型和分类器的设计作为小样本图像分类系统的一个重要环节，一直以来都是小样本图像分类领域研究的核心问题。
3.目前，主要的小样本图像分类器设计方法有以下几种：(1)基于数据的小样本图像分类：基于数据的小样本学习利用数据扩充来增强训练集。schwartz等人利用一个自动编码器用于寻找同类别不同样本之间的变形，然后在利用其为其他的类别样本生成新样本，最后利用扩充后的数据集训练分类器。hariharan和girshick认为同一类别不同样本之间的差异是能够泛化到其他的类别中的，基于这种思想设计一个生成器，用来扩增训练数据。kim等人利用对抗的思想对支持集数据进行数据增广，固定特征提取器和分类器，对于每个支持集的类利用对抗的思想增广一个特征，约束生成的特征，是分类的概率相差最小，即生成的数据在分类边界上逼近。yang等人提出对较少的类的分布进行了校正，通过转移具有足够样本的类的统计信息，然后从校正后的分布中抽取足够数量的样本来扩展分类器的输入。(2)基于度量的小样本图像分类：基于度量的小样本学习是将度量学习与小样本学习结合，其基本原理是根据不同的任务来学习出度量距离函数。snell等人提出的原型网络是一种简单高效的小样本学习方法，通过计算测试样本的嵌入特征到各个原型的欧氏距离判断类别。oreshkin等人发现度量尺度和度量任务条件作用对于提高小样本算法的性能是重要的，提出了一种简单有效的方法，使学习器对任务样本集进行约束，从而学习任务相关的度量空间，此外还提出了一个基于辅助任务协同训练的端到端优化过程来学习任务相关的度量空间。ren等人将原型网络的方法扩展到了半监督领域。wang等人通过生成模型生成额外的数据来扩充样本的多样性，并使用原型网络进行训练，数据扩充可以有效减小样本不足对类原型计算的影响。vinyals等人提出的匹配网络通过核函数映射到特征空间，再利用k近邻分类器进行分类。
4.小样本图像分类的目的是在跨域的基础上，在标签数据不足的情况下解决分类问题，通常，研究人员用基类数据预先训练一个特征提取器，然后使用它来提取新数据的特征并识别它们。但是，新数据集只有少量的注释样本，并且与基类数据集的类别完全不同，这导致预先训练的特征提取器不能很好地适应新数据，存在特征提取不适应问题。


技术实现要素：

5.本发明提供一种基于组件监督网络的小样本图像分类方法，旨在解决目前小样本图像分类领域存在的特征提取不适应问题。
6.为了实现上述目的，本发明提供一种基于组件监督网络的小样本图像分类方法，所述方法包括：
7.构建标准分类任务，将图像输入预先训练好的特征提取器，得到特征向量，将特征向量输入到基分类器来预测软标签，将特征向量投影到一个标签空间中，然后将其转换为概率分布，最后引入分类交叉熵函数，计算标准分类损失，其中，标准分类损失为：
[0008][0009]
其中，
[0010]
其中，x表示图像样本；表示标准分类任务中样本x的一次性真值标签向量；cb表示基类数；表示分类交叉熵函数；表示基分类器；表示预先训练好的特征提取器；表示标准分类任务中样本x的预测软标签；表示投影到标签空间的特征向量；
[0011]
构建组件监督的辅助任务，将图像输入预先训练好的特征提取器，得到特征向量，将特征向量输入到基分类器来预测软标签，将特征向量投影到一个基于组件的标签空间中，然后将其转换为二项分布，最后引入二元交叉熵函数，计算组件监督辅助损失，其中，组件监督辅助损失为：
[0012][0013]
其中，
[0014]
其中，x表示图像样本；表示组件的真实多标签；cm表示组件数；表示二元交叉熵函数；表示基分类器；表示预先训练好的特征提取器；表示组件的预测软多标签；表示投影到基于组件的标签空间的特征向量；
[0015]
构建自监督辅助任务，将旋转后的基础数据映射到基于旋转的标签空间，然后使用基于旋转的概率分布计算自监督辅助损失，其中，自监督辅助损失为：
[0016][0017]
其中，x表示图像样本；表示基于旋转的标签向量；表示基于旋转的概率分布；
[0018]
将标准分类损失、组件监督辅助损失和自监督辅助损失进行叠加来计算组件监督网络的总体损失，其中，组件监督网络的总体损失为：
[0019][0020]
其中，α是一个经验参数，用于控制组件监督辅助损失的影响，是由基于组件的多标签的准确性决定的。
[0021]
将组件监督网络的总体损失函数作为训练特征提取模器的损失函数，每轮训练均根据损失的值来梯度更新特征提取器的参数，选取训练过程中准确率最高的参数作为最终的特征提取器的参数；
[0022]
使用上述训练好的特征提取器提取新类数据的特征，使用直接求导线性回归函数的方式得到分类器并完成最后的分类任务，其中，线性回归目标函数为：
[0023][0024]
其中，分类器为：
[0025]
w＝y
svst
(v
svst
βi)-1
[0026]
其中，||
·
||f表示frobenius-norm，即支持数据的真单热点标签矩阵；表示待学习分类器，cn表示新类别的个数；ns表示支持数据的数量；表示带标签的支持特征；dim表示样本的维数；w表示分类器；β表示一个超参，防止过拟合；i表示对角矩阵；
[0027]
使用分类器w对vq进行分类得到：
[0028]yq
＝wvq[0029]
其中，表示查询样本生成的软标签矩阵；表示未标记查询特性；nq表示查询数据的数量。
[0030]
在上述的基于组件监督网络的小样本图像分类方法中，可选的是，在标准分类任务中，采用softmax激活函数作为基分类器。
[0031]
在上述的基于组件监督网络的小样本图像分类方法中，可选的是，在组件监督辅助任务中，采用sigmoid激活函数作为基分类器。
[0032]
本发明提供的基于组件监督网络的小样本图像分类方法，提出了一种改进小样本图像分类性能的新方案——组件监督网络，参考自然语言处理中常用的层次字典wordnet，收集样本的组件信息并生成多标签，构造基于组件监督的辅助任务，使用标准分类任务、组件监督的辅助任务和自监督辅助任务协助训练特征提取器，使用训练好的特征提取器提取新类数据的特征，使用线性分类器完成最后的分类任务，以提高特征提取器的适应性。
[0033]
本发明的构造以及它的其他发明目的及有益效果将会通过结合附图而对优选实
施例的描述而更加明显易懂。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]
图1为本发明实施例提供的基于组件监督网络的小样本图像分类方法的流程示意图；
具体实施方式
[0036]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的优选实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明的实施例进行详细说明。
[0037]
如图1所示，本发明提供一种基于组件监督网络的小样本图像分类方法，所述方法包括：
[0038]
步骤110：构建标准分类任务，将图像x输入预先训练好的特征提取器得到特征向量其中dim表示特征向量的维数，将特征向量输入到基分类器来预测软标签，在标准分类任务中，采用softmax激活函数作为基分类器。
[0039]
将特征向量投影到一个标签空间中，x
→zsc
，其中，cb表示基类数；然后将其转换为概率分布，得到：
[0040][0041]
其中，表示标准分类任务中样本x的预测软标签；
[0042]
最后引入分类交叉熵函数计算标准分类损失为：
[0043][0044]
其中，x表示图像样本；表示标准分类任务中样本x的一次性真值标签向量；
[0045]
步骤120：虽然基类数据集和新数据集的类别不同，但样本的组成成分是相似的(例如，猫和狗都包含腿和头组件)，实际上，这样的实体组件是类内稳定的，它们具有良好的跨类别通用性和新类别通用性，因此，我们参考自然语言处理中常用的层次字典wordnet，收集样本的组件信息并生成多标签，构造基于组件的辅助任务，以提高特征提取器的适应性，通过wordnet能够得到每一类物品包含的组件，每个组件属于多标签的一部分。
[0046]
构建组件监督的辅助任务，将图像输入预先训练好的特征提取器得到特征向量其中dim表示特征向量的维数，将特征向量输入到基分类器来预测软标签，在组件监督辅助任务中，采用sigmoid激活函数作为基分类器。
[0047]
将特征向量投影到一个基于组件的标签空间中，x
→zcs
，其中，cm表示组件数；然后将其转换为二项分布，得到：
[0048][0049]
其中，表示组件的预测软多标签；
[0050]
最后引入二元交叉熵函数计算组件监督辅助损失为：
[0051][0052][0053]
其中，x表示图像样本；表示组件的真实多标签；
[0054]
需要说明的是，组件监督的辅助任务为基类数据生成基于组件的多标签，并引入多标签的组件监督辅助损失作为更新网络的辅助损失。
[0055]
步骤130：为了加强网络的旋转不变性，将自监督学习引入到网络模型中，自监督有助于捕捉没有标签的一般特征，具体来说，我们将基础数据旋转到0
°
，90
°
，180
°
和270
°
四个角度，来预测图像的旋转角度。
[0056]
构建自监督辅助任务，将旋转后的基础数据映射到基于旋转的标签空间，x
→zss
，其中，然后使用基于旋转的概率分布计算自监督辅助损失为：
[0057][0058]
其中，x表示图像样本；表示基于旋转的标签向量；
[0059]
步骤140：将标准分类损失、组件监督辅助损失和自监督辅助损失进行叠加来计算组件监督网络的总体损失，得到：
[0060][0061]
其中，α是一个经验参数，用于控制组件监督辅助损失的影响，是由基于组件的多标签的准确性决定的。
[0062]
需要说明的是，根据损失函数可以看出网络对积累数据的拟合程度，通过损失函数计算得到的损失越小，在某种程度说明网络的拟合情况更好。在神经网络训练过程中，损失函数是必不可少的一环，损失函数直接影响或者指导了网络参数的更新“方向“。
[0063]
步骤150：将组件监督网络的总体损失函数作为训练特征提取器的损失函数，每轮训练均根据损失的值来梯度更新特征提取器的参数，选取训练过程中准确率最高的参数作为最终的特征提取器的参数，用于下一步骤来提取样本特征。
[0064]
需要说明的是，使用resnet-12网络作为特征提取器，组件监督网络的总体损失函数作为训练特征提取器的损失函数，然后使用训练好的特征提取网络提取新类数据的特征。
[0065]
步骤160：使用步骤150中训练好的特征提取器提取新类数据的特征，使用直接求导线性回归函数的方式得到分类器并完成最后的分类任务。
[0066]
将新类数据发送到步骤150中训练好的特征提取器，获得新类数据特征其中，v＝[vs，vq]，表示带标签的支持特征，表示未标记查询特性，ns和nq表示支持和查询数据的数量，dim表示样本的维数。
[0067]
接下来，使用vs训练一个新的分类器，具体来说，选择线性回归函数作为分类器，线性回归目标函数为：
[0068][0069]
其中，||
·
||f表示frobenius-norm，即支持数据的真单热点标签矩阵；表示待学习分类器，cn表示新类别的个数；β表示一个超参，防止过拟合；
[0070]
采用直接求导的方式优化目标函数，得到分类器w为：
[0071]
w＝y
svst
(v
svst
βi)-1
[0072]
其中，i表示对角矩阵；
[0073]
使用分类器w对vq进行分类得到：
[0074]yq
＝wvq[0075]
其中，表示查询样本生成的软标签矩阵。
[0076]
本发明提供的基于组件监督网络的小样本图像分类方法，提出了一种改进小样本图像分类性能的新方案——组件监督网络，参考自然语言处理中常用的层次字典wordnet，收集样本的组件信息并生成多标签，构造基于组件监督的辅助任务，使用标准分类任务、组件监督的辅助任务和自监督辅助任务协助训练特征提取器，使用训练好的特征提取器提取新类数据的特征，使用线性分类器完成最后的分类任务，以提高特征提取器的适应性。
[0077]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依
然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。