基于代理修正和关系约束的深度度量学习图像检索系统

本发明涉及基于代理修正和关系约束的深度度量学习图像检索系统，属于机器学习。

背景技术：

1、随着深度学习的不断发展，图像检索取得了巨大的进步。然而，随着互联网、数据库和电子设备的迅猛发展，图像的数量得到爆发式增长。如何从海量的图像中快速、准确的检索出人们需要的图像是图像检索技术的核心。图像检索技术包括传统基于局部特征和深度度量学习的图像检索技术。传统的基于局部特征的图像检索技术在面对一些复杂的图像检索问题时存在一些不足之处，例如特征表示的精确度问题以及计算机的特征表示和高级人类语义描述之间的语义鸿沟问题。随着深度学习技术的不断发展和应用，基于深度度量学习的图像检索技术逐渐取代了传统的基于局部特征的图像检索技术，成为新一代的图像检索技术。

2、深度度量学习的研究主要分为样本挖掘、模型结构和损失函数三个方向。有效的样本挖掘策略可以加速算法收敛并改进学习效果。当前的样本挖掘方法中，由于受到训练批次(batch)大小的限制，筛选的样本数量有限，导致网络优化受限。深度度量学习使用的网络关系到特征提取过程，不合理的网络设计会影响网络的性能，现有工作中通常使用resnet和bn-inception网络来提高网络性能。损失函数的设计关乎到嵌入空间的可分性，目前的研究工作主要有两种设计思路，其一是基于样本对的损失函数，这类损失函数充分考虑每一个样本对的相似度，但会导致收敛速度慢，甚至降低学习到的嵌入空间的质量。其二是基于代理的损失函数，通过小规模代理代替大规模样本，大大降低训练复杂度，但是丰富的样本信息被压缩，无法大幅提高模型性能，同时对代理的选择也有更高的要求。

3、本发明从损失函数设计出发。首先，针对模型无法充分利用训练数据信息并且基于代理的损失中存在代理随机性问题，本发明提出基于代理修正与关系约束的深度度量学习图像检索系统。该系统主要包含两个创新模块，分别为代理修正(proxy correction，pc)和关系约束(relationship contraint，rc)，其中关系约束又可分为代理关系约束(proxyrelationship constraint，prc)和样本关系约束(sample relationship constraint，src)。考虑到代理在训练前是随机初始化的，导致代理在训练早期并不具有代表性，pc从原型修正中得到启发，利用样本簇对代理进行修正。prc研究代理关系，由于代理在每个类中充当该类集群中心，代理之间的位置代表着类间关系，因此，prc为代理施加一个强制约束，确保代理之间彼此相距很远，从而达到类间分散的效果。另一方面，如果每个类之间差异性比较大，则不利于算法性能提升，src从基于样本对的损失中得到启发，研究样本关系，为了避免出现简单样本对的问题，src寻找类边界样本对，并通过约束其相似度，从而达到类内紧凑的效果。

技术实现思路

1、本发明所要解决的技术问题是提供更加有效的图像检索系统，通过该图像检索系统，可以进一步提高对大规模图像数据的检索准确率。本发明提供能够提高嵌入空间可分性的深度度量学习算法，进而提高图像检索的准确率，通过在传统的深度神经网络中引入代理修正和关系约束来增强模型对大规模数据的检索能力。

2、具体而言，基于代理修正和关系约束的深度度量学习图像检索系统，包括以下步骤：

3、1)将原始样本数据划分为训练集和测试集两部分，并且训练集和测试集彼此不重叠；

4、2)代理修正模块利用样本数据对随机初始化的代理位置进行微调，从而使少数代理更好地反映样本数据的分布；

5、3)代理关系约束模块对每个类的代理实施强制约束，从而增大类间方差；

6、4)样本关系约束模块对每个类的样本实施边界约束，从而减小类内方差；

7、5)通过损失函数训练卷积神经网络；

8、6)将原始测试图片输入到训练好的卷积神经网络中，通过网络提取特征，然后通过嵌入层将图片映射到一个低维嵌入空间中，之后计算图片相似性并进行类别判断。

9、在一种可能的实现方式中，步骤1)将原始样本数据划分为训练集和测试集两部分，并且训练集和测试集彼此不重叠。

10、在一种可能的实现方式中，步骤2)中的代理修正模块对随机初始化的代理进行修正，并计算新的代理参与训练，以此提高模型性能。算法具体步骤如下：添加相似样本的特征进行平均，并根据预设比例将结果应用于随机初始化的代理。p和p'分别表示随机初始化的代理和修正后的代理。x表示训练集样本。xp表示作为batch中与代理同类的样本集，m＝|xp|表示与p同类的样本数量。代理p'计算公式如下：

11、

12、其中，e是比例因子。

13、由于样本与代理之间的相似性存在差异，因此对代理的校正效果也应该有所不同。因此，简单的样本特征平均可能会导致pc更大的偏差。为了以一种更合理的方式计算新的代理，我们使用相似样本的加权和作为原始代理的补充，对原始代理进行调整。计算公式如下：

14、

15、其中，xi为xp集中第i个样本，ωi表示原始代理与样本xi之间的相似性权重。权重计算公式如下：

16、

17、其中，s(·,·)表示余弦相似度。

18、pc的必要性在于一个方面。首先，在训练早期阶段，代理是随机初始化的，所以当前代理可能不代表某个类，它没有意义，在这种情况下训练的模型可能有很大的偏差。此外，这种随机初始化往往会导致网络参数显著变化。因此，使用一个随机初始化的代理很容易破坏嵌入空间的结构，导致模型首先以错误的方向训练。

19、在一种可能的实现方式中，步骤3)中的代理关系约束模块考虑到由于代理在每个类中充当本地集群中心，因此需要对代理施加严格的约束，以确保代理彼此远离。算法步骤如下，模型计算该类代理与其他代理之间的相似性，并推广到该batch中所有类代理，最后求和作为正则化项：

20、

21、其中，pi表示batch中的第i个代理。

22、在公式(4)中，关注大于或等于零的相似度，而忽略小于零的相似度。这是因为小于零的相似度已经对类间可分性产生了一定的影响。

23、在一种可能的实现方式中，步骤4)中的样本关系约束模块考虑到由于代理锚损失不考虑样本关系约束，因此向模型中加入此类约束。样本约束可以分为同类样本约束和异类样本约束，同类样本之间施加约束是为了达到类内紧凑的效果，异类样本之间施加约束是为了达到类间分散的效果。由于prc模块已经达到了比较好的类间分散效果，所以本发明设计了src来约束同类样本的相似度。如果像triplet loss那样，在batch中组织所有的同类样本对，会导致出现许多无用样本对，给训练带来严重负担，所以本发明借鉴liftedstructure loss的思想，挖掘最有价值的样本对。对于同类样本对来说，最有价值的样本对即相似度最小的样本对。算法具体步骤为src计算batch中所有类的最小类内相似度之和作为正则化项，公式如下所示：

24、

25、其中，f(xi,xj)＝-min(s(xi,xj)),xi,xj∈xk，xk表示batch中第k类样本集，k为训练集中类别数。

26、在一种可能的实现方式中，步骤5)通过损失函数训练卷积神经网络中，将样本关系约束模块和代理关系约束模块集成到一个框架中，并提供了一个新的基于代理的损失函数。最终的损失函数可以构造为下式：

27、loss＝losspa+γlossprc+βlosssrc      (6)

28、其中，losspa表示约束样本和代理相似度的proxy anchor loss，lossprc表示约束代理间相似度的prc模块，用于减小类间相似度，losssrc表示约束同类样本间相似度的src模块，用于增大类内相似度。γ,β为比例因子。

29、接下来，通过分析损失函数相对于s的梯度来更全面地理解每对之间的关系约束。首先，该损失考虑样本-代理对，并为每对分配动态权值。如下式(7)所示，这些动态权值依赖于损失对本身，这意味着相似度较低的困难正对和相似度较高的困难负对对损失目标贡献更大。

30、

31、其次，损失考虑代理对，如下式(8)所示。我们认为余弦相似度大于或等于0的对是更困难的对，并重点调整它们。这里使用相同的权重。

32、

33、最后，损失考虑样本对，如下式(9)所示。我们发现在经过proxy anchor loss训练后，测试集中的某些类相对紧凑。然而，有一些类仍然是相当分散的。因此，为每对同类样本分配动态权重，样本对的相似度越小，对损失目标贡献越大。

34、

35、其中，f(xi,xj)＝-min(s(xi,xj)),xi,xj∈xk。

36、可以发现，在公式(8)中，代理将以相同的力被拉开。在公式(9)中，相似度较低的正对给予较大权重，并根据相似度大小被拉得更近。该框架通过代理约束和样本约束，提高了数据的类间可分离性和类内紧凑性。

37、本发明的有益效果是：本发明的基于代理约束和难样本挖掘的深度度量学习图像检索系统。代理约束模块考虑代理随机初始化问题，通过分析样本分布来修正代理，从而校正模型的早期训练参数偏差问题。代理关系约束模块，通过对代理施加约束来体现代理几何关系，从而使样本类间更加分散。样本关系约束模块对同类样本施加约束来体现样本几何关系，从而使样本类内更加紧凑。三者结合使神经网络提取出更具区别性的嵌入特征，促进不同类之间的边界划分，提高了图像检索的性能。