一种基于多重一致性感知的目标识别方法及识别系统

本发明涉及目标识别，尤其涉及一种基于多重一致性感知的目标识别方法及识别系统。

背景技术：

1、随着深度神经网络的快速发展，推动了诸多计算机视觉技术的发展，特别是在视觉目标识别领域。大量的带有高质量标注的数据集对于训练深度神经网络，提高目标识别模型的性能至关重要。然而，现实世界中所提取到的数据集经常包含有标签噪声，这对训练有效的深度神经网络提出了新的挑战。虽然手动数据清理和标记是提高标签质量的可靠方法，但其成本高昂、耗时耗力，无法适用于大规模数据集。存在的噪声鲁棒学习方法大多依赖于目标样本的预测标签，忽略了样本之间的关系等重要信息，无法适用噪声率高的真实场景。因此如何克服噪声标签的强干扰，开发噪声鲁棒的目标识别方法至关重要。

技术实现思路

1、本发明提供了一种基于多重一致性感知的目标识别方法及识别系统，以解决现有的目标识别方式存在精度较低，无法使用噪声率高的场景的问题。

2、为了实现上述目的，本发明通过如下的技术方案来实现：

3、第一方面，本发明提供一种基于多重一致性感知的目标识别方法，包括：

4、获取目标样本构建训练数据集，并确定给定标签作为监督信号，利用所述训练数据集和所述监督信号对基准模型进行初始化训练得到初始化基准模型；

5、获取目标样本的预测标签，基于目标样本的预测标签和给定标签的一致性构建自一致性损失函数；

6、获取目标样本近邻样本的预测标签，基于目标样本的预测标签以及目标样本近邻样本的预测标签构建上下文一致性学习损失函数；

7、获取目标样本在不同视角下的预测标签，基于目标样本在不同视角下的预测标签构建跨视角一致性损失函数；

8、通过自一致性损失函数、上下文一致性学习损失函数以及跨视角一致性损失函数对初始化基准模型进行联合优化得到优化好的基准模型；

9、构建包含待查询目标样本和候选样本的目标识别测试集，将待查询目标样本中的图像和候选样本中的图像输入优化好的基准模型中，对待查询样本中的图像与候选样本中的图像进行目标匹配识别。

10、可选的，所述确定给定标签作为监督信号，包括：

11、构建特征提取器和类别预测器，并利用特征提取器对训练数据集中的目标样本进行特征提取得到样本特征，利用类别预测器对训练数据集中的目标样本进行类别预测得到预测类别分数；

12、基于预测类别分数确定目标样本的给定标签，并将给定标签作为监督信号。

13、可选的，所述利用所述训练数据集和所述监督信号对基准模型进行初始化训练得到初始化基准模型，包括：

14、通过给定标签对基准模型进行优化，其优化后的损失函数满足如下关系式：

15、

16、式中，σ(·)是softmax函数，l(·)表示交叉熵损失函数，n表示样本数量，yi表示给定标签，zi表示预测类别分数，lg表示给定标签的损失函数，t表示温度参数；

17、对经过给定标签优化后的基准模型使用类得分最高的预测标签作为监督信号再次进行优化，其优化后的损失函数满足如下关系式：

18、

19、式中，σ(·)是softmax函数，l(·)表示交叉熵损失函数，n表示样本数量，表示预测标签，zi表示预测类别分数，lp表示预测标签的损失函数，t表示温度参数；

20、经过给定标签训练和预测标签训练的基准模型作为经过初始化训练得到初始化基准模型。

21、可选的，所述基于目标样本的预测标签和给定标签的一致性构建自一致性损失函数，包括：

22、构建定义指时函数，其函数满足如下关系式：

23、

24、式中，yi表示给定标签，表示预测标签，δ表示指时函数值；

25、利用定义指时函数对给定标签和预测标签进行对比，当目标样本具有相同的给定标签和预测标签时，δ的输出为1，否则为0；

26、设计超参数对基准模型的训练动态进行更新，其超参数满足如下关系式：

27、

28、基于超参数和定义指时函数构建自一致性损失函数，其自一致性损失函数满足如下关系式：

29、lsc＝(1+δ(xi))lg+ω(t)lp；

30、式中，lp表示预测标签的损失函数，lg表示给定标签的损失函数，δ(xi)表示定义指时函数，ω(t)表示超参数，lsc表示自一致性损失函数，exp(·)表示指数函数，t表示当前训练次数，tm表示训练总次数。

31、可选的，所述基于目标样本的预测标签以及目标样本近邻样本的预测标签构建上下文一致性学习损失函数，包括：

32、将目标样本的预测标签与其特征空间的近邻样本的预测标签进行对比，并计算其特征的余弦相似度，其计算式满足如下关系式：

33、

34、根据计算结果搜索特征空间目标样本的近邻样本，并基于目标样本的预测标签和近邻样本的预测标签确定上下文一致性学习损失函数，其损失函数满足如下关系式：

35、

36、式中，dkl(·)表示用于评估两个分布之间的差异的相对熵，nnk(vi)表示特征空间中样本xi的k个最近邻样本的集合，表示相似度值，lcc表示上下文一致性学习损失函数，n表示样本数量，zi表示预测类别分数，σ(·)是softmax函数，si,j表示余弦相似度，vi表示样本xi的特征向量，vj表示样本xj的特征向量，表示样本xi的向量的转置，t表示温度参数。

37、可选的，所述基于目标样本在不同视角下的预测标签构建跨视角一致性损失函数，包括：

38、对基准模型中的jensen-shannon散度进行最小化处理度量目标样本在不同视角下的预测关系，并基于目标样本在不同视角下的预测关系构建跨视角一致性损失函数，其损失函数满足如下关系式：

39、lcv＝js(p1,p2)＝dkl(p1||m)+dkl(p2||m)；

40、式中，dkl(·)表示用于评估两个分布之间的差异的相对熵，和表示样本xi从两个不同视角的预测概率，表示两个不同视角下其中一个视角的预测类别分数，zi2表示两个不同视角下另一个视角的预测类别分数，σ(·)是softmax函数，m＝(p1+p2)/2表示不同视角下预测标签的平均值，js表示jensen-shannon散度，lcv表示跨视角一致性损失函数，t表示温度参数。

41、可选的，所述通过自一致性损失函数、上下文一致性学习损失函数以及跨视角一致性损失函数对初始化基准模型进行联合优化得到优化好的基准模型，包括：

42、结合自一致性损失函数、上下文一致性学习损失函数以及跨视角一致性损失函数对初始化基准模型进行联合优化得到优化好的基准模型，其优化好的基准模型的损失函数满足如下关系式：

43、loverall＝lsc+lcc+lcv；

44、式中，loverall表示优化好的基准模型的损失函数，lsc表示自一致性损失函数，lcc表示上下文一致性学习损失函数，lcv表示跨视角一致性损失函数；

45、优化好的基准模型为f(x；θ*)。

46、可选的，所述对待查询样本中的图像与候选样本中的图像进行目标匹配识别，包括：

47、采用优化好的基准模型中的模型特征提取器提取待查询样本与候选样本的特征，并对提取的特征进行相似性计算，按计算结果的大小进行降序排序；

48、确定匹配识别阈值，选取候选图像子集中排序小于等于匹配识别阈值的候选图像作为匹配识别结果。

49、第二方面，本技术实施例提供一种基于多重一致性感知的目标识别系统，包括处理器、存储器；

50、存储器，用于存放计算机程序；

51、处理器，用于执行存储器上所存放的程序时，实现第一方面中任一所述的方法步骤。

52、有益效果：

53、本发明提供的基于多重一致性感知的目标识别方法，通过引入自一致性感知策略挖掘目标给定标签和预测标签之间的一致性关系，并为那些挖掘的干净样本分配更大的权重，防止对模型对噪声标签过拟合。此外引入了动态权重，随着模型训练自适应赋予损失函数项不同权重，可有效解决识别模型对噪声标签鲁棒性低的问题；

54、同时，为了避免标签噪声的副作用，引入了上下文一致性学习策略，即同一类的样本在特征空间中的相似性要高于不同类的样本。上下文一致性策略没有采用模型预测作为伪标签，而是引入了额外的邻居一致性损失，通过惩罚每个样本的预测偏离其邻居预测的加权组合，鼓励每个样本在特征空间中与其邻居有相似的预测，提高对噪声的鲁棒性；

55、并且，为了进一步增强模型的鲁棒性，引入了基于jensen shannon散度的跨视图一致性损失，旨在使样本在不同视角下预测标签的均值更接近真实标签，促进不同视角下样本预测标签之间的一致性；

56、通过自一致性感知策略、上下文一致性学习策略以及基于jensen shannon散度的跨视图一致性损失联合优化模型，进一步提高了模型在目标识别上的准确性。