一种难正负样本在线挖掘方法和人脸识别方法

技术特征：
1.一种难正负样本在线挖掘方法，用于人脸识别模型的训练过程，其特征在于，包括如下步骤：s1、获取由第一图形处理器从样本人脸对提取到的特征向量对；s2、根据所述特征向量对计算所述样本人脸对的损失函数；s3、根据所述损失函数，对所述样本人脸对进行难正负样本挖掘，得到包含难正负样本人脸对的目标样本集；s4、计算所述目标样本集中各所述难正负样本人脸对的梯度，并将所述梯度传送到第二图形处理器，以使所述第二图形处理器通过所述梯度进行反向传播，对模型参数进行调整，并将调整后的模型参数共享给所述第一图形处理器。2.如权利要求1所述的难正负样本在线挖掘方法，其特征在于，步骤s2中，当所述样本人脸对为二元组时，所述损失函数为：其中，y是所述样本人脸对的标签，当y＝0时表示所述样本人脸对为负样本对，当y＝1时表示所述样本人脸对为正样本对；d
a,b
是二元组的人脸图像a与b的度量距离，表征人脸图像a与b的特征向量之间的空间距离；β是预设的阈值，用于衡量正样本对下的二元组的度量距离是否足够小，或者衡量负样本对下的二元组的度量距离是否足够大；(β-d
a,b
)

表示hinge函数，形式为max(0,β-d
a,b
)，当d
a,b
大于或等于β时，max(0,β-d
a,b
)取值为0；当d
a,b
小于β时，max(0,β-d
a,b
)取值为β-d
a,b
；当所述样本人脸对为三元组时，所述损失函数为：l2＝d
a,b
(d
a,b-d
a,c
β)

其中，三元组包含人脸图像a、b、c，a与b构成正样本对，a与c构成负样本对；d
a,c
是人脸图像a与c的度量距离；(d
a,b-d
a,c
β)

表示hinge函数，形式为max(0,d
a,b-d
a,c
β)，当(d
a,b-d
a,c
β)大于0则取值为(d
a,b-d
a,c
β)，否则取值为0。3.如权利要求1所述的难正负样本在线挖掘方法，其特征在于，步骤s3具体包括：将所述样本人脸对的特征向量对添加到一特征向量池中；当所述特征向量池中特征向量对的数量达到预设数量时，以预设的采样策略对所述特征向量池中的特征向量对所对应的样本人脸对进行采样，得到所述目标样本集。4.如权利要求3所述的难正负样本在线挖掘方法，其特征在于，步骤s3中进行所述采样时，先将所述特征向量池中的特征向量对所对应的损失函数整理成损失函数矩阵，再通过预设的采样核在所述损失函数矩阵中进行采样，得到所述目标样本集。5.如权利要求4所述的难正负样本在线挖掘方法，其特征在于，将所述特征向量池中的特征向量对所对应的损失函数整理成损失函数矩阵，包括：计算所述特征向量池中的特征向量对所对应的损失函数的平均值和标准差；根据平均值和标准差，控制所述特征向量池中的特征向量对所对应的损失函数的分布，使其符合高斯分布且覆盖高于第一阈值的所有损失函数；将符合高斯分布的损失函数用于构建损失函数矩阵。6.如权利要求4所述的难正负样本在线挖掘方法，其特征在于，步骤s3中，以预设的采样策略对所述特征向量池中的特征向量对所对应的样本人脸对进行采样的步骤包括：
训练开始时，通过预设的第一采样方法对所述特征向量池中的特征向量对所对应的样本人脸对进行采样，得到当前次迭代时的包含难正负样本人脸对的目标样本集；并在训练过程中每次迭代时，判断是否需要切换采样方法，判断方法为：当通过所述第一采样方法得到的目标样本集中的样本人脸对数量小于所述特征向量池中特征向量对的数量的e％时，切换为第二采样方法进行采样；其中，e％是一预设的百分比阈值；或者，当所述特征向量池中特征向量对所对应的损失函数中最大者的值或所述损失函数矩阵中最大者的值小于f时，切换为所述第二采样方法进行采样；其中，0＜f＜0.5。7.如权利要求6所述的难正负样本在线挖掘方法，其特征在于，所述第一采样方法包括a1～a2：a1、利用所述预设的采样核在所述损失函数矩阵中选取采样区域，并计算所述采样区域内的损失函数之和；a2、根据所述损失函数之和的整数位n，从所述采样区域的损失函数中选取值最大的top n个损失函数所对应的样本人脸对，加入所述目标样本集；所述第二采样方法包括b1～b2：b1、利用所述预设的采样核在所述损失函数矩阵中选取采样区域，并计算所述采样区域内的损失函数的加权总和；b2、根据所述加权总和的整数位m，从所述采样区域的损失函数中选取值最大的top m个损失函数所对应的样本人脸对，加入所述目标样本集。8.如权利要求7所述的难正负样本在线挖掘方法，其特征在于，b1中通过如下公式确定所述采样区域内的损失函数的加权总和w：其中，j为当前迭代次数，t
j
为当前次迭代中特征向量池中的特征向量对的数量，l
t
为当前次迭代中第t个特征向量对所对应的损失函数，t
i
是上一次迭代中目标样本集内的样本人脸对的总数，l
k
是上一次迭代中目标样本集内的样本人脸对中第k个特征向量对所对应的损失函数。9.如权利要求7所述的难正负样本在线挖掘方法，其特征在于，还包括：将所述损失函数矩阵进行切片，得到预设尺寸的切片矩阵；再将所述切片矩阵进行叠加得到三维损失函数矩阵a*b*c，a*b表示切片矩阵的尺寸，一个a*b的切片矩阵表示包含有a*b个损失函数，c表示切片矩阵的数量；利用由c个所述预设的采样核叠加构成的三维采样核，对所述三维损失函数矩阵a*b*c实施所述第一采样方法和所述第二采样方法进行采样，得到所述目标样本集。10.如权利要求7所述的难正负样本在线挖掘方法，其特征在于，在所述第二采样方法中，对所述预设的采样核进行随机掩码，所述随机掩码包括：首先，获取当前次迭代采样区域中最大的损失函数作为掩码值，然后在采样核中随机选取一位置使用掩码值进行掩码，使得采样过程中，被掩码位置的损失函数输出为掩码值。11.如权利要求1所述的难正负样本在线挖掘方法，其特征在于，步骤s4中将调整后的
模型参数共享给所述第一图形处理器，包括：计算当前次迭代中第二图形处理器调整后的模型参数与第一图形处理器的模型参数的差值；将所述差值传到第一图形处理器中与第一图形处理器的模型参数相加，即实现将第二图形处理器调整后的模型参数共享到所述第一图形处理器。12.一种难正负样本在线挖掘装置，用于人脸识别模型的训练过程，其特征在于，包括一中央处理器单元和连接于该中央处理单元的第一图形处理器与第二图形处理器；所述第一图形处理器被配置为：从样本人脸对提取特征向量对；所述中央处理器单元被配置为：根据所述特征向量对计算所述样本人脸对的损失函数，以及根据所述损失函数，对所述样本人脸对进行难正负样本挖掘，得到包含难正负样本人脸对的目标样本集，并计算所述目标样本集中各所述难正负样本人脸对的梯度；所述第二图形处理器被配置为：从所述中央处理器单元接收所述梯度，并通过所述梯度进行反向传播，对模型参数进行调整，并将调整后的模型参数共享给所述第一图形处理器。13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，能实现权利要求1-11任一项所述难正负样本在线挖掘方法的步骤。14.一种人脸识别方法，包括人脸识别模型的训练过程，其特征在于，所述训练过程包含权利要求1至11任一项所述的难正负样本在线挖掘方法的步骤。

技术总结
本发明公开了一种难正负样本在线挖掘方法，用于人脸识别模型的训练过程，包括如下步骤：S1、获取由第一图形处理器从样本人脸对提取到的特征向量对；S2、根据所述特征向量对计算所述样本人脸对的损失函数；S3、根据所述损失函数，对所述样本人脸对进行难正负样本挖掘，得到包含难正负样本人脸对的目标样本集；S4、计算所述目标样本集中各所述难正负样本人脸对的梯度，并将所述梯度传送到第二图形处理器，以使所述第二图形处理器通过所述梯度进行反向传播，对模型参数进行调整，并将调整后的模型参数共享给所述第一图形处理器。模型参数共享给所述第一图形处理器。模型参数共享给所述第一图形处理器。


技术研发人员：郑文先 陶映帆 杨文明 廖庆敏
受保护的技术使用者：清华大学深圳国际研究生院
技术研发日：2022.05.20
技术公布日：2022/7/19