一种人脸识别调优方法及装置与流程

1.本发明涉及人工智能技术领域，具体涉及一种人脸识别调优方法和装置。另外，还涉及一种电子设备及非暂态计算机可读存储介质。


背景技术：

2.人脸识别是依据人的面部特征，自动进行身份识别的生物识别技术，又称为面像识别、相貌识别、面孔识别、面部识别等。通常所说的人脸识别是基于光学人脸图像的身份识别与验证的简称。随着计算机技术的迅速发展，人脸识别技术得到了广泛的研究与应用，人脸识别成为近30年里模式识别和图像处理中最热门的研究主题之一。人脸识别的目的是从人脸图像中抽取人的个性化特征，并以此来识别人的身份。在人脸识别技术商业化应用领域不断扩张的趋势下，“刷脸”办理业务越来越流行和便利。除了安防、金融这两大领域外，人脸识别在电信运营商业务受理和稽核等等诸多场景也实现了广泛的应用，且呈现出显著应用价值。
3.目前人脸识别主流技术基于人脸的几何结构特征，对面部剪影曲线的结构特征提取与分析。几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征。识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量。本质上是特征矢量之间的匹配，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。
4.然而，现有人脸识别技术在侧脸场景下识别容易出错，无法精准识别。尤其是采集图像中人脸偏转角度过大时，对图像做人脸检测所获取到的人脸框信息和人脸关键点信息很大可能出现偏差，一般来说，偏转角度越大，误差也越大。此时，将错误的人脸信息再次输入到特征提取网络中，使得提取出的人脸特征与底库特征中已存的正脸特征存在较大偏差，导致最终计算出的相似度低设定的阈值。如果当前采集人脸偏转角度过大，则可能对识别结果产生影响，导致验证不通过，无法快速实现人脸的验证，影响业务受理。因此，如何在人脸偏转角度过大情况下调优人脸识别过程成为本领域研究的重要课题。


技术实现要素：

5.为此，本发明提供一种人脸识别调优方法及装置，以解决现有技术中存在的人脸偏转角度过大情况下，人脸识别准确度和稳定性较差在的问题。
6.本发明提供一种人脸识别调优方法，包括：
7.确定人脸识别结果准确度；当所述人脸识别结果准确度低于预设准确度阈值时，进行人脸检测，获得人脸框及目标关键点的坐标信息，并根据坐标信息确定人脸的偏转角度；
8.当所述偏转角度达到或者超过预设的偏转角度阈值时，则基于正侧脸残差映射模型进行侧脸特征到正脸特征的映射，得到重映射的正脸特征；根据所述重映射的正脸特征进行人脸识别。
9.进一步的，所述正侧脸残差映射模型包括用于生成所述残差值的残差映射分支层
和用于确定人脸的偏转角度的头部姿态估计层；
10.所述基于正侧脸残差映射模型进行侧脸特征到正脸特征的映射，得到重映射的正脸特征，具体包括：
11.将原始特征提取模型提取的原始人脸特征向量输入到所述正侧脸残差映射模型中，通过偏差值控制正侧脸的残差变量，输出重映射的正脸特征。
12.进一步的，所述正侧脸残差映射模型以人脸特征样本、所述人脸特征样本对应的残差映射结果以及真实标签进行训练得到的；其中，所述人脸特征样本包含侧脸特征数据；
13.所述正侧脸残差映射模型用于基于对所述人脸特征样本进行特征提取得到的表示特征，对所述原始特征提取模型提取的原始人脸特征进行映射。
14.进一步的，所述确定人脸识别结果准确度，具体包括：
15.获取人脸图像进行人脸检测，提取所述人脸图像的人脸特征；
16.将所述人脸特征与底库特征进行比对确定相似度，并根据相似度确定人脸识别结果；
17.根据人脸识别准确度检测模型确定所述人脸识别结果对应的人脸识别结果准确度。
18.进一步的，所述根据所述重映射的正脸特征进行人脸识别，具体包括：将所述重映射的正脸特征与底库特征进行对比确定相似度，并根据相似度确定人脸识别结果。
19.进一步的，所述根据坐标信息确定人脸的偏转角度，具体包括：将所述坐标信息输入到所述正侧脸残差映射模型中的所述头部姿态估计层，得到人脸的偏转角度。
20.本发明还提供一种人脸识别调优装置，包括：
21.人脸识别结果准确度检测单元，用于确定人脸识别结果准确度；
22.偏转角度估计单元，用于当所述人脸识别结果准确度低于预设准确度阈值时，进行人脸检测，获得人脸框及目标关键点的坐标信息，并根据坐标信息确定人脸的偏转角度；
23.特征重映射单元，用于当所述偏转角度达到或者超过预设的偏转角度阈值时，则基于正侧脸残差映射模型进行侧脸特征到正脸特征的映射，得到重映射的正脸特征；
24.人脸识别单元，用于根据所述重映射的正脸特征进行人脸识别。
25.进一步的，所述正侧脸残差映射模型包括用于生成所述残差值的残差映射分支层和用于确定人脸的偏转角度的头部姿态估计层；所述特征重映射单元，具体用于：将原始特征提取模型提取的原始人脸特征向量输入到所述正侧脸残差映射模型中，通过偏差值控制正侧脸的残差变量，输出重映射的正脸特征。
26.进一步的，所述正侧脸残差映射模型以人脸特征样本、所述人脸特征样本对应的残差映射结果以及真实标签进行训练得到的；其中，所述人脸特征样本包含侧脸特征数据；
27.所述正侧脸残差映射模型用于基于对所述人脸特征样本进行特征提取得到的表示特征，对所述原始特征提取模型提取的原始人脸特征进行映射。
28.进一步的，所述人脸识别结果准确度检测单元，具体用于：
29.获取人脸图像进行人脸检测，提取所述人脸图像的人脸特征；
30.将所述人脸特征与底库特征进行比对确定相似度，并根据相似度确定人脸识别结果；
31.根据人脸识别准确度检测模型确定所述人脸识别结果对应的人脸识别结果准确
度。
32.进一步的，所述人脸识别单元，具体用于：将所述重映射的正脸特征与底库特征进行对比确定相似度，并根据相似度确定人脸识别结果。
33.进一步的，所述根据所述重映射的正脸特征进行人脸识别，具体包括：将所述重映射的正脸特征与底库特征进行对比确定相似度，并根据相似度确定人脸识别结果。
34.相应的，本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的人脸识别调优方法的步骤。
35.相应的，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的人脸识别调优方法的步骤。
36.采用本发明所述的人脸识别调优方法，弥补了现有的人脸识别能力的不足，通过算法模型训练和调优，获取人脸特征后，对偏转角度过大的人脸根据特征映射生成校正后的正脸特征，并计算重映射的正脸特征与底库特征的相似度，来实现人脸的快速验证，减少了最终计算人脸相似度时的误差，能够在人脸偏转角度较大的情况下，有效判断人脸特征，快速实现人脸识别，提高人脸识别准确性和鲁棒性。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
38.图1为本发明实施例提供的一种人脸识别调优方法的流程示意图；
39.图2为本发明实施例提供的人脸识别调优方法的整体流程图；
40.图3为本发明实施例提供的网络结构设计示意图；
41.图4为本发明实施例提供的一种人脸识别调优装置的结构示意图；
42.图5为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
44.下面基于本发明所述的人脸识别调优方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的人脸识别调优方法的流程示意图，具体实现过程包括以下步骤：
45.步骤101：确定人脸识别结果准确度。
46.在本发明实施例中，从摄像头、智能移动设备等终端采集人员的人脸图像，进行人脸检测及特征提取得到相应的人脸特征，计算所述人脸特征与底库中的目标人脸特征的相似度。当相似度达到预设的相似度阈值时，则判定识别出底库中目标人脸特征对应的目标
人员。
47.其中，判断算法的人脸识别结果是否准确，包括多种情况：真实为同一个人，算法也识别为同一个人，则识别正确的概率；真实为同一个人，算法识别为非同一个人，则识别错误的概率；识别不出，则识别失败的概率。具体的，可根据人脸识别准确度检测模型确定所述人脸识别结果对应的人脸识别结果准确度。该人脸识别准确度检测模型对应的算法公式如下：
48.rate＝mr(mr m1 m2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
49.式中，mr为识别正确的概率；m1为识别错误的概率；m2为识别不出的概率，即最大相似度低于预设的相似度阈值；rate为人脸识别结果准确度。
50.步骤102：当所述人脸识别结果准确度低于预设准确度阈值时，进行人脸检测，获得人脸框及目标关键点的坐标信息，并根据坐标信息确定人脸的偏转角度。
51.如图2所示，在具体实施过程中，当识别准确度较低，低于预先设定的准确度阈值，对人脸识别方案做出调整。首先进行人脸检测，获得人脸框及目标关键点的坐标信息；并根据坐标信息，通过正侧脸残差映射模型中的头部姿态估计层计算得到人脸的偏转角度。
52.步骤103：当所述偏转角度达到或者超过预设的偏转角度阈值时，则基于正侧脸残差映射模型进行侧脸特征到正脸特征的映射，得到重映射的正脸特征。
53.如图3所示，所述正侧脸残差映射模型包括用于生成所述残差值的残差映射分支层和用于确定人脸的偏转角度的头部姿态估计层两部分组成。其中，所述残差映射分支层，用于生成上述公式(2)中的r。残差映射分支层为两个fc层(全连接层)组成。使用此残差映射分支层的目的是减少侧脸和正脸之间的距离，具体公式如下：
54.dmin|f'(xs)-(f(xp) h(xp)*r(xp))|
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
55.式中，d为距离计算函数，用于计算侧脸输入和正脸之间距离的绝对值，通过训练此残差映射分支层来不断缩小正侧脸的距离值。
56.所述头部姿态估计层用于计算人脸的偏转角度，然后把计算得到的偏转角度映射到0-1之间，作为残差计算的系数。当人脸偏转角度过大时，该系数很快到达1，那么此时侧脸的残差部分迅速变大。
57.在本发明实施例中，当偏转角度达到或者超过预设的偏转角度阈值时，则针对侧脸识别进行调整，在原始特征提取模型的基础上添加正侧脸残差映射模型；将原始特征提取模型(即卷积神经网络模型)提取的原始人脸特征向量输入到所述正侧脸残差映射模型；通过偏差值控制正侧脸的残差变量，对原始人脸特征向量进行分析，实现侧脸特征和正脸特征的映射，输出校正后的重映射正脸特征。所述正侧脸残差映射模型是以人脸特征样本、所述人脸特征样本对应的残差映射结果以及真实标签进行训练得到的，其中，所述人脸特征样本包含侧脸特征数据。所述正侧脸残差映射模型用于基于对所述人脸特征样本进行特征提取得到的表示特征，对所述原始特征提取模型提取的原始人脸特征进行映射。
58.在具体实施过程中，训练正侧脸残差映射模型时，可利用深度学习的方法完成侧脸特征到正脸特征的映射。为了适应任意姿势的面部输入，引入了控制机制，通过偏差值自适应的控制正侧脸的残差变量，以适应各个角度的人脸输入。正侧脸残差映射模型对应残差公式为：
59.f'(xp)＝m(f(xp))＝f(xp) h(xp)*r(f(xp))＝f'(xs)
ꢀꢀꢀ
(3)
60.式中，xp表示正脸，xs表示侧脸，m表示侧脸到正脸的映射函数，f表示原始的卷积神经网络，f’为调优后的卷积神经网络。h(xp)表示新增模块中的偏差值，r为残差值。即正脸特征等于输入的原始人脸特征(即原始输入的侧脸特征)加上残差映射分支层中的偏差与残差的乘积。实践中，若输入的原始人脸特征是正脸，那由上述公式(3)可知，残差部分为0。
61.步骤104：根据所述重映射的正脸特征进行人脸识别。
62.具体的，将所述重映射的正脸特征与底库特征进行对比，计算重映射的正脸特征与底库特征的相似度，并根据相似度确定人脸识别结果，即大于预先设定的相似度阈值，则算法认为识别成功，否则识别失败。
63.采用本发明实施例所述的人脸识别调优方法，弥补了现有人脸识别能力的不足，通过算法模型训练和调优，获取人脸特征后，对偏转角度过大的人脸根据特征映射生成校正后的正脸特征，并计算重映射的正脸特征与底库特征的相似度，来实现人脸的快速验证，减少了最终计算人脸相似度时的误差，能够在人脸偏转角度较大的情况下，有效判断人脸特征，快速实现人脸识别，提高人脸识别准确性和鲁棒性。
64.与上述提供的一种人脸识别调优方法相对应，本发明还提供一种人脸识别调优装置。由于该装置的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的人脸识别调优装置的实施例仅是示意性的。请参考图4所示，其为本发明实施例提供的一种人脸识别调优装置的结构示意图。本发明所述的一种人脸识别调优装置具体包括如下部分：
65.人脸识别结果准确度检测单元401，用于确定人脸识别结果准确度。
66.偏转角度估计单元402，用于当所述人脸识别结果准确度低于预设准确度阈值时，进行人脸检测，获得人脸框及目标关键点的坐标信息，并根据坐标信息确定人脸的偏转角度；
67.特征重映射单元403，用于当所述偏转角度达到或者超过预设的偏转角度阈值时，则基于正侧脸残差映射模型进行侧脸特征到正脸特征的映射，得到重映射的正脸特征；
68.人脸识别单元404，用于根据所述重映射的正脸特征进行人脸识别。
69.采用本发明实施例所述的人脸识别调优装置，弥补了现有人脸识别能力的不足，通过算法模型训练和调优，获取人脸特征后，对偏转角度过大的人脸根据特征映射生成校正后的正脸特征，并计算重映射的正脸特征与底库特征的相似度，来实现人脸的快速验证，减少了最终计算人脸相似度时的误差，能够在人脸偏转角度较大的情况下，有效判断人脸特征，快速实现人脸识别，提高人脸识别准确性和鲁棒性。
70.与上述提供的人脸识别调优方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图5所示，其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器(processor)501、存储器(memory)502和通信总线503，其中，处理器501，存储器502通过通信总线503完成相互间的通信。处理器501可以调用存储器502中的逻辑指令，以执行人脸识别调优方法，该方法包括：确定人脸识别结果准确度，当所述人脸识别结果准确度低于预设准确度阈值时，进行人脸检测，获得人脸框及目标关键点的坐标信息，并根据坐标信息确定人脸的偏转角度；
当所述偏转角度达到或者超过预设的偏转角度阈值时，则基于正侧脸残差映射模型进行侧脸特征到正脸特征的映射，得到重映射的正脸特征，并根据所述重映射的正脸特征进行人脸识别。
71.此外，上述的存储器502中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
72.另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的人脸识别调优方法，该方法包括：确定人脸识别结果准确度，当所述人脸识别结果准确度低于预设准确度阈值时，进行人脸检测，获得人脸框及目标关键点的坐标信息，并根据坐标信息确定人脸的偏转角度；当所述偏转角度达到或者超过预设的偏转角度阈值时，则基于正侧脸残差映射模型进行侧脸特征到正脸特征的映射，得到重映射的正脸特征，并根据所述重映射的正脸特征进行人脸识别。
73.又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的人脸识别调优方法，该方法包括：确定人脸识别结果准确度，当所述人脸识别结果准确度低于预设准确度阈值时，进行人脸检测，获得人脸框及目标关键点的坐标信息，并根据坐标信息确定人脸的偏转角度；当所述偏转角度达到或者超过预设的偏转角度阈值时，则基于正侧脸残差映射模型进行侧脸特征到正脸特征的映射，得到重映射的正脸特征，并根据所述重映射的正脸特征进行人脸识别。
74.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
75.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
76.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。