一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

模型训练方法、装置、电子设备和计算机可读存储介质与流程

2022-11-23 15:40:01 来源:中国专利 TAG:


1.本技术实施例涉及机器视觉技术领域,特别涉及一种模型训练方法、装置、电子设备和计算机可读存储介质。


背景技术:

2.在新冠疫情的背景下,为了自身和他人的生命安全,外出时佩戴口罩是必要的、最有效的防护措施,尤其是在商场、地铁站、火车站、机场等人员密集的场所,佩戴口罩不仅可以防止病人喷射飞沫,降低飞沫量和喷射速度,还可以阻挡含病毒的飞沫核,防止佩戴者吸入,从而降低新型冠状病毒感染风险。
3.然而,人们在佩戴口罩时,面部的口鼻区域几乎被完全遮挡,这对人脸识别、身份认证等技术造成了很大的影响,如果摘下口罩进行人脸识别则有着很大的交叉感染风险,如果人们佩戴口罩进行安防监控、闸机门禁、手机解锁等人脸识别,识别准确率则非常低,并且容易受到光照条件、拍摄设备风格等因素的影响,给人们日常的上班、上学、出行、购物带来了很大的不便。


技术实现要素:

4.本技术实施例的目的在于提供一种模型训练方法、装置、电子设备和计算机可读存储介质,大幅提升了戴口罩人脸识别模型的识别准确率和模型的泛化性,极大地方便了人们在疫情下的日常生活。
5.为解决上述技术问题,本技术的实施例提供了一种模型训练方法,包括以下步骤:将样本图像输入至辅助网络的特征提取网络,得到所述样本图像对应的多通道特征图和人脸特征值;其中,所述样本图像为若干组对应的戴口罩人脸样本图像和不戴口罩人脸样本图像,所述样本图像上标注有表征真实类别的标签,所述辅助网络包括所述特征提取网络、分类层和图像生成网络;将所述人脸特征值输入至所述分类层,得到所述分类层对所述样本图像的分类结果;将所述多通道特征图输入至所述图像生成网络,得到三通道的重建图像;根据所述分类结果、所述标签、所述样本图像、所述重建图像和预设的注意力图,训练所述辅助网络,并基于训练完成的特征提取网络构建人脸识别模型;其中,所述预设的注意力图中的两个人眼位置为均值中心。
6.本技术的实施例还提供了一种模型训练装置,包括:提取执行模块,用于将样本图像输入至辅助网络的特征提取网络,得到所述样本图像对应的多通道特征图和人脸特征值,其中,所述样本图像为若干组对应的戴口罩人脸样本图像和不戴口罩人脸样本图像,所述样本图像上标注有表征真实类别的标签,所述辅助网络包括所述特征提取网络、分类层和图像生成网络;分类执行模块,用于将所述人脸特征值输入至所述分类层,得到所述分类层对所述样本图像的分类结果;重建执行模块,用于将所述多通道特征图输入至所述图像生成网络,得到三通道的重建图像;迭代训练模块,用于根据所述分类结果、所述标签、所述样本图像、所述重建图像和预设的注意力图,训练所述辅助网络,其中,所述预设的注意力
图中的两个人眼位置为均值中心;构建模块,用于基于训练完成的特征提取网络构建人脸识别模型。
7.本技术的实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的模型训练方法。
8.本技术的实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的模型训练方法。
9.本技术的是实施例提供的模型训练方法、装置、电子设备和计算机可读存储介质,将样本图像输入至辅助网络的特征提取网络,得到该样本图像对应的多通道特征图和人脸特征值,输入的样本图像为若干组对应的戴口罩人脸样本图像和不戴口罩人脸样本图像,每个样本图像上均标注有表征真实类别的标签,辅助网络包括特征提取网络、分类层和图像生成网络三部分,服务器将人脸特征值输入至分类层,得到分类层对样本图像的分类结果,并将多通道特征图输入至图像生成网络,得到三通道的重建图像,最后根据分类层对样本图像的分类结果、样本图像上标注的标签、样本图像、重建图像和预设的注意力图,训练该辅助网络,基于训练完成的特征提取网络构建人脸识别模型,其中,预设的注意力图中的两个人眼位置为均值中心,考虑到简单地使用戴口罩人脸图像和不戴口罩人脸图像训练出的戴口罩人脸识别模型识别准确率较低,容易受到光照条件、拍摄设备风格等因素的影响,本技术的实施例使用辅助网络来实现对人脸识别模型的训练,通过图像生成网络、分类层、以及特征提取网络本身来约束特征提取网络,并引入了对抗训练和注意力机制的思想,训练倾向更注重人戴口罩时露出的双眼区域的特征,忽略光照、设备风格等与身份认证无关的特征,有效提升了戴口罩人脸识别模型的识别准确率和模型的泛化性,极大地方便了人们在疫情下的日常生活。
10.另外,所述根据所述分类结果、所述标签、所述样本图像、所述重建图像和预设的注意力图,训练所述辅助网络,包括:根据所述分类结果、所述标签、分类的类别总数、预设的分类权重、预设的间隔因子和预设的尺度因子,构建分类损失函数;根据所述样本图像和所述重建图像,构建重建损失函数;根据所述重建损失函数和所述注意力图,构建对抗约束损失函数;以所述分类损失函数、所述重建损失函数和所述对抗约束损失函数为监督,训练所述辅助网络至所述分类损失函数、所述重建损失函数和所述对抗约束损失函数均收敛,得到训练完成的辅助网络;其中,所述分类损失函数作用于所述特征提取网络和所述分类层,所述重建损失函数作用于所述特征提取网络和所述图像生成网络,所述对抗约束损失函数作用于所述特征提取网络,本技术根据辅助网络各部分的输出成分,构建了三个作用不同的损失函数,基于这三个损失函数分别对辅助网络中的不同部分进行针对性的训练,同时这三个损失函数都能作用到特征提取网络,这样训练出的特征提取网络提取出的人脸特征更具有倾向性,尤其能精准高效地提取出人脸眼部区域的特征,更能满足戴口罩人脸识别的实际需要。
11.另外,所述样本图像通过以下步骤获取:获取若干第一不戴口罩人脸图像,以及与所述第一不戴口罩人脸图像为同一人脸的第一戴口罩人脸图像;获取若干第二不戴口罩人脸图像,并根据所述第二不戴口罩人脸图像和预设的模拟口罩数据,生成与所述第二不戴
口罩人脸图像对应的第二戴口罩人脸图像;将所述第一不戴口罩人脸图像、所述第一戴口罩人脸图像、所述第二不戴口罩人脸图像和所述第二戴口罩人脸图像作为样本图像,生成训练样本集,本技术使用的训练样本集中包括真实的不戴口罩人脸图像、真实的戴口罩人脸图像、以及模拟的戴口罩人脸图像,对于同一人脸来说,每一个不戴口罩人脸图像都有对应的戴口罩人脸图像,样本数据非常均衡,可以有效防止训练出的人脸识别模型过拟合。
12.另外,所述将样本图像输入至辅助网络的特征提取网络,包括:对所述样本图像进行人脸检测,确定出所述样本图像的原始人脸区域和人脸关键点;其中,所述人脸关键点至少包括左眼角点、右眼角点、鼻尖点、左嘴角点和右嘴角点;根据所述人脸关键点的坐标和预设的模板关键点的坐标,计算得到所述样本图像对应的相似矩阵;基于所述相似矩阵对所述样本图像进行变换,并根据预设尺寸和所述原始人脸区域裁剪变换后的样本图像,得到标准图像;将所述标准图像输入至辅助网络的特征提取网络,考虑到样本图像的来源不同,图像的尺寸、质量并不统一,因此本技术的实施例先对样本图像进行标准化处理,标准化处理后的样本图像即标准图像中仅包含有价值的人脸区域,并且所有标准图像的大小是相同的,便于后续特征提取网络的特征提取,从而进一步提升了人脸识别模型的训练效果。
13.另外,所述辅助网络的所述特征提取网络分别与所述分类层和所述生成网络连接,所述特征提取网络的输入为所述样本图像,所述特征提取网络的输出为所述多通道特征图和所述人脸特征值,所述分类层的输入为所述人脸特征值,所述人脸特征值是对所述多通道特征图进行全局池化操作得到的,所述分类层的输出为对所述样本图像的分类结果,所述图像生成网络的输入为所述多通道特征图,所述图像生成网络的输出为所述三通道的重建图像,行业内通用的模型训练方法是对初始参数的人脸识别模型进行迭代训练,初始参数的人脸识别模型的主要组成部分为一个特征提取网络和一个分类层,而本技术使用辅助网络来进行训练,较行业内通用的模型训练方法而言,本技术的实施例引入了一个图像生成网络与特征提取网络形成对抗,这样训练出的人脸识别模型稳定性、泛化性更强,识别效果更好。
附图说明
14.一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定。
15.图1是本技术的一个实施例的模型训练方法的流程图;
16.图2是本技术的一个实施例中提供的一种戴口罩人脸图像;
17.图3是本技术的一个实施例中提供的一种辅助网络的结构示意图;
18.图4是本技术的一个实施例中,根据样本图像的分类结果、样本图像上标注的标签、样本图像本身、重建图像和预设的注意力图,训练辅助网络的流程图;
19.图5是本技术的一个实施例中,获取样本图像的流程图;
20.图6是本技术的一个实施例中,将样本图像输入至辅助网络的特征提取网络的流程图;
21.图7是本技术的另一个实施例的模型训练装置的示意图;
22.图8是本技术的另一个实施例的电子设备的结构示意图。
具体实施方式
23.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合附图对本技术的各实施例进行详细的阐述。然而,本领域的普通技术人员可以理解,在本技术各实施例中,为了使读者更好地理解本技术而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本技术的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
24.本技术的一个实施例涉及一种模型训练方法,应用于电子设备,其中,电子设备可以为终端或服务器,本实施例以及以下各个实施例中电子设备以服务器为例进行说明,下面对本实施例的模型训练方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
25.本实施例的模型训练方法的具体流程可以如图1所示,包括:
26.步骤101,将样本图像输入至辅助网络的特征提取网络,得到样本图像对应的多通道特征图和人脸特征值,样本图像上标注有表征真实类别的标签,辅助网络包括特征提取网络、分类层和图像生成网络。
27.在具体实现中,用于模型训练的辅助网络由特征提取网络、分类层和图像生成网络三部分组成,服务器将训练样本集中的样本图像输入至辅助网络的特征提取网络中,得到特征提取网络输出的该样本图像对应的多通道特征图和人脸特征值,其中,样本图像上标注有表征真实类别的标签,样本图像为若干组对应的戴口罩人脸样本图像和不戴口罩人脸样本图像。
28.在一个例子中,服务器可以从各种开源数据库中获取若干组对应的戴口罩人脸样本图像和不戴口罩人脸样本图像,每一组对应的戴口罩人脸样本图像和不戴口罩人脸样本图像中的人脸为同一人脸,图2提供了一种戴口罩人脸图像,人脸的鼻子区域和嘴部区域均被完全遮挡,而眼部区域则未被遮挡。
29.在一个例子中,辅助网络的各组成部分之间的关系如图3所示,特征提取网络201分别与分类层202和图像生成网络203连接,特征特征提取网络的输入为样本图像,特征提取网络的输出为多通道特征图和人脸特征值,其中,人脸特征值是对多通道特征图进行全局池化操作得到的,这一操作在特征提取网络内部完成。
30.在一个例子中,特征提取网络的网络结构可以为resnet18网络结构,特征提取网络从样本图像中提取出的人脸特征值可以为128维的人脸特征、256维的人脸特征、或512维的人脸特征。
31.步骤102,将人脸特征值输入至分类层,得到分类层对样本图像的分类结果。
32.在具体实现中,服务器在得到样本图像对应的多通道特征图和人脸特征值后,可以将人脸特征值输入至分类层,分类层根据预设的分类标准对样本图像进行分类并输出分类结果,服务器从而得到分类层对该样本图像的分类结果。
33.在一个例子中,辅助网络的各组成部分之间的关系如图3所示,特征提取网络201分别与分类层202和图像生成网络203连接,分类层202的输入为人脸特征值,输出为对输入至特征提取网络201的样本图像的分类结果。
34.步骤103,将多通道特征图输入至图像生成网络,得到三通道的重建图像。
35.具体而言,服务器在得到样本图像对应的多通道特征图和人脸特征值后,可以将多通道特征图输入至图像生成网络,得到三通道的重建图像,重建图像与样本图像都是三通道的图像,重建图像与样本图像的尺寸相同。
36.在一个例子中,辅助网络的各组成部分之间的关系如图3所示,特征提取网络201分别与分类层202和图像生成网络203连接,图像生成网络203的输入为多通道特征图,输出为与输入至特征提取网络201的样本图像对应的三通道的重建图像。
37.在一个例子中,图像生成网络主要由上采样层、卷积层和激活层构成。
38.在具体实现中,服务器在执行完步骤101后,可以先执行步骤102再执行步骤103,也可以先执行步骤103再执行步骤102,还可以同时执行步骤102和步骤103。
39.步骤104,根据样本图像的分类结果、样本图像上标注的标签、样本图像、重建图像和预设的注意力图,训练辅助网络,并基于训练完成的特征提取网络构建人脸识别模型。
40.具体而言,服务器在分别得到样本图像的分类结果和重建图像后,可以根据样本图像的分类结果、样本图像上标注的标签、样本图像、重建图像和预设的注意力图,训练辅助网络,并基于训练完成的特征提取网络构建人脸识别模型,其中,预设的注意力图中的两个人眼位置为均值中心。
41.在具体实现中,辅助网络是训练戴口罩人脸识别模型的工具,辅助网络中的特征提取网络其实就是戴口罩人脸识别模型核心部分之一,而辅助网络中的分类层和图像生成网络虽然也被迭代训练,但分类层和图像生成网络并不是戴口罩人脸识别模型的组成部分,因此本技术在对辅助网络训练完成后,只取出训练完成的辅助网络的特征提取网络,也就是训练完成的特征提取网络,服务器基于训练完成的特征提取网络构建人脸识别模型,在特征提取网络的基础上根据实际场景需求加上合适的分类层等单元。
42.在具体实现中,本技术训练辅助网络时,样本图像本身和重建图像实际上构成了对抗训练机制,随着迭代训练的训练次数的增加,对抗训练机制的存在会使得特征提取网络提取出的人脸特征愈发精准。
43.在具体实现中,本技术训练辅助网络时,还引入了注意力机制,即结合预设的注意力图进行训练,注意力图实际上就是一张高斯分布图,注意力图中的两个人眼位置为均值中心,均值为1,越靠近两个人眼位置的点的均值越接近1,越远离两个人眼位置的点的均值越接近 0,可以理解为给人脸图像每一个点都赋予一个权重值,由于注意力图的的存在,训练时会特别注意人脸特征的眼部特征,逐渐忽略人脸特征的鼻子特征、嘴部特征等,更不会考虑光照因素、拍摄设备风格等与人脸本身没有关系的特征。
44.在一个例子中,服务器可以基于样本图像的分类结果、样本图像上标注的标签、样本图像、重建图像和预设的注意力图构建一个损失函数,以该损失函数为监督,训练整个辅助网络至该损失函数收敛,得到训练完成的辅助网络。
45.本实施例,服务器将样本图像输入至辅助网络的特征提取网络,得到该样本图像对应的多通道特征图和人脸特征值,输入的样本图像为若干组对应的戴口罩人脸样本图像和不戴口罩人脸样本图像,每个样本图像上均标注有表征真实类别的标签,辅助网络包括特征提取网络、分类层和图像生成网络三部分,服务器将人脸特征值输入至分类层,得到分类层对样本图像的分类结果,并将多通道特征图输入至图像生成网络,得到三通道的重建图像,最后根据分类层对样本图像的分类结果、样本图像上标注的标签、样本图像、重建图
像和预设的注意力图,训练该辅助网络,基于训练完成的特征提取网络构建人脸识别模型,其中,预设的注意力图中的两个人眼位置为均值中心,考虑到简单地使用戴口罩人脸图像和不戴口罩人脸图像训练出的戴口罩人脸识别模型识别准确率较低,容易受到光照条件、拍摄设备风格等因素的影响,本技术的实施例使用辅助网络来实现对人脸识别模型的训练,通过图像生成网络、分类层、以及特征提取网络本身来约束特征提取网络,并引入了对抗训练和注意力机制的思想,训练倾向更注重人戴口罩时露出的双眼区域的特征,忽略光照、设备风格等与身份认证无关的特征,有效提升了戴口罩人脸识别模型的识别准确率和模型的泛化性,极大地方便了人们在疫情下的日常生活。
46.在一个实施例中,服务器根据样本图像的分类结果、样本图像上标注的标签、样本图像本身、重建图像和预设的注意力图,训练辅助网络,可以通过如图4所示的各步骤实现,具体包括:
47.步骤301,根据样本图像的分类结果、样本图像上标注的标签、分类的类别总数、预设的分类权重、预设的间隔因子和预设的尺度因子,构建分类损失函数。
48.具体而言,服务器在分别得到样本图像的分类结果和重建图像后,可以先根据样本图像的分类结果、样本图像上标注的标签、分类的类别总数、预设的分类权重、预设的间隔因子和预设的尺度因子,构建分类损失函数,分类损失函数对辅助网络的训练从分类功能的角度进行约束,使得特征提取模型提取出的人脸特征后续的分类更加准确,也就使得特征提取模型提取出的人脸特征更加准确。
49.在具体实现中,服务器可以按照加性角度边距损失(arcface),或者增强边缘余弦损失 (cosface)等损失函数的形式构建分类损失函数。
50.在一个例子中,服务器可以通过以下公式根据样本图像的分类结果、样本图像上标注的标签、分类的类别总数、预设的分类权重、预设的间隔因子和预设的尺度因子,构建分类损失函数:
[0051][0052][0053]
式中,r为分类的类别总数,wr为第r个类别对应的预设的分类权重,s为预设的尺度因子, m为预设的间隔因子,x为人脸特征值,y为分类的类别总数,l
arc
为构建的分类损失函数,为wr与x之间的余弦角度,为wr与x之间的余弦距离。
[0054]
步骤302,根据样本图像和重建图像,构建重建损失函数。
[0055]
具体而言,服务器得到重建图像后,可以根据样本图像本身和重建图像,构建重建损失函数,重建损失函数对辅助网路的训练从重建功能的角度进行约束,使得重建图像更接近样本图像本身,也就使得特征提取网络提取出的多通道特征图、人脸特征值更加精准。
[0056]
在一个例子中,服务器可以通过以下公式,根据样本图像本身和重建图像,构建重建损失函数:
[0057]
l
rec
=‖i-i
*
‖2[0058]
式中,i为样本图像本身,i
*
为重建图像,l
rec
为构建的重建损失函数。
[0059]
在一个例子中,服务器可以先执行步骤301再执行步骤302,也可以先执行步骤302再执行步骤301,还可以同时执行步骤301和步骤302。
[0060]
步骤303,根据重建损失函数和注意力图,构建对抗约束损失函数。
[0061]
具体而言,服务器在构建完重建损失函数后,可以根据重建损失函数和注意力图,构建对抗约束损失函数,对抗约束损失函数对辅助网路的训练从对抗训练的角度进行约束。
[0062]
在一个例子中,服务器可以通过以下公式,根据重建损失函数和注意力图,构建对抗约束损失函数:
[0063]
l
unrec
=e[h*(1-l
rec
)]
[0064]
式中,l
rec
为重建损失函数,h为注意力图,e[
·
]表示期望运算。
[0065]
步骤304,以分类损失函数、重建损失函数和对抗约束损失函数为监督,训练辅助网络至分类损失函数、重建损失函数和对抗约束损失函数均收敛,得到训练完成的辅助网络。
[0066]
在具体实现中,服务器构建完分类损失函数、重建损失函数、以及对抗约束损失函数后,可以以分类损失函数、重建损失函数和对抗约束损失函数为监督,训练辅助网络至分类损失函数、重建损失函数和对抗约束损失函数均收敛,得到训练完成的辅助网络,其中,分类损失函数作用于特征提取网络和分类层,重建损失函数作用于特征提取网络和图像生成网络,对抗约束损失函数作用于特征提取网络。
[0067]
本实施例,服务器根据辅助网络各部分的输出成分,构建了三个作用不同的损失函数,基于这三个损失函数分别对辅助网络中的不同部分进行针对性的训练,同时这三个损失函数都能作用到特征提取网络,这样训练出的特征提取网络提取出的人脸特征更具有倾向性,尤其能精准高效地提取出人脸眼部区域的特征,更能满足戴口罩人脸识别的实际需要。
[0068]
在一个实施例中,服务器可以通过如图5所示的各步骤获取样本图像,具体如下:
[0069]
步骤401,获取若干第一不戴口罩人脸图像,以及与第一不戴口罩人脸图像为同一人脸的第一戴口罩人脸图像。
[0070]
在具体实现中,服务器可以从各种开源数据库中获取若干组对应的第一不戴口罩人脸图像和与第一不戴口罩人脸图像为同一人脸的第一戴口罩人脸图像,保证每一组对应的戴口罩人脸图像和不戴口罩人脸图像中的人脸为同一人脸。
[0071]
步骤402,获取若干第二不戴口罩人脸图像,并根据第二不戴口罩人脸图像和预设的模拟口罩数据,生成与第二不戴口罩人脸图像对应的第二戴口罩人脸图像。
[0072]
在具体实现中,开源数据中的不戴口罩人脸图像明显更多、更容易获取,但为了训练样本的数据平衡性,必须保证每一个不戴口罩人脸样本图像都对应有同一人脸的不戴口罩人脸样本图像,因此本实施例可以获取若干第二不戴口罩人脸图像,并根据第二不戴口罩人脸图像和预设的模拟口罩数据,生成与第二不戴口罩人脸图像对应的第二戴口罩人脸图像,保证训练样本的数据平衡性。
[0073]
步骤403,将第一不戴口罩人脸图像、第一戴口罩人脸图像、第二不戴口罩人脸图像和第二戴口罩人脸图像作为样本图像,生成训练样本集。
[0074]
在具体实现中,服务器将第一不戴口罩人脸图像、第一戴口罩人脸图像、第二不戴
口罩人脸图像和第二戴口罩人脸图像作为样本图像,生成训练样本集,使得训练样本集中包括真实的不戴口罩人脸图像、真实的戴口罩人脸图像、以及模拟的戴口罩人脸图像,对于同一人脸来说,每一个不戴口罩人脸图像都有对应的戴口罩人脸图像,样本数据非常均衡,可以有效防止训练出的人脸识别模型过拟合。
[0075]
在一个实施例中,服务器将样本图像输入至辅助网络的特征提取网络,可以通过如图6 所示的各步骤实现,具体包括:
[0076]
步骤501,对样本图像进行人脸检测,确定出样本图像的原始人脸区域和人脸关键点。
[0077]
具体而言,服务器在拿到样本图像后,先基于预设的人脸检测算法对本图像进行人脸检测,确定出样本图像的原始人脸区域和人脸关键点,人脸关键点至少包括左眼角点、右眼角点、鼻尖点、左嘴角点和右嘴角点。
[0078]
在具体实现中,对于不戴口罩人脸样本图像,服务器可以按照常规方式确定出原始人脸区域和人脸关键点,而对于戴口罩人脸样本图像,眼睛区域没有被遮挡,服务器可以按照常规方式确定出左眼角点和右眼角点,而虽然戴口罩人脸样本图像的鼻子区域和嘴部区域被完全遮挡,但服务器可以根据预设的经验规则估计出原始人脸区域和人脸关键点。
[0079]
步骤502,根据人脸关键点的坐标和预设的模板关键点的坐标,计算得到样本图像对应的相似矩阵。
[0080]
步骤503,基于相似矩阵对样本图像进行变换,并根据预设尺寸和原始人脸区域裁剪变换后的样本图像,得到标准图像。
[0081]
在具体实现中,服务器从开源数据库中获取到的样本图像大小不一、拍摄角度不一、人脸在图像中的位置也各有不同,这在训练时很不规范,因此本技术需要对样本图像进行“标准化”、“对齐化”的操作,服务器先根据确定出的人脸关键点的坐标和预设的模板关键点的坐标,计算得到样本图像对应的相似矩阵,再基于相似矩阵对样本图像进行变换,得到变换后的样本图像,变换后的样本图样人脸已变换到指定位置,服务器只需根据预设尺寸和原始人脸区域裁剪变换后的样本图像,即可得到大小统一、风格统一的标准图像。
[0082]
步骤504,将标准图像输入至辅助网络的特征提取网络。
[0083]
在具体实现中,服务器在得到标准图像后,可以将标准图像输入至辅助网络的特征提取网络,考虑到样本图像的来源不同,图像的尺寸、质量并不统一,因此本技术的实施例先对样本图像进行标准化处理,标准化处理后的样本图像即标准图像中仅包含有价值的人脸区域,并且所有标准图像的大小是相同的,便于后续特征提取网络的特征提取,从而进一步提升了人脸识别模型的训练效果。
[0084]
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0085]
本技术的另一个实施例涉及一种模型训练装置,下面对本实施例的模型训练装置的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须,本实施例的模型训练装置的示意图可以如图7所示,包括:
[0086]
提取执行模块601,用于将样本图像输入至辅助网络的特征提取网络,得到样本图
像对应的多通道特征图和人脸特征值,其中,样本图像为若干组对应的戴口罩人脸样本图像和不戴口罩人脸样本图像,样本图像上标注有表征真实类别的标签,辅助网络包括特征提取网络、分类层和图像生成网络。
[0087]
分类执行模块602,用于将人脸特征值输入至分类层,得到分类层对样本图像的分类结果。
[0088]
重建执行模块603,用于将多通道特征图输入至图像生成网络,得到三通道的重建图像。
[0089]
迭代训练模块604,用于根据分类结果、标签、样本图像、重建图像和预设的注意力图,训练辅助网络,其中,预设的注意力图中的两个人眼位置为均值中心。
[0090]
构建模块605,用于基于训练完成的特征提取网络构建人脸识别模型。
[0091]
值得一提的是,本实施例中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本技术的创新部分,本实施例中并没有将与解决本技术所提出的技术问题关系不太密切的单元引入,但这并不表明本实施例中不存在其它的单元。
[0092]
本技术另一个实施例涉及一种电子设备,如图8所示,包括:至少一个处理器701;以及,与所述至少一个处理器701通信连接的存储器702;其中,所述存储器702存储有可被所述至少一个处理器701执行的指令,所述指令被所述至少一个处理器701执行,以使所述至少一个处理器701能够执行上述各实施例中的模型训练方法。
[0093]
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
[0094]
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
[0095]
本技术另一个实施例涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
[0096]
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,简称:rom)、随机存取存储器(random access memory,简称:ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0097]
本领域的普通技术人员可以理解,上述各实施例是实现本技术的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本技术的精神和范围。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献