基于ConvLSTM网络模型的人脸图像年龄估计方法与流程

基于convlstm网络模型的人脸图像年龄估计方法
技术领域
1.本发明属于计算机视觉自动识别技术领域，特别是涉及基于convlstm网络模型的人脸图像年龄估计方法。


背景技术：

2.人脸图像包含了丰富的生理特征信息，如性别、年龄、情感、种族等，是生物特征识别研究方向之一。人脸年龄估计是指根据给定的人脸图像，估计出图像中人脸所对应的年龄值。随着深度学习技术的发展，人脸识别技术在安全、医疗、教育、金融等行业得到大范围应用。
3.目前基于人脸图像的年龄估计随着深度学习技术的发展趋于成熟并走向应用，但年龄估计随着生活环境、健康状况、生活习惯、遗传因素等的不同而呈现动态变化的过程，所以年龄估计任然是一项具有挑战性的任务。本文提出一种基于convlstm网络模型的人脸图像年龄估计方法，通过全局特征和局部特征的分别提取，对年龄进行分类预测后加权求平均的方式获得最终的预测结果，在保证参数一致性的前提下能有效减少网络复杂度和提升预测准确率。


技术实现要素：

4.本发明首先静态人脸图像在预处理进行人脸检测，对人脸图像进行人脸对齐操作并标注出人脸关键点和人脸关键部位，其中关键点主要包括眉毛、眼睛、鼻子、嘴巴等，关键部位主要有额头部位、脸颊部位、眼袋部位、上下颚部位等。对标注后的人脸图像进行多尺度人脸子块裁剪，能够更好的提取全局人脸信息和局部人脸信息。在特征提取通过双通道神经网络模型对全局特征和局部特征分别进行提取，具体通过cnn网络模型提取全局人脸特征，通过convlstm网络模型提取局部人脸特征。对提取的全局人脸特征和局部人脸特征分别通过年龄估计中的分类预测模型估计出不同的年龄值。在平均加权对估计出的年龄值进行加权求平均值得到最终的预测结果。
5.本发明专利解决技术问题的方案是：基于convlstm网络模型的人脸图像年龄估计方法，包括如下步骤：a、人脸图像预处理人脸图像首先通过几何轮廓方法进行人脸检测，几何轮廓方法在静态人脸图像中检测出人脸根据人脸形状构建人脸模型；对检测出的人脸通过关键点和关键部位进行人脸对齐，剔除人脸图像中不必要背景部分，保留人脸关键点和关键部分，关键点为眉毛、眼睛、鼻子、嘴巴，关键部位为额头部位、脸颊部位、眼袋部位、上下颚部位；b、特征提取通过双通道神经网络中提取全局特征和局部特征；将全局特征和局部特征进行向量化，双通道神经网络包括cnn神经网络和convlstm神经网络，cnn神经网络用于提取人脸全局特征，convlstm神经网络提取人脸局部特征；
c、年龄估计分别对全局特征和局部特征通过softmax分类器分类预测进行年龄估计，所述softmax分类器根据全局特征和局部特征输出特定分类结果，得到估计的全局年龄和局部年龄；d、平均加权将上述预测的全局年龄和局部年龄各赋予相应的权重并求平均值作为最终年龄估计值。
6.所述输入静态图像包括手机拍摄或相机拍摄的人脸图像，根据人脸几何轮廓模型检测出人脸；再对人脸进行对齐操作，根据人脸几何轮廓形状进行裁剪操作，剔除对提取人脸特征不敏感的背景信息和冗余信息，保留完整人脸信息；最后根据标注的关键点和关键部位信息进行人脸多尺度裁剪。
7.所述特征提取通过双通道神经网络cnn网络模型和convlstm网络模型对所标注的关键点和裁剪的关键部位进行全局特征和局部特征提取，其中通过cnn网络模型提取人脸全局特征，通过convlstm网络模型提取人脸局部特征；将上述裁剪的全局人脸信息和关键局部人脸信息转化为人脸特征向量，分别输入神经网络进行人脸特征提取，所提取的特征主要涉及人脸年龄信息，所述特征包括纹理特征、形状特征、光泽特征、表情特征等。
8.对提取的人脸全局特征和局部特征分别进行年龄分类预测，所述年龄估计通过神经网络当中已预训练好的模型进行年龄识别，根据人脸局部特征估计年龄值，根据人脸全局特征估计年龄值，获得接近真实年龄的结果。
9.将预测的局部年龄值和全局年龄值进行加权求平均得到最终的年龄预测结果，局部年龄加权值和全局年龄加权值总和为100%，局部年龄加权值为20~80%，其余为全局年龄加权值。
10.部年龄加权值和全局年龄加权值总和为100%，局部年龄加权值为40~60%，其余为全局年龄加权值。
11.对上述提取的人脸全局特征和局部特征在年龄估计模块分别进行年龄分类预测，所述年龄估计模块为通过采集大量人脸图像在神经网络当中预训练好的年龄识别模型，而不是通过将局部特征和全局特征进行特征融合后得到预测结果，以减少特征融合丢失局部信息。根据人脸局部特征估计出某一年龄值，根据人脸全局特征估计出某一年龄值，这更有利于获得接近真实年龄的结果。将上述预测的局部年龄值和全局年龄值通过平均加权模块进行加权求平均得到最终的年龄预测结果。
12.为减少网络模型的复杂度和训练参数的不一致性问题，本发明采用相近的网络模型分别进行特征提取，通过cnn网络模型对人脸全局特征进行提取，通过convlstm网络模型对人脸局部特征进行提取，通过cnn网络模型和convlstm网络模型能够有效提取人脸全局特征信息和深层次细节特征信息。为减少特征融合所带来的局部信息丢失问题，本发明采用将上述提取的局部特征和全局特征分别进行分类预测的方法实现全局年龄预测和局部年龄预测，将预测结果在平均加权模块进行加权求平均得到最终预测结果，能够有效降低特征融合所带来的局部信息丢失和设计特征融合网络所带来的复杂度，通过权利要求书中所述对比实验证明本文所述方法能有效提升人脸年龄估计准确度。
13.本发明在人脸图像预处理模块根据人脸几何轮廓形状对人脸进行检测后，在人脸
对齐阶段不仅标注出人脸关键点还标注出人脸关键部位，主要包括能反映人脸衰老过程的纹理特征、形状特征、光泽特征和表情特征等信息。关键点主要包括眉毛、眼睛、鼻子、嘴巴等，关键部位主要有额头部位、脸颊部位、眼袋部位、上下颚部位等。通过多尺度人脸子块裁剪将局部信息和全局信息进行裁剪以便能够更有效提取局部人脸特征信息。本发明在特征提取模块采用双通道cnn网络模型和convlstm网络模型分别对全局特征和局部特征进行提取，能够有效减少网络设计复杂度和参数设置不一致性问题，对上述提取的全局特征和局部特征在年龄估计模块中分别采用softmax分类器进行分类预测全局年龄和局部年龄，并在平均加权模块对上述预测年龄进行加权求平均得到最终预测结果，该方法能够有效减少特征融合所带来的局部信息丢失问题从而提高预测准确率。
附图说明
14.图1为本发明的总体流程图。
具体实施方式
15.基于convlstm网络模型的人脸图像年龄估计方法，包括如下步骤：a、人脸图像预处理人脸图像首先通过几何轮廓方法进行人脸检测，几何轮廓方法在静态人脸图像中检测出人脸根据人脸形状构建人脸模型；对检测出的人脸通过关键点和关键部位进行人脸对齐，剔除人脸图像中不必要背景部分，保留人脸关键点和关键部分，关键点为眉毛、眼睛、鼻子、嘴巴，关键部位为额头部位、脸颊部位、眼袋部位、上下颚部位；b、特征提取通过双通道神经网络中提取全局特征和局部特征；将全局特征和局部特征进行向量化，双通道神经网络包括cnn神经网络和convlstm神经网络，cnn神经网络用于提取人脸全局特征，convlstm神经网络提取人脸局部特征；c、年龄估计分别对全局特征和局部特征通过softmax分类器分类预测进行年龄估计，所述softmax分类器根据全局特征和局部特征输出特定分类结果，得到估计的全局年龄和局部年龄；d、平均加权将上述预测的全局年龄和局部年龄各赋予相应的权重并求平均值作为最终年龄估计值。
16.所述输入静态图像包括手机拍摄或相机拍摄的人脸图像，根据人脸几何轮廓模型检测出人脸；再对人脸进行对齐操作，根据人脸几何轮廓形状进行裁剪操作，剔除对提取人脸特征不敏感的背景信息和冗余信息，保留完整人脸信息；最后根据标注的关键点和关键部位信息进行人脸多尺度裁剪。
17.所述特征提取通过双通道神经网络cnn网络模型和convlstm网络模型对所标注的关键点和裁剪的关键部位进行全局特征和局部特征提取，其中通过cnn网络模型提取人脸全局特征，通过convlstm网络模型提取人脸局部特征；此点全局特征包含关键点和关键部位的全部特征信息，关键局部选择关键点和关键部位的一部分特征信息，第一便于减少整
体识别运行的数据量，第二根据使用方需要选择有用信息具有更好针对性，上述方案满足人脸多尺度裁剪需要，有用信息选取根据不用需要进行替换即可，由于此点为本领域常规技术，根据现有模型及现有技术根据客户需要进行特征提取。将上述裁剪的全局人脸信息和关键局部人脸信息转化为人脸特征向量，分别输入神经网络进行人脸特征提取，所提取的特征主要涉及人脸年龄信息，所述特征包括纹理特征、形状特征、光泽特征、表情特征等。
18.对提取的人脸全局特征和局部特征分别进行年龄分类预测，所述年龄估计通过神经网络当中已预训练好的模型进行年龄识别，根据人脸局部特征估计年龄值，根据人脸全局特征估计年龄值，获得接近真实年龄的结果。
19.将预测的局部年龄值和全局年龄值进行加权求平均得到最终的年龄预测结果，局部年龄加权值和全局年龄加权值总和为100%，局部年龄加权值为20~80%，其余为全局年龄加权值。
20.部年龄加权值和全局年龄加权值总和为100%，局部年龄加权值为40~60%，其余为全局年龄加权值。
21.如图1所示本发明方法由人脸图像输入预处理模块1、特征提取模块2、年龄估计模块3、平均加权输出模块4组成。
22.输入静态人脸图像在预处理模块１进行人脸检测、人脸对齐，并标注处人脸关键点和人脸关键部位，关键点主要包括眼睛周围、眉毛周围、鼻子周围、嘴巴周围关键点，关键部位主要包括额头部位、脸颊部位、眼袋部位、上下颚部位等。对标注出的关键点和关键部位人脸图像进行多尺度人脸子块裁剪，以最大限度保留能反映人脸年龄特征的人脸纹理特征、形状特征、光泽特征和表情特征等信息。本方法结合convlstm神经网络模型对人脸图像进行年龄估计，相比于目前年龄估计方法本文所提方法能够有效减少网络复杂度和保证网络参数一致，且能通过cnn网络模型和lstm网络模型的融合能够提取图像深层细粒度特征，对人脸图形进行局部特征和全局特征提取。对全局特征和局部特征分别进行分类预测，得到全局和局部年龄预测值，通过平均加权的方式获得最终预测年龄。相比于将局部特征和全局特征融合后预测的方式能有效减少人脸图像深层细节特征的丢失，从而提高预测准确率。
23.通过上述预处理的人脸图像转化为特征向量在特征提取模块２通过双通道网络模型分别提取人脸全局特征和局部特征，其中cnn网络模型提取全局人脸特征，convlstm网络模型提取深层细粒度局部人脸特征。采用cnn网络模型能够有效降低网络复杂度和参数设置不一致性问题，convlstm网络模型能够有效捕捉人脸图像深层细粒度特征，并且减少网络层数和参数设置。
24.对上述提取的全局人脸特征和局部人脸特征在年龄估计模块３通过softmax分类器分别进行年龄值预测，减少特征融合所带来的局部信息丢失现象，所述年龄估计模块为通过采集大量人脸图像在神经网络当中预训练好的年龄识别模型。
25.对预测的局部年龄值和全局年龄值在平均加权模块4进行加权求平均值得到最终的预测结果。
26.实际使用操作为——所述输入静态图像包括手机拍摄或相机拍摄的具有差异化的包含背景信息的人脸图像，通过人脸检测根据人脸几何轮廓模型检测出人脸；再对人脸进行对齐操作，也就是根据人脸几何轮廓形状进行裁剪操作，剔除对提取人脸特征不敏感
的背景信息和冗余信息，保留完整人脸信息；最后根据标注的关键点和关键部位信息进行人脸多尺度裁剪，对提取局部特征和全局特征做准备。
27.在特征提取模块通过双通道神经网络cnn网络模型和convlstm网络模型对所标注的关键点和裁剪的关键部位进行全局特征和局部特征提取，其中通过cnn网络模型提取人脸全局特征，通过convlstm网络模型提取人脸局部特征；将上述裁剪的全局人脸信息和关键局部人脸信息转化为人脸特征向量，分别输入神经网络进行人脸特征提取，所提取的特征主要涉及人脸年龄信息，所述特征主要包括纹理特征、形状特征、光泽特征、表情特征等；提取的人脸特征也为向量形式，为能有效提取人脸特征对全局特征和局部特征采用不同的神经网络模型，即cnn网络模型和convlstm网络模型。对上述提取的人脸全局特征和局部特征在年龄估计模块分别进行年龄分类预测，所述年龄估计模块为通过采集大量人脸图像在神经网络当中预训练好的年龄识别模型，而不是通过将局部特征和全局特征进行特征融合后得到预测结果，以减少特征融合丢失局部信息。根据人脸局部特征估计出某一年龄值，根据人脸全局特征估计出某一年龄值，这更有利于获得接近真实年龄的结果。
28.将上述提取的人脸特征向量在年龄估计模型中通过softmax分类器进行分类，在案例中采用对比方式验证本文所述方法的有效性，案例一：采用特征融合的方式将全局特征和局部特征融合后再在估计模型中通过softmax分类器预测人脸图像的年龄，对同一静态人脸图像进行10次验证，取平均值其结果为86.30%。案例二：采用本文所述方法，对上述相同静态人脸图像进行10次验证，在获得全局人脸特征年龄估计和局部人脸特征年龄估计后取平均加权结果为89.50%。明显可见采用本文全局特征和局部特征分别估计年龄的方式预测准确率更高，更具有效性。上述对比说明为验证特征融合预测年龄和特征非融合进行预测年龄的准确性，为保证变量单一性未采用平均加权的形式。
29.将上述预测的局部年龄值和全局年龄值通过平均加权进行加权求平均得到最终的年龄预测结果。
30.对比案例如下：在上述基础上，在该步骤中也通过对比的方式说明其平均加权的有效性，对比案例一：对年龄估计局部年龄和全局年龄分别赋予50%权重，其平均加权结果为89.50%；对比案例二：对局部年龄估计赋予60%权重，全局年龄估计赋予40%权重，其平均加权结果为90.20%；对比案例三：对局部年龄估计赋予40%权重，全局年龄估计赋予60%权重，其平均加权结果为87.70%。由此可见局部年龄估计在整体年龄估计中具有重要意义，上述结果权重赋值是通过多次实验验证所得结果，最终结果是多次实验取平均值而得到。故而说明本文所述平均加权方法在年龄估计中具有有效性。