基于卷积神经网络的人脸面部表情识别算法的制作方法

本发明涉及人脸面部表情领域，具体为基于卷积神经网络的人脸面部表情识别算法。

背景技术：

1、人脸表情识别的智能识别一直是一个重要的科学研究方向，也是一个热点方向。人脸表情识别分析应用场景非常广泛，对提高人类生活质量具有显著效果，极具研究价值。具体应用领域包括但不限于：在社会公共区域，利用视频分析技术，实现多目标跟踪与表情分析，及时识别公共环境中的潜在危险，加强公共安全管控；识别分析机动车驾驶人的面部表情判断驾驶人是否疲劳驾驶、酒后驾驶，降低交通事故发生率；通过高清高速摄像设备的辅助，分析嫌犯的微表情，为警方办案提供有效帮助；为残疾人提供生活辅助，帮助其理解其他人的情感状态，促进交流沟通的便利。随着技术的发展，人们越来越多地尝试利用机器视觉、图像处理技术实现自动化的人脸表情识别。

2、近年来，深度学习算法由于其强大的学习能力以及适应能力被广泛地应用于自然语言处理、数据挖掘、图像处理等各个领域。一些基于卷积神经网络的方法也被引入到人脸表情识别分析领域，包括alexnet、resnet-18、lenet等。得益于卷积神经网络的局部连接和权重共享机制，人脸图像处理的参数和计算量大大降低，且表情识别的准确率相比传统方法也有显著提升。

3、虽然基于深度学习的人脸表情识别分析方法已经取得了很好的结果，但是目前的方法还存在着一些问题，比如：缺乏对面部图像的预处理工作，通常在整张图片中提取出面部的位置后简单将其切割并作为深度神经网络的输入，网络需要自行从整张图像中分析得到影响表情的要素，而忽视了面部关键点信息的有效提取，进而限制了微表情的精准识别。

4、基于此本发明提出一种卷积神经网络的人脸面部表情识别算法，其基于viola-jones人脸检测算法+关键点位置特征特征提取算法以及lbp算法对人脸进行区域性、特征性识别，对面部表情特征表示进行强化，更加突出图像的特征区域，进而提升模型性能和表情识别精度。

技术实现思路

1、本发明的目的在于提供基于卷积神经网络的人脸面部表情识别算法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：基于卷积神经网络的人脸面部表情识别算法，包括步骤：

3、s1：实时获取人脸数据，利用卷积神经网络模型构建人脸表情识别模型对人脸识别数据进行预处理；

4、s2：对获取的原始人脸数据集进行人脸检测、特征提取、面部特征点标记处理及lbp算法处理，得到图像特征：

5、s3：将上述于图像特征输入已构建的人脸表情识别模型，并基于该识别模型对人脸表情进行识别。

6、优选的，s1中利用卷积神经网络模型构建人脸表情识别模型的过程包括：获取原始人脸数据集，对原始人脸数据集进行预处理，得到人脸数据训练集；将人脸数据训练集输入到构建好的卷积神经网络模型中进行模型训练，得到训练好的卷积神经网络模型。

7、优选的，s2中具体步骤包括：

8、s201：采用viola-jones人脸检测算法对原始人脸数据集进行人脸检测，并对检测后的人脸数据进行去背景以及去除非面部区域处理，得到人脸边界框；

9、s202：根据人脸边界框对原始人脸数据集中的动态序列的每一帧图像进行裁剪，得到面部区域a；

10、s203：基于关键点位置特征特征提取算法对原始人脸数据集图像进行特征提取，关键点位置特征特征提取算法输出当前节点的相邻节点的聚合来表征一个节点，从而可以过滤掉一些特征不明显的节点，得到不同关键点的重要程度信息，最终输出1路位置特征b；

11、s204：对得到的面部区域a及位置特征b进行几何归一化处理，得到新的面部区域；

12、s205：对新的面部区域通过双线性插值的方式调整为224×224，并进行数据增强处理，增强手段至少包括：随机旋转、随机切割、随机修改rgb图像的饱和度、色调；

13、s206：对增强处理后的面部区域的特征点进行标记，得到具有特征点的图像；

14、s207：将各个特征点的位置坐标进行保存，并基于lbp算法对s206中得到的特征点图像进行处理，得到对应的lbp图像；

15、lbp算法计算公式如下：

16、

17、

18、上式中，(x，y)表示中心像素，lbp(x，y)表示中心像素对应的lbp值，ic为窗口中心像素的灰度值，ip为与窗口中心相邻的像素点p的灰度值，p为窗口中心像素周围像素点的个数，s(x)为符号函数；

19、s208：利用vggnet的卷积层进行特征提取，分别得到原始图像的特征xrgb以及lbp图像的特征xlbp；

20、s209：将s208得到的xrgb和xlbp中的对应元素相加，得到图像特征，该图像特征即为整个s2步骤获取的总图像特征

21、优选的，s206、s207之间还包括步骤：对获取的s206中获取的特征点进行编号处理，用(a，b)表示图像中特征点的位置坐标，即特征点z1的坐标为z1(a1，b1)z1(a2，b2)…z1am，bm，其中(a，b)的下标表示图像的帧，m表示峰值帧在动态序列的第m帧；根据每个特征点的坐标计算每个特征点的偏移量；根据各个特征点的偏移量计算轨迹矩阵的斜率k，并根据斜率k求出轨迹矩阵以及原始轨迹图。

22、与现有技术相比，本发明的有益效果是：

23、本发明基于viola-jones人脸检测算法+关键点位置特征特征提取算法以及lbp算法对人脸进行区域性、特征性识别，对面部表情特征表示进行强化，更加突出图像的特征区域，进而提升模型性能和表情识别精度。

技术特征：

1.基于卷积神经网络的人脸面部表情识别算法，其特征在于，包括步骤：

2.根据权利要求1所述的基于卷积神经网络的人脸面部表情识别算法，其特征在于：所述s1中利用卷积神经网络模型构建人脸表情识别模型的过程包括：获取原始人脸数据集，对原始人脸数据集进行预处理，得到人脸数据训练集；将人脸数据训练集输入到构建好的卷积神经网络模型中进行模型训练，得到训练好的卷积神经网络模型。

3.根据权利要求1所述的基于卷积神经网络的人脸面部表情识别算法，其特征在于：

4.根据权利要求3所述的基于卷积神经网络的人脸面部表情识别算法，其特征在于：所述s206、s207之间还包括步骤：对获取的s206中获取的特征点进行编号处理，用(a，b)表示图像中特征点的位置坐标，即特征点z1的坐标为z1(a1，b1)z1(a2，b2)…z1am，bm，其中(a，b)的下标表示图像的帧，m表示峰值帧在动态序列的第m帧；根据每个特征点的坐标计算每个特征点的偏移量；根据各个特征点的偏移量计算轨迹矩阵的斜率k，并根据斜率k求出轨迹矩阵以及原始轨迹图。

技术总结本发明公开了基于卷积神经网络的人脸面部表情识别算法，包括步骤：实时获取人脸数据，利用卷积神经网络模型构建人脸表情识别模型对人脸识别数据进行预处理；对获取的原始人脸数据集进行人脸检测、特征提取、面部特征点标记处理及LBP算法处理，得到图像特征：将上述于图像特征输入已构建的人脸表情识别模型，并基于该识别模型对人脸表情进行识别。本发明基于Viola‑Jones人脸检测算法+关键点位置特征特征提取算法以及LBP算法对人脸进行区域性、特征性识别，对面部表情特征表示进行强化，更加突出图像的特征区域，进而提升模型性能和表情识别精度。技术研发人员：张银银,王苏丽,张永仁受保护的技术使用者：安徽宝葫芦信息科技集团股份有限公司技术研发日：技术公布日：2024/7/29