一种人脸开锁时脸部表情特征识别报警方法及系统与流程

本发明涉及人脸表情特征识别领域，尤其涉及的是一种人脸开锁时脸部表情特征识别报警方法、系统、智能门锁及存储介质。

背景技术：

1、目前，在生活中当出现陌生人尾随时，在一些特定情况下并不适合采用手机报警或者大声呼救来解决问题。而目前的智能门锁中设置有胁迫密码和胁迫指纹功能，用户添加了胁迫密码或胁迫指纹，且使用设定的胁迫密码或胁迫指纹验证成功后门锁正常打开，但同时触发胁迫报警；胁迫报警支持抓拍11秒视频推送到手机设定的软件中，设定了紧急联系人后，推送胁迫消息到紧急联系人手机中。

2、然而，在一些特定情况下，在智能门锁中通过输入胁迫密码或胁迫指纹的过程并不方便，从而无法在需要报警时及时为用户进行报警。

3、因此，现有技术还有待改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种人脸开锁时脸部表情特征识别报警方法、系统、智能门锁及存储介质，旨在解决现有技术中在一些特定情况下，在智能门锁中通过输入胁迫密码或胁迫指纹的过程并不方便，从而无法在需要报警时及时为用户进行报警的问题。

2、为了实现所述目的，本发明第一方面提供一种人脸开锁时脸部表情特征识别报警方法，其中，所述人脸开锁时脸部表情特征识别报警方法包括：

3、实时获取门锁摄像头采集到的人脸图像；

4、将所述人脸图像输入到训练完成的优化卷积神经网络模型中，并输出表情分类结果；

5、判断所述表情分类结果的类型，当所述类型为非安全表情类型时，控制门锁根据预设报警方式报警。

6、可选的，所述优化卷积神经网络模型采用se注意力机制，并通过数据预处理与数据增强后的数据集进行训练；

7、所述优化卷积神经网络模型的训练过程包括：

8、获取包括人脸不同表情类型的带标签的表情图片，并将所述表情图片进行所述数据预处理，得到数据集；

9、将所述数据集进行所述数据增强，得到增强数据集；

10、根据所述增强数据集训练待训练的优化卷积神经网络模型，并根据每次的训练结果优化所述优化卷积神经网络模型中的参数；

11、当所述训练过程达到预设训练截止条件时，结束所述训练过程，并输出训练完成的优化卷积神经网络模型。

12、可选的，所述获取包括人脸不同表情类型的表情图片，并将所述表情图片进行所述数据预处理，得到数据集的步骤包括：

13、获取包括人脸不同表情类型的所述表情图片，并判断所述表情图片的格式；

14、当所述格式为第一预设格式时，根据第一读取方式读取所述表情图片，并进行灰度化处理，得到第一表情数据；

15、当所述格式为第二预设格式时，根据第二读取方式读取所述表情图片，得到第二表情数据；

16、对所述第一表情数据和所述第二表情数据进行图片归一化处理，得到所述数据集。

17、可选的，所述将所述数据集进行所述数据增强，得到增强数据集的步骤包括：

18、根据所述数据集获取恐惧标签数据；

19、根据预设图片生成器对所述恐惧标签数据进行数据增强，得到初步增强数据集；

20、将所述数据集中非恐惧标签数据和所述初步增强数据集组合，得到所述增强数据集。

21、可选的，所述根据所述增强数据集训练待训练的所述优化卷积神经网络模型，并根据每次的训练结果优化所述优化卷积神经网络模型中的参数的步骤包括：

22、将所述增强数据集输入到待训练的所述优化卷积神经网络模型中，其中，所述优化卷积神经网络模型是基于mini_xception模型和所述se注意力机制所构建；

23、根据输入的所述增强数据集输出训练表情分类结果，其中，在待训练的所述优化卷积神经网络模型的训练过程中，se注意力机制在全连接层前对待训练的所述优化卷积神经网络模型的每个通道进行全局平均池化后，给每个特征通道生成对应的权重值并加权到每个所述特征通道上；

24、根据所述增强数据集和所述训练表情分类结果，优化所述优化卷积神经网络模型中的参数。

25、可选的，所述判断所述表情分类结果的类型，当所述类型为非安全表情类型时，控制门锁根据预设报警方式报警的步骤包括：

26、获取所述表情分类结果，判断所述表情分类结果的类型；

27、当所述表情分类结果的类型为恐惧表情时，则所述类型为非安全表情类型；

28、控制门锁根据预设报警方式报警。

29、可选的，所述获取所述表情分类结果，判断所述表情分类结果的类型的步骤之后还包括：

30、当所述表情分类结果的类型为非恐惧表情时，则所述类型为安全表情类型；

31、根据门锁预设人脸信息开启门锁。

32、本发明第二方面提供一种人脸开锁时脸部表情特征识别报警系统，其中，所述人脸开锁时脸部表情特征识别报警系统包括：

33、实时图像获取模块，用于实时获取门锁摄像头采集到的人脸图像；

34、表情分类输出模块，用于将所述人脸图像输入到训练完成的优化卷积神经网络模型中，并输出表情分类结果；

35、报警模块，用于判断所述表情分类结果的类型，当所述类型为非安全表情类型时，控制门锁根据预设报警方式报警。

36、本发明第三方面提供一种智能门锁，所述智能门锁包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的人脸开锁时脸部表情特征识别报警程序，所述人脸开锁时脸部表情特征识别报警程序被所述处理器执行时实现任意一项所述人脸开锁时脸部表情特征识别报警方法的步骤。

37、本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸开锁时脸部表情特征识别报警程序，所述人脸开锁时脸部表情特征识别报警程序被处理器执行时实现任意一项所述人脸开锁时脸部表情特征识别报警方法的步骤。

38、由上可见，本发明方案中，实时获取门锁摄像头采集到的人脸图像；将所述人脸图像输入到训练完成的优化卷积神经网络模型中，并输出表情分类结果；判断所述表情分类结果的类型，当所述类型为非安全表情类型时，控制门锁根据预设报警方式报警。

39、与现有技术相比，针对目前在一些特定情况下，在智能门锁中通过输入胁迫密码或胁迫指纹的过程并不方便，从而无法在需要报警时及时为用户进行报警的问题，本发明通过在门锁摄像头采集对应的人脸图像，并把采集到的人脸图像输入到训练好的优化卷积神经网络模型中去，通过优化卷积神经网络模型来生成表情分类结果，从而可以根据用户的人脸图像识别出当前进行开锁的用户的表情分类结果，进而根据表情分类结果来判断其类型是否为非安全表情类型，当是非安全表情类型时即说明此时用户是处于胁迫之中，从而可以根据门锁按照预设的报警方式进行报警，从而来保证用户的安全。

技术特征：

1.一种人脸开锁时脸部表情特征识别报警方法，其特征在于，所述人脸开锁时脸部表情特征识别报警方法包括：

2.根据权利要求1所述的人脸开锁时脸部表情特征识别报警方法，其特征在于，所述优化卷积神经网络模型采用se注意力机制，并通过数据预处理与数据增强后的数据集进行训练；

3.根据权利要求2所述的人脸开锁时脸部表情特征识别报警方法，其特征在于，所述获取包括人脸不同表情类型的表情图片，并将所述表情图片进行所述数据预处理，得到数据集的步骤包括：

4.根据权利要求2所述的人脸开锁时脸部表情特征识别报警方法，其特征在于，所述将所述数据集进行所述数据增强，得到增强数据集的步骤包括：

5.根据权利要求2所述的人脸开锁时脸部表情特征识别报警方法，其特征在于，所述根据所述增强数据集训练待训练的所述优化卷积神经网络模型，并根据每次的训练结果优化所述优化卷积神经网络模型中的参数的步骤包括：

6.根据权利要求1所述的人脸开锁时脸部表情特征识别报警方法，其特征在于，所述判断所述表情分类结果的类型，当所述类型为非安全表情类型时，控制门锁根据预设报警方式报警的步骤包括：

7.根据权利要求6所述的人脸开锁时脸部表情特征识别报警方法，其特征在于，所述获取所述表情分类结果，判断所述表情分类结果的类型的步骤之后还包括：

8.一种人脸开锁时脸部表情特征识别报警系统，其特征在于，所述人脸开锁时脸部表情特征识别报警系统包括：

9.一种智能门锁，其特征在于，所述智能门锁包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的人脸开锁时脸部表情特征识别报警程序，所述人脸开锁时脸部表情特征识别报警程序被所述处理器执行时实现如权利要求1-7任意一项所述人脸开锁时脸部表情特征识别报警方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸开锁时脸部表情特征识别报警程序，所述人脸开锁时脸部表情特征识别报警程序被处理器执行时实现如权利要求1-7任意一项所述人脸开锁时脸部表情特征识别报警方法的步骤。

技术总结本发明公开了一种人脸开锁时脸部表情特征识别报警方法及系统，其中，所述方法包括：实时获取门锁摄像头采集到的人脸图像；将所述人脸图像输入到训练完成的优化卷积神经网络模型中，并输出表情分类结果；判断所述表情分类结果的类型，当所述类型为非安全表情类型时，控制门锁根据预设报警方式报警。本发明针对目前在一些特定情况下，在智能门锁中通过输入胁迫密码或胁迫指纹的过程并不方便，从而无法在需要报警时及时为用户进行报警的问题，通过人脸开锁时脸部表情特征识别报警方法，可以识别出用户是否处于安全情况中，当处于非安全情况时可以通过预设的报警方式进行报警，从而保证了用户的安全。技术研发人员：苏祺云,高畅受保护的技术使用者：深圳市凯迪仕智能科技股份有限公司技术研发日：技术公布日：2024/3/17