基于多模态生物识别的通行管控方法及系统与流程

本发明涉及通行管控，尤其涉及一种基于多模态生物识别的通行管控方法及系统。

背景技术：

1、在高校内的图书馆、体育馆、游泳馆、公寓等公共场所中，常通过设置有障碍通道配合人脸识别平板终端管理公共场馆人员出入问题，可以有效杜绝非本校人员或非授权人员随意出入场馆，保证场馆资源得到合理有效利用。

2、有障碍通道利用摆闸、翼闸等有障碍通道管制设备，对人员出入通道进行严格的权限认证，防止未经授权的非法人员随意出入重要场所，提升重要场所的人员管理能力，消除安全隐患。有障碍通道可自由切换为无障碍通道使用，机箱均采用标准304不锈钢，立体外观，箱体内设计有专业导水槽，可安装于室内、室外，具有很高的安防能力。

3、但在有障碍通道的使用过程中，需要学生或老师等用户持身份卡认证，或在闸机前输入指纹进行权限认证。在大量用户需要进出时，认证时间较长导致通道拥堵，出现大量人员排队现象。

技术实现思路

1、本发明提供了一种基于多模态生物识别的通行管控方法及系统，能够减少有障碍通道的认证时间，缓解有障碍通道闸机前的拥堵现象，提高有障碍通道应用的便利性。

2、第一方面，本发明提供了一种基于多模态生物识别的通行管控方法，该方法包括：采集待通行用户前往通行管控设备时的视频信息；基于视频信息，提取待通行用户的生物特征信息，生物特征信息包括面部信息、声纹信息和步态信息；对待通行用户的生物特征信息进行特征融合，得到待通行用户的多模态生物特征；多模态生物特征用于表征用户的生物特性；基于多模态生物特征，以及用户身份数据库，进行特征匹配，确定匹配结果，匹配结果包括待通行用户为合法用户或待确定用户；用户身份数据中存储有合法用户的多模态生物特征；基于匹配结果，控制通行设备，实现通行管控。

3、在一种可能的实现方式中，基于视频信息，提取待通行用户的生物特征信息，包括：对视频信息进行逐帧拆解，得到多帧视频图像；基于多帧视频图像，采用人脸识别算法，进行关键点提取，得到面部信息；基于多帧视频图像，采用目标跟踪算法，得到步态信息；步态信息包括步长、步频、步速、行走姿态和关节角度；提取视频信息中的音频流，并对音频流进行语音活动检测，得到多个语音段；基于多个语音段进行特征提取，得到声纹信息。

4、在一种可能的实现方式中，基于多帧视频图像，采用人脸识别算法，进行关键点提取，得到面部信息，包括：基于多帧视频图像，进行人脸识别，确定多帧视频图像中包含人脸的多张人脸图像；对多张人脸图像进行关键点提取，确定多个关键点，关键点为人脸图像中的几何特征点；基于多个关键点在每张人脸图像上构建几何图形；基于多个关键点、几何图形，以及各几何图形之间的位置关系，生成面部信息。

5、在一种可能的实现方式中，基于多帧视频图像，采用目标跟踪算法，得到步态信息，包括：对多帧视频图像进行筛选，得到待通行用户行进过程中的多帧行进图像；基于多帧行进图像进行重要部位识别，得到多帧行进图像中各重要部位的坐标；重要部位包括大腿、小腿，肩膀，胯骨，头颅和手臂；基于多帧行进图像中各重要部位的坐标，以及多帧行进图像之间的时间间隔，计算步态信息。

6、在一种可能的实现方式中，基于多个语音段进行特征提取，得到声纹信息，包括：对多个语音段进行分帧处理，得到多帧语音信号；基于多帧语音信号，进行傅里叶变换，得到频谱信号；基于频谱信号，计算声纹信息，声纹信息包括以下一项或多项：频谱包络、共振峰、梅尔倒谱系数、基音频率、短时能量和短时过零率。

7、在一种可能的实现方式中，对待通行用户的生物特征信息进行特征融合，得到待通行用户的多模态生物特征，包括：采用主成分分析法，对各生物特征信息进行降维，得到各生物特征信息对应的降维特征向量；对降维特征向量进行典型相关分析，得到各生物特征信息对应的典型特征向量；基于各生物特征信息对应的典型特征向量，进行串联组合，得到待通行用户的多模态生物特征。

8、在一种可能的实现方式中，基于多模态生物特征，以及用户身份数据库，进行特征匹配，确定匹配结果，包括：计算多模态生物特征与用户身份数据库中各向量的点积；计算多模态生物特征和各向量的模长；基于点积和模长，计算多模态生物特征与各向量之间的余弦相似度；基于余弦相似度，确定匹配结果。

9、在一种可能的实现方式中，基于匹配结果，控制通行设备，实现通行管控，包括：若匹配结果包括待通行用户为合法用户，则控制通行管控设备打开；若匹配结果包括待通行用户为待确定用户，则保持通行管控设备关闭，并继续采集待通行用户的生物特征信息，生物特征信息包括以下至少一项：面部信息、指纹信息和虹膜信息；基于待通行用户的生物特征信息，进行特征提取，得到多模态生物特征；基于多模态生物特征，进行特征匹配，确定二次匹配结果；二次匹配结果包括待通行用户为合法用户或非法用户；若二次匹配结果包括待通行用户为合法用户，则控制通行管控设备打开；若二次匹配结果为待通行用户为非法用户，保持通行管控设备关闭。

10、在一种可能的实现方式中，基于匹配结果，控制通行设备，实现通行管控之后，还包括：获取历史时期内目标用户的生物特征信息；基于历史时期内目标用户的生物特征信息，生成目标用户的最新多模态生物特征；基于目标用户的最新多模态生物特征，对用户身份数据库进行更新，得到更新后的用户身份数据库。

11、在一种可能的实现方式中，基于匹配结果，控制通行设备，实现通行管控，包括：若匹配结果包括待通行用户为合法用户，则获取待通行用户与通行管控设备之间的距离；基于待通行用户的步态信息，确定待通行用户的行进速度；基于待通行用户与通行管控设备之间的距离，以及待通行用户的行进速度，确定通行管控设备的开启时间；基于通行管控设备的开启时间，控制通行管控设备打开。

12、第二方面，本发明实施例提供了一种分基于多模态生物识别的通行管控装置，该装置包括：通信模块，用于采集待通行用户前往通行管控设备时的视频信息；处理模块，用于基于视频信息，提取待通行用户的生物特征信息，生物特征信息包括面部信息、声纹信息和步态信息；对待通行用户的生物特征信息进行特征融合，得到待通行用户的多模态生物特征；多模态生物特征用于表征用户的生物特性；基于多模态生物特征，以及用户身份数据库，进行特征匹配，确定匹配结果，匹配结果包括待通行用户为合法用户或待确定用户；用户身份数据中存储有合法用户的多模态生物特征；基于匹配结果，控制通行设备，实现通行管控。

13、在一种可能的实现方式中，处理模块，具体用于对视频信息进行逐帧拆解，得到多帧视频图像；基于多帧视频图像，采用人脸识别算法，进行关键点提取，得到面部信息；基于多帧视频图像，采用目标跟踪算法，得到步态信息；步态信息包括步长、步频、步速、行走姿态和关节角度；提取视频信息中的音频流，并对音频流进行语音活动检测，得到多个语音段；基于多个语音段进行特征提取，得到声纹信息。

14、在一种可能的实现方式中，处理模块，具体用于基于多帧视频图像，进行人脸识别，确定多帧视频图像中包含人脸的多张人脸图像；对多张人脸图像进行关键点提取，确定多个关键点，关键点为人脸图像中的几何特征点；基于多个关键点在每张人脸图像上构建几何图形；基于多个关键点、几何图形，以及各几何图形之间的位置关系，生成面部信息。

15、在一种可能的实现方式中，处理模块，具体用于对多帧视频图像进行筛选，得到待通行用户行进过程中的多帧行进图像；基于多帧行进图像进行重要部位识别，得到多帧行进图像中各重要部位的坐标；重要部位包括大腿、小腿，肩膀，胯骨，头颅和手臂；基于多帧行进图像中各重要部位的坐标，以及多帧行进图像之间的时间间隔，计算步态信息。

16、在一种可能的实现方式中，处理模块，具体用于对多个语音段进行分帧处理，得到多帧语音信号；基于多帧语音信号，进行傅里叶变换，得到频谱信号；基于频谱信号，计算声纹信息，声纹信息包括以下一项或多项：频谱包络、共振峰、梅尔倒谱系数、基音频率、短时能量和短时过零率。

17、在一种可能的实现方式中，处理模块，具体用于采用主成分分析法，对各生物特征信息进行降维，得到各生物特征信息对应的降维特征向量；对降维特征向量进行典型相关分析，得到各生物特征信息对应的典型特征向量；基于各生物特征信息对应的典型特征向量，进行串联组合，得到待通行用户的多模态生物特征。

18、在一种可能的实现方式中，处理模块，具体用于计算多模态生物特征与用户身份数据库中各向量的点积；计算多模态生物特征和各向量的模长；基于点积和模长，计算多模态生物特征与各向量之间的余弦相似度；基于余弦相似度，确定匹配结果。

19、在一种可能的实现方式中，处理模块，具体用于若匹配结果包括待通行用户为合法用户，则控制通行管控设备打开；若匹配结果包括待通行用户为待确定用户，则保持通行管控设备关闭，并继续采集待通行用户的生物特征信息，生物特征信息包括以下至少一项：面部信息、指纹信息和虹膜信息；基于待通行用户的生物特征信息，进行特征提取，得到多模态生物特征；基于多模态生物特征，进行特征匹配，确定二次匹配结果；二次匹配结果包括待通行用户为合法用户或非法用户；若二次匹配结果包括待通行用户为合法用户，则控制通行管控设备打开；若二次匹配结果为待通行用户为非法用户，保持通行管控设备关闭。

20、在一种可能的实现方式中，通信模块，还用于获取历史时期内目标用户的生物特征信息；处理模块，还用于基于历史时期内目标用户的生物特征信息，生成目标用户的最新多模态生物特征；基于目标用户的最新多模态生物特征，对用户身份数据库进行更新，得到更新后的用户身份数据库。

21、在一种可能的实现方式中，处理模块，具体用于若匹配结果包括待通行用户为合法用户，则获取待通行用户与通行管控设备之间的距离；基于待通行用户的步态信息，确定待通行用户的行进速度；基于待通行用户与通行管控设备之间的距离，以及待通行用户的行进速度，确定通行管控设备的开启时间；基于通行管控设备的开启时间，控制通行管控设备打开。

22、第三方面，本发明实施例提供了一种基于多模态生物识别的通行管控系统，该通行管控系统包括控制器，控制器包括存储器和处理器，该存储器存储有计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序执行如上述第一方面以及第一方面中任一种可能的实现方式所述方法的步骤。

23、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面以及第一方面中任一种可能的实现方式所述方法的步骤。

24、本发明提供一种基于多模态生物识别的通行管控方法及系统，本发明通过在用户前往通行管控设备的过程中，采集视频信息，提取视频信息中的面部信息、声纹信息和步态信息等生物特征信息，进行特征融合，得到待通行用户的多模态生物特征，并利用用户身份数据库进行特征匹配，确定待通行用户是否合法，根据匹配结果，进行通行管控。如此可实现用户行进过程中的身份认证，无需用户在通行管控设备前进行操作，减少有障碍通道的认证时间，缓解有障碍通道闸机前的拥堵现象，提高有障碍通道应用的便利性。