基于全局特征与头肩特征多核融合的行人识别方法及装置

本发明涉及图像识别领域，具体涉及一种基于全局特征与头肩特征多核融合的行人识别方法及装置。

背景技术：

1、随着中国城镇化水平不断提高，社会公众对城市规划和可持续发展提出更新更高的要求，以监控摄像机为代表的公共视频安全监控系统的智能化升级具有重大研究应用价值。常规监控摄像头的视角较小，不利于实现超大视角和全方位监控。在大空间公共场所环境通常会安装俯视鱼眼摄像机以实现大范围、全方位、无死角监控，有利于提高在大空间公共场所环境的监控效率，降低监控成本。但是，因鱼眼摄像机特殊结构带来的强烈失真和图像畸变，导致同一身份行人在不同鱼眼摄像机下图像特征差异巨大，识别极其困难，准确度较低。

技术实现思路

1、本技术的目的在于针对上述提到的技术问题提出一种基于全局特征与头肩特征多核融合的行人识别方法及装置。

2、第一方面，本发明提供了一种基于全局特征与头肩特征多核融合的行人识别方法，包括以下步骤：

3、获取待识别的行人图像；

4、采用经训练的行人头肩部检测模型对行人图像进行头肩部检测，得到行人头肩部图像；

5、构建行人识别模型，行人识别模型包括多核融合模块以及基于深度学习网络的全局特征提取分支和头肩特征提取分支，将行人图像和行人头肩部图像分别输入全局特征提取分支和头肩特征提取分支，得到全局特征向量和头肩特征向量，全局特征向量和头肩特征向量输入多核融合模块进行融合，得到融合特征向量，根据全局特征向量、头肩特征向量和融合特征向量构建损失函数，基于损失函数对行人识别模型进行训练，得到经训练的行人识别模型；

6、将待识别的行人图像及其对应的行人头肩部图像输入经训练的行人识别模型，得到待识别的行人图像对应的融合特征向量，基于待识别的行人图像对应的融合特征向量进行行人识别，得到识别结果。

7、作为优选，经训练的行人头肩部检测模型包括ssd网络、yolo网络或faster r-cnn网络，具体过程如下：

8、；

9、其中，x表示行人图像，hdnet表示经训练的行人头肩部检测模型所对应的函数，h表示从行人图像x中提取得到的人头肩部图像。

10、作为优选，行人图像通过鱼眼摄像机采集到，深度学习网络包括resnet、densenet或vit。

11、作为优选，全局特征提取分支和头肩特征提取分支均基于vit构建而成，全局特征提取分支包括依次连接的分割层、展平层、嵌入层、拼接层和q个transformer层；头肩特征提取分支包括依次连接的分割层、展平层、嵌入层、拼接层和m个transformer层；

12、将行人图像和行人头肩部图像分别输入分割层和展平层，得到行人图像序列块和行人头肩部图像序列块，如下式所示：

13、；

14、；

15、其中，x表示行人图像，h表示从行人图像x中提取得到的人头肩部图像，split表示分割层对应的分割操作，flatten表示展平层对应的空间展平操作，表示每个行人图像序列块和行人头肩部图像序列块的高度和宽度，表示行人图像序列块的数量，分别是行人图像的高度和宽度，表示行人头肩部图像序列块的数量，分别是行人头肩部图像的高度和宽度，c表示通道数，xp表示行人图像序列块，hp表示行人头肩部图像序列块；

16、将行人图像序列块和行人头肩部图像序列块分别与行人类别标签进行拼接并输入嵌入层，映射得到对应的一维序列令牌，再分别经过q个transformer层和m个transformer层，提取得到全局特征向量和头肩特征向量，如下式所示：

17、；

18、；

19、其中，transformerq表示q个transformer层对应的函数，transformerm表示m个transformer层对应的函数，embedding表示嵌入层所对应的映射操作，ccat表示拼接层对应的按通道拼接操作，cls表示类别令牌，表示对行人图像x提取得到d维的全局特征向量；表示对行人头肩部图像h提取得到d维的头肩特征向量；表示实数，d表示和的特征维数；

20、多核融合模块包括维度扩展层、拼接层、多个卷积层和维度压缩层，每个卷积层卷积核为，i=1,2,…,k，k表示全局与头肩单核融合特征的种类数；

21、分别将全局特征向量和头肩特征向量输入维度扩展层进行维度扩展，得到维度扩展后的全局特征张量与维度扩展后的头肩特征张量，如下式所示：

22、；

23、；

24、其中，unsqueeze表示维度扩展层对应的维度扩展操作，将所处理的特征向量扩展为维数的张量，其中c表示张量的通道数量，d表示张量的高度，w表示张量的宽度，表示恒等于；和表示维度扩展后的全局特征张量和维度扩展后的头肩特征张量；

25、将维度扩展后的全局特征张量和维度扩展后的头肩特征张量进行拼接，得到拼接特征张量，如下式所示：

26、；

27、其中，ccat表示拼接层对应的按通道拼接操作，u表示拼接特征张量，其维度为；

28、利用多个卷积层对拼接特征张量进行多核融合，得到全局与头肩多核融合特征张量，如下式所示：

29、；

30、；

31、其中， vi表示拼接特征张量u经过卷积核为的卷积层获得的第i种全局与头肩单核融合特征张量，conv表示卷积层对应的卷积运算，卷积核表示从左往右其输入通道数量、输出通道数量、感受野高度和感受野宽度分别为2、1、和1，z表示全局与头肩多核融合特征张量，i表示全局与头肩单核融合特征张量序号；

32、将全局与头肩多核融合特征张量输入维度压缩层，得到融合特征向量，如下式所示：

33、；

34、其中，squeeze表示维度压缩层对应的维度压缩操作，表示融合特征向量。

35、作为优选，损失函数的表达式为：

36、；

37、其中，、和分别表示全局特征向量、头肩特征向量和融合特征向量，表示总体损失函数，、和分别表示用于对全局特征向量监督的损失函数、用于对头肩特征向量监督的损失函数和用于对融合特征向量监督的损失函数，如下式所示：

38、；

39、；

40、；

41、其中，n表示行人图像的数量，t表示行人类别数量，、和表示第b个行人图像对应的全局特征向量、头肩特征向量和融合特征向量；表示第b个行人图像对应的行人类别，b表示行人图像序号，表示比较与y是否相等；、、分别表示第b个行人图像由、和采用softmax函数计算得到的属于第y个类别的后验概率，y表示行人类别序号；是指示函数，当时括号内的条件为真，则相应输出为1，否则输出为0；

42、采用梯度下降法优化损失函数，得到经训练的行人识别模型。

43、作为优选，基于待识别的行人图像对应的融合特征向量进行行人识别，得到识别结果，具体包括：

44、将待识别的行人图像对应的融合特征向量和身份已知的行人图像通过经训练的行人识别模型得到的融合特征向量进行相似度比对，得到比对结果，根据比对结果确定待识别的行人图像与身份已知的行人图像是否属于同一人。

45、第二方面，本发明提供了一种基于全局特征与头肩特征多核融合的行人识别装置，包括：

46、图像获取模块，被配置为获取待识别的行人图像；

47、区域检测模块，被配置为采用经训练的行人头肩部检测模型对行人图像进行头肩部检测，得到行人头肩部图像；

48、模型训练模块，被配置为构建行人识别模型，行人识别模型包括多核融合模块以及基于深度学习网络的全局特征提取分支和头肩特征提取分支，将行人图像和行人头肩部图像分别输入全局特征提取分支和头肩特征提取分支，得到全局特征向量和头肩特征向量，全局特征向量和头肩特征向量输入多核融合模块进行融合，得到融合特征向量，根据全局特征向量、头肩特征向量和融合特征向量构建损失函数，基于损失函数对行人识别模型进行训练，得到经训练的行人识别模型；

49、行人识别模块，被配置为将待识别的行人图像及其对应的行人头肩部图像输入经训练的行人识别模型，得到待识别的行人图像对应的融合特征向量，基于待识别的行人图像对应的融合特征向量进行行人识别，得到识别结果。

50、第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

51、第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

52、第五方面，本发明提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

53、相比于现有技术，本发明具有以下有益效果：

54、（1）本发明提出的于全局特征与头肩特征多核融合的行人识别方法通过学习行人图像的全局特征以及行人头肩部图像的头肩特征并利用多核融合方法充分进行两种特征的融合，增强鱼眼图像的行人识别准确性。

55、（2）本发明提出的于全局特征与头肩特征多核融合的行人识别方法特别针对鱼眼相机拍摄的宽广视野和行人图像畸变问题进行了优化，充分利用了行人头肩部图像中丰富的信息，通过特征提取和融合策略，有效克服了畸变带来的影响，从而在广阔的视野范围内实现了对行人的高效识别，提高了识别可靠性。

56、（3）本发明提出的于全局特征与头肩特征多核融合的行人识别方法具备良好的泛化性能和多视角融合能力，能够适应不同复杂背景，从而在多种环境下均能保持较高的识别准确率，增强系统的实用性。