一种基于历史帧特征增强的人流量统计方法与流程

本发明涉及人流量统计，尤指一种基于历史帧特征增强的人流量统计方法。

背景技术：

1、人流量统计可以应用在商场、超市、景区等人流量较大的公共场所。它是一项方便对公共场所人流密度进行公共服务和安全等方面进行分析的基础技术。传统的人流量统计方法主要基于传感器实现，此类方法在人流量较大的情况下，统计的误差较大。随着监控视频的普及，现有的人流量统计方法主要通过计算机视觉技术进行人流量统计。

2、然而，此类方法在行人密集的情况下，检测出来的多个行人框可能会互相干扰，导致行人框之间的特征信息联系不明显，利用该行人框去进行人流量统计时，容易出现漏检或多检的现象，从而造成计数误差。因此，亟需提出一种可以降低环境带来的干扰，且具有较高的行人检测精度的人流量统计方法。

技术实现思路

1、为解决上述问题，本发明提供一种基于历史帧特征增强的人流量统计方法，利用了多个历史帧的特征信息来增强当前帧对应行人的特征信息，通过增强后的当前帧信息生成匹配边界框，通过该方法不仅加强了匹配边界框之间的特征信息联系，还可以降低环境带来的干扰，提高人数统计的精度。

2、为实现上述目的，本发明采用的技术方案是：

3、一种基于历史帧特征增强的人流量统计方法，包括：

4、读取摄像头的实时视频，利用分界线将所述实时视频划分为两个视频画面；

5、利用训练好的行人检测器采集所述两个视频画面的多帧画面作为输入图像，其中、~为历史帧，为当前帧；

6、将所述历史帧和所述当前帧输入到dla-34模型，得到前n帧的特征，记为、~；

7、将所述、~按第一维度和第二维度展开，得到变形特征、~；

8、获取所述变形特征、~后，还包括：

9、获取第i-1帧的融合特征，当i=1时，预设初始融合特征为，通过将所述融合特征值与相乘获取两者的相似度；

10、将所述相似度与作商处理来对所述相似度进行标准化处理；

11、获取标准化处理的结果，并将所述结果代入softmax函数来获取相似度权重；

12、将所述相似度权重与第i帧的变形特征值相乘，获取第i帧的融合特征；

13、进行第i+1帧融合特征计算，采取递归的方式重复获取融合特征步骤，直至获取含有前n帧历史特征的融合特征；

14、所述的表达式为：

15、

16、其中为形状为nxc_out的矩阵，n为预设帧数,为输出通道；

17、将所述当前帧的特征信息输入到线性解码层，所述线性解码层输出所述当前帧的目标框坐标，目标框高宽以及目标框置信度；

18、根据所述目标框坐标和特征信息进行级联的行人匹配，得到符合特征信息的行人框，将所述行人框作为匹配边界框；

19、根据所述匹配边界框生成行人轨迹向量，根据所述行人轨迹向量与所述分界线的相对位置统计人流量。

20、作为优选，所述根据所述目标框坐标和特征信息进行级联的行人匹配，得到匹配边界框包括：

21、计算当前检测的第j个行人的特征信息和上一帧的所有行人历史特征信息的余弦距离,若所得的余弦距离小于第一预设阈值，则选取出最小余弦距离的索引，记为k；

22、根据所述索引获取第k个行人边界框，将当前检测的第j个行人边界框与上一帧中的所述第k个行人边界框进行关联。

23、作为优选，所述计算当前检测的第j个行人的特征信息和上一帧的所有行人历史特征信息的余弦距离之后，还包括：

24、若所述余弦距离大于第一预设阈值，获取第k个行人边界框的置信度，若所述第k个行人边界框的置信度大于第二预设阈值，创建第j+1个行人，若所述第k个行人边界框的置信度小于所述第二预设阈值，则丢弃掉当前边界框。

25、作为优选，所述创建第j+1个行人之后，还包括：

26、判断第j+1个行人丢失轨迹的时间，若丢失轨迹超过第一帧数阈值，则丢弃掉当前第j+1个行人的边界框，否则继续进行第j+1个行人检测。

27、作为优选，所述根据所述行人轨迹与所述分界线的相对位置统计人流量包括：

28、判断行人的轨迹是否穿越所述分界线，若是，则判断行人的穿越方向，若穿越方向为进，则人数加一；若穿越方向为出，人数减一，从而实现人流量的统计。

29、作为优选，所述判断行人轨迹的穿越方向包括：

30、获取所述行人轨迹向量与所述分界线的夹角；

31、所述夹角的计算公式为：

32、；

33、当，则；

34、当，则；

35、当所述夹角小于180度，则判断穿越方向为出；

36、当所述夹角大于180度，则判断穿越方向为进。

37、作为优选，所述判断行人的轨迹是否穿越所述分界线，还包括：

38、若否，则利用训练好的所述行人检测器继续对所述两个视频画面中的行人进行定位检测和特征信息提取。

39、作为优选，所述、~为三维矩阵，所述、~为二维矩阵。

40、作为优选，所述输入图像均标注有行人目标框的坐标x, y和宽高w, h。

41、本发明的有益效果在于：

42、本文提出了一种基于历史帧特征增强的人流量统计方法，在进行目标检测时，行人检测器利用了多个历史帧的特征信息来增强当前帧对应行人的特征信息，通过增强后的特征信息进行级联的行人匹配，得到符合特征信息的行人框，将行人框作为匹配边界框，通关匹配边界框生成行人轨迹向量，根据行人轨迹向量与分界线的相对位置统计人流量，通过该方法不仅可以加强匹配边界框之间的特征信息联系，还可以降低环境带来的干扰，提高人数统计的精度，

43、相较于通过计算机视觉技术进行行人计数，本发明引入行人的历史特征信息，将历史帧特征中与行人高度相关的特征融合到当前帧，通过行人检测器提高了目标行人在被检测时的精度，减少了因为目标重叠而造成人流量统计的误差。

技术特征：

1.一种基于历史帧特征增强的人流量统计方法，其特征在于，包括：

2.根据权利要求1所述的基于历史帧特征增强的人流量统计方法，其特征在于，所述根据所述目标框坐标和特征信息进行级联的行人匹配，得到匹配边界框包括：

3.根据权利要求2所述的基于历史帧特征增强的人流量统计方法，其特征在于，所述计算当前检测的第j个行人的特征信息和上一帧的所有行人历史特征信息的余弦距离之后，还包括：

4.根据权利要求3所述的基于历史帧特征增强的人流量统计方法，其特征在于，所述创建第j+1个行人之后，还包括：

5.根据权利要求1所述的基于历史帧特征增强的人流量统计方法，其特征在于，所述根据所述行人轨迹与所述分界线的相对位置统计人流量包括：

6.根据权利要求5所述的基于历史帧特征增强的人流量统计方法，其特征在于，所述若是，则判断行人的穿越方向包括：

7.根据权利要求5所述的基于历史帧特征增强的人流量统计方法，其特征在于，所述判断行人的轨迹是否穿越所述分界线，还包括：

8.根据权利要求1所述的基于历史帧特征增强的人流量统计方法，其特征在于，所述、~为三维矩阵，所述、~为二维矩阵。

9.根据权利要求1所述的基于历史帧特征增强的人流量统计方法，其特征在于，所述输入图像均标注有行人目标框的坐标x, y和宽高w, h。

技术总结本发明涉及人流量统计技术领域，尤指一种基于历史帧特征增强的人流量统计方法，其包括读取实时视频，利用分界线将实时视频划分为两个视频画面；利用行人检测器采集多帧画面作为输入图像，包括历史帧和当前帧，将两者输入到DLA‑34模型，得到前n帧的特征，将前n帧的特征按不同维度展开得到变形后的特征，将变形后的特征代入得到当前帧特征信息，将当前帧特征信息输入到线性解码层，输出当前帧的目标框，根据目标框进行匹配，得到匹配边界框；根据匹配边界框生成行人轨迹向量，根据行人轨迹向量与分界线的相对位置统计人流量，通过本发明不仅可以加强匹配边界框之间的特征信息联系，还可以降低环境带来的干扰，提高人数统计的精度。技术研发人员：刘振锋,许华新,刘合想,廖森林,施华明受保护的技术使用者：珠海数字动力科技股份有限公司技术研发日：技术公布日：2024/7/29