基于顶视视角深度融合的闸门通行识别方法及系统与流程

本发明属于计算机视觉与图像处理，涉及一种基于顶视视角深度融合的闸门通行识别方法及系统。

背景技术：

1、在地铁、火车站、高铁站、景区等需要拦截检票的地方通常设有闸机，提供自动检票。闸门通行的逻辑比较复杂。比如，儿童可在成人前方或者后方通过(携带儿童通行)；成人手推童车或者在前后拉儿童车不会阻挡通行(携带童车通行)；成人手推拉行李不会被阻挡通行(携带行李通行)；成人乘坐轮椅可安全通行(轮椅通行)；打着雨伞的人可以配置为放行或者不放行(打伞通行)；正向闯入，反向穿入，尾随通行，并行通行都需要阻挡通行；还得保证通行的高效。这就需要一种能精准识别通行物体的方法和系统来辅助控制闸门自动开关。

2、现有的识别通行物体的方法及其存在的缺陷如下：

3、仅通过u型红外线被阻挡的情况来判断通行行为。其缺陷在于误检的可能性较大；

4、使用现有的图像处理与识别算法，如感知哈希算法，通过分析视频监控装置截取图片的灰度值信息和图像特征，对比灰度值和特征信息匹配出最接近的示例图片，从而判断单人通行/带行李通行/儿童通行/多人尾随通行。其缺陷在于检测的准确度不高；

5、根据点云数据和图像生成检测区域的特征张量；将特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。其缺陷在于，深度图像需要转成点云，然后提取点云、图像的手工设计特征进行拼接来检测行人，方法较为复杂。也没对通行的其他物体进行检测，无法支持较为复杂的通行逻辑。

6、因此，如何提供一种支持较为复杂的通行逻辑且检测准确度较高的基于顶视视角深度融合的闸门通行识别方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提出了一种基于顶视视角深度融合的闸门通行识别方法及系统，通过使用以顶视视角拍摄的rgb彩色图和深度图早期融合交互的特征提高对闸门通行物体的检测准确率。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明公开了一种基于顶视视角深度融合的闸门通行识别方法，包括如下步骤：

4、s1：构建通行物体识别模型，以检测区域顶视视角的rgb彩色图像和对应的深度图像为输入，输出通行物体的目标类别，所述目标类别包括人类别和物品类别，以及输出人类别对应的头顶点识别结果；

5、s2：基于目标类别和头顶点识别结果，按照预设的通行逻辑，进行闸门开关执行动作的判断。

6、优选的，所述s1中：

7、输出的通行物体的目标类别包括：通行物体预测框的位置，以及目标类别的置信度；

8、输出的头顶点识别结果包括：人类别对应的头顶点位置，以及头顶点的置信度。

9、优选的，所述通行物体识别模型的执行步骤包括：

10、以顶视视角拍摄的检测区域的rgb彩色图像和深度图像作为输入，分别进入模型网络的主干网络，所述主干网络包括rgb分支和depth分支；

11、在所述主干网络进行多次rgb特征和深度特征的融合与交互，得到融合后的特征图；

12、所述融合的特征图经过多尺度特征融合得到多尺度特征图；

13、将多尺度特征融合的输出连接框预测头和点预测头，框预测头输出通行物体的目标类别，点预测头输出头顶点识别结果。

14、优选的，所述深度图像输入至所述通行物体识别模型之前，还包括预处理操作：

15、将最大深度值截断到相机与地面的距离，获得真实值深度图；

16、将真实值深度图进行深度值缩放到固定范围，得到缩放深度图；

17、将所述缩放深度图输入至所述通行物体识别模型。

18、优选的，所述人类别包括成人和儿童，所述预设的通行逻辑至少包括如下中的一种：

19、根据头顶点识别结果在对应深度图像中的深度值计算人的身高，根据人的身高判定人类别属于成人或儿童；

20、在同一幅rgb彩色图像中同时出现一个成人类别和若干个物品类别时，根据成人检测框和物品检测框的中心点距离，判断是否将成人检测框和物品检测框合并，共同作为新的成人检测框，并确定闸门的开关执行动作；

21、在同一幅rgb彩色图像中同时出现一个成人类别和若干个儿童类别时，根据成人检测框和儿童检测框的中心点距离，判断是否将成人检测框和儿童检测框合并，共同作为新的成人检测框，并确定闸门的开关执行动作；

22、在同一幅rgb彩色图像中同时出现多个成人类别时，根据多个成人检测框的中心点距离，确定闸门的开关执行动作。

23、本发明还公开了一种根据所述的基于顶视视角深度融合的闸门通行识别方法的基于顶视视角深度融合的闸门通行识别系统，包括：

24、通行物体识别模块，用于构建通行物体识别模型，以检测区域顶视视角的rgb彩色图像和对应的深度图像为输入，输出通行物体的目标类别，所述目标类别包括人类别和物品类别，以及输出人类别对应的头顶点识别结果；

25、通行逻辑判断模块，用于基于目标类别和头顶点识别结果，按照预设的通行逻辑，进行闸门开关执行动作的判断。

26、优选的，所述通行物体识别模块输出的通行物体的目标类别包括：通行物体预测框的位置，以及目标类别的置信度；所述通行逻辑判断模块输出的头顶点识别结果包括：人类别对应的头顶点位置，以及头顶点的置信度。

27、优选的，所述通行物体识别模型包括主干网络、多尺度特征融合模块、框预测头和点预测头；其中，

28、所述主干网络包括rgb分支和depth分支，以顶视视角拍摄的检测区域的rgb彩色图像和深度图像作为输入，分别进入rgb分支和depth分支；在所述主干网络进行多次rgb特征和深度特征的融合与交互，得到融合后的特征图；

29、所述主干网络连接多尺度特征融合模块，所述融合的特征图经过多尺度特征融合模块进行多尺度特征融合得到多尺度特征图；

30、所述多尺度特征融合模块的输出连接框预测头和点预测头，框预测头输出通行物体的目标类别，点预测头输出头顶点识别结果。

31、优选的，还包括深度图像预处理模块，用于在所述深度图像输入至所述通行物体识别模型之前进行预处理操作：

32、将最大深度值截断到相机与地面的距离，获得真实值深度图；

33、将真实值深度图进行深度值缩放到固定范围，得到缩放深度图；

34、将所述缩放深度图输入至所述通行物体识别模型。

35、优选的，所述人类别包括成人和儿童，所述通行逻辑判断模块加载预设的通行逻辑，所述预设的通行逻辑至少包括如下中的一种：

36、根据头顶点识别结果在对应深度图像中的深度值计算人的身高，根据人的身高判定人类别属于成人或儿童；

37、在同一幅rgb彩色图像中同时出现一个成人类别和若干个物品类别时，根据成人检测框和物品检测框的中心点距离，判断是否将成人检测框和物品检测框合并，共同作为新的成人检测框，并确定闸门的开关执行动作；

38、在同一幅rgb彩色图像中同时出现一个成人类别和若干个儿童类别时，根据成人检测框和儿童检测框的中心点距离，判断是否将成人检测框和儿童检测框合并，共同作为新的成人检测框，并确定闸门的开关执行动作；

39、在同一幅rgb彩色图像中同时出现多个成人类别时，根据多个成人检测框的中心点距离，确定闸门的开关执行动作。

40、经由上述的技术方案可知，与现有技术相比，本发明具有以下增益效果:

41、本发明提出的基于顶视视角深度融合的闸门通行识别方法及系统通过使用rgb彩色图和深度图早期融合交互的特征提高对闸门通行物体的检测准确率。

42、本发明通过检测通行常见类别可实现对通行情况更细致的识别。

43、本发明通过头顶点的检测可以结合深度图得到人的身高，给成人儿童识别增加多一维度的判断条件，使得成人儿童的识别更为准确。

44、本发明对闸门通行更细粒度更精准的识别可避免过多的报警和人工干预，提高出行效率，保障行人通行安全。