基于多特征融合的口岸初步异常筛选方法、系统及终端与流程

本发明涉及口岸异常检测，尤其涉及一种基于多特征融合的口岸初步异常筛选方法、系统、终端及计算机可读存储介质。

背景技术：

1、随着贸易旅行全球化，人口流动进一步加剧，各个口岸的出入境人次急剧增长，跨境传染病防控面临复杂严峻的挑战，并且由于入境人群背景复杂、来源多样，外防输入是防控的关键难点。

2、目前，海关工作人员在管理入境人员的时候，主要是通过海关工作人员的个人经验来人工判断入境人员是否存在异常情况，并对疑似异常的入境人员进行临时抽检，但是，海关每日通行的人流量非常之大，海关工作人员无法观察到每个入境人员的情况，也就是说，人工判断的方式不仅增加了通关时间，加剧了入境关口人流拥堵情况，同时也导致海关工作人员人力负担较重，并且容易出现疏漏，对入境人员筛选的准确度与效率不高。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于多特征融合的口岸初步异常筛选方法、系统、终端及计算机可读存储介质，旨在解决现有技术中通过人工判断的方式对入境人员进行初步异常筛选，效率低且准确率差的问题。

2、为实现上述目的，本发明提供一种基于多特征融合的口岸初步异常筛选方法，所述基于多特征融合的口岸初步异常筛选方法包括如下步骤：

3、获取目标口岸的待处理的视频数据，对所述视频数据进行人脸识别处理，得到所述视频数据中每个待筛选人员对应的人脸视频数据；

4、分别基于每个所述人脸视频数据进行特征提取操作，得到每个所述待筛选人员对应的多模态融合特征；

5、基于所述视频数据进行人体姿态检测，得到每个所述待筛选人员对应的姿态特征；

6、根据每个所述待筛选人员对应的多模态融合特征和姿态特征得到每个所述待筛选人员对应的最终筛选特征，并基于每个所述最终筛选特征进行分类操作，得到每个所述待筛选人员对应的初步异常筛选结果。

7、可选地，所述的基于多特征融合的口岸初步异常筛选方法，其中，所述获取目标口岸的待处理的视频数据，对所述视频数据进行人脸识别处理，得到所述视频数据中每个待筛选人员对应的人脸视频数据，具体包括：

8、获取目标口岸的待处理的视频数据，其中，所述视频数据由拍摄设备实时拍摄得到；

9、将所述视频数据输入至预先训练完成的人脸检测模型，所述人脸检测模型对所述视频数据进行人脸识别处理，得到每个筛选人员对应的人脸区域；

10、根据每个所述筛选人员的人脸区域生成每个所述筛选人员对应的人脸视频数据。

11、可选地，所述的基于多特征融合的口岸初步异常筛选方法，其中，所述分别基于每个所述人脸视频数据进行特征提取操作，得到每个所述待筛选人员对应的多模态融合特征，具体包括：

12、分别基于每个所述人脸视频数据进行心率估计，得到每个所述待筛选人员的心率特征；

13、分别基于每个所述人脸视频数据进行疲劳检测，得到每个所述待筛选人员的疲劳特征；

14、分别基于每个所述人脸视频数据进行体温检测，得到每个所述待筛选人员的体温特征；

15、基于注意力机制将分别将每个所述待筛选人员的心率特征、疲劳特征和体温特征进行融合，得到多模态融合特征。

16、可选地，所述的基于多特征融合的口岸初步异常筛选方法，其中，所述基于注意力机制将分别将每个所述待筛选人员的心率特征、疲劳特征和体温特征进行融合，得到多模态融合特征，具体包括：

17、根据每个所述待筛选人员的疲劳特征和体温特征进行计算，得到每个所述待筛选人员对应的心率注意力权重，并根据每个所述心率注意力权重和对应的心率特征进行计算，得到多个注意力心率特征；

18、根据每个所述待筛选人员的心率特征和体温特征进行计算，得到每个所述待筛选人员对应的疲劳注意力权重，并根据每个所述疲劳注意力权重和对应的疲劳特征进行计算，得到多个注意力疲劳特征；

19、根据每个所述待筛选人员的心率特征和疲劳特征进行计算，得到每个所述待筛选人员对应的体温注意力权重，并根据每个所述体温注意力权重和对应的体温特征进行计算，得到多个注意力体温特征；

20、将每个所述待筛选人员对应的注意力心率特征、注意力疲劳特征和注意力体温特征进行融合，得到每个所述待筛选人员的多模态融合特征。

21、可选地，所述的基于多特征融合的口岸初步异常筛选方法，其中，所述基于所述视频数据进行人体姿态检测，得到每个所述待筛选人员对应的姿态特征，具体包括：

22、将所述视频数据输入至预先训练完成的姿态识别网络，所述姿态识别网络对所述视频数据进行人体关键点识别，得到每个所述待筛选人员对应的人体关键点；

23、分别基于每个所述筛选人员的人体关键点进行姿态估计，得到每个所述筛选人员对应的姿态特征。

24、可选地，所述的基于多特征融合的口岸初步异常筛选方法，其中，所述分别将每个所述待筛选人员对应的多模态融合特征和姿态特征进行融合，得到每个所述待筛选人员对应的最终融合特征，并基于每个所述最终融合特征进行分类操作，得到每个所述待筛选人员对应的初步异常筛选结果，具体包括：

25、分别将每个所述待筛选人员对应的多模态融合特征和姿态特征进行特征融合处理，得到每个所述待筛选人员对应的最终筛选特征；

26、基于预先训练完成的异常筛选网络，分别根据每个所述最终筛选特征对每个所述待筛选人员进行分类操作，得到每个待筛选人员对应的异常概率值；

27、分别根据每个所述异常概率值生成每个所述待筛选人员对应的初步异常筛选结果。

28、可选地，所述的基于多特征融合的口岸初步异常筛选方法，其中，所述分别根据每个所述异常概率值生成每个所述待筛选人员对应的初步异常筛选结果，具体包括：

29、基于预设阈值分别对每个所述待筛选人员对应的异常概率值进行判断；

30、若异常概率值大于所述预设阈值，则为对应的待筛选人员生成内容为无异常的初步异常筛选结果；

31、若异常概率值小于等于所述预设阈值，则为对应的待筛选人员生成内容为存在异常的初步异常筛选结果。

32、此外，为实现上述目的，本发明还提供一种基于多特征融合的口岸初步异常筛选系统，其中，所述基于多特征融合的口岸初步异常筛选系统包括：

33、人脸数据获取模块，用于获取目标口岸的待处理的视频数据，对所述视频数据进行人脸识别处理，得到所述视频数据中每个待筛选人员对应的人脸视频数据；

34、多模态特征获取模块，用于分别基于每个所述人脸视频数据进行特征提取操作，得到每个所述待筛选人员对应的多模态融合特征；

35、姿态特征获取模块，用于基于所述视频数据进行人体姿态检测，得到每个所述待筛选人员对应的姿态特征；

36、初步异常筛选模块，用于根据每个所述待筛选人员对应的多模态融合特征和姿态特征得到每个所述待筛选人员对应的最终筛选特征，并基于每个所述最终筛选特征进行分类操作，得到每个所述待筛选人员对应的初步异常筛选结果。

37、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多特征融合的口岸初步异常筛选程序，所述基于多特征融合的口岸初步异常筛选程序被所述处理器执行时实现如上所述的基于多特征融合的口岸初步异常筛选方法的步骤。

38、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于多特征融合的口岸初步异常筛选程序，所述基于多特征融合的口岸初步异常筛选程序被处理器执行时实现如上所述的基于多特征融合的口岸初步异常筛选方法的步骤。

39、本发明中，获取目标口岸的待处理的视频数据，对所述视频数据进行人脸识别处理，得到所述视频数据中每个待筛选人员对应的人脸视频数据；分别基于每个所述人脸视频数据进行特征提取操作，得到每个所述待筛选人员对应的多模态融合特征；基于所述视频数据进行人体姿态检测，得到每个所述待筛选人员对应的姿态特征；根据每个所述待筛选人员对应的多模态融合特征和姿态特征得到每个所述待筛选人员对应的最终筛选特征，并基于每个所述最终筛选特征进行分类操作，得到每个所述待筛选人员对应的初步异常筛选结果。本发明通过多模态特征融合，实现了对口岸入境人员的快速异常筛选，也提高了对入境人员进行异常筛选的准确性，并且通过多模态算法，实现了实时的异常状态检测，提高了异常筛选的效率，避免入境口岸堵塞，大大加快了入境的效率。