一种基于乘车人员发生变更的预警系统、方法及电子设备与流程

本技术涉及车辆预警，特别涉及一种基于乘车人员发生变更的预警系统、方法及电子设备。

背景技术：

1、近年来道路上的车辆大幅增多，人们对于交通安全事故频发的状况也愈发重视。比如在忘记锁车门的情况下，同款车的相邻停放，很容易造成车辆误开；以及在长途驾驶过程中，把乘客忘记在服务区或者在高速路段将乘客赶下车等事故。因此，在日常用车的很多场景下，对车内人数，以及具体人进行识别核对是车辆必不可少的能力。现有的人数任务识别大多用于公交车、客车这类多人乘坐的场景下，但是只能在乘客数量上进行统计，无法对具体的乘客进行识别。

2、然而，随着乘用车的普及、自驾游的流行，对车内乘坐乘客人数的实时获取以及乘坐人员安全管理的需求也越来越广。尤其是在高速上非停车路段的非事故场景下，如果发生人员缺失或者司机主动赶乘客下车等状况，则需要一种能够实时检测并立即触发报警的设备，以此保护乘客人身安全。

3、目前在一段驾驶任务中，人数以及人员的身份识别方法基本上都是通过人工点数、识别的方式获取的。但是由于司机高速驾驶疲惫或者载客数量大等条件下，司机很容易忘记或者主动丢弃乘客。再加上有脸盲的可能，并不能完全避免此类事件的发生。因此，如果能在车内搭载一套自动识别人数以及人脸id的系统，在必要的时候提醒司机缺失乘客或者乘坐人员发生变化，司机以及乘客都能安心的乘坐体验。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于乘车人员发生变更的预警系统、方法及电子设备。

2、第一方面，本技术提供了一种基于乘车人员发生变更的预警系统，包括数据采集设备、云计算模块、通信模块、车载定位模块和车载语音设备；

3、所述数据采集设备，用于结合车载定位模块提供的车辆实时定位和路径追踪信息，从采集的视频流中获得行程中各个阶段的车内人员监控数据；其中，所述车内人员监控数据包括：车内人员数量、人脸id以及各人脸id对应的特征数据；

4、所述行程中各个阶段包括：车辆初始启动阶段，以及执行驾驶任务过程中的车辆重启阶段；

5、所述云计算模块，用于基于车辆初始启动阶段采集的车内人员监控数据训练得到的识别模型，对执行驾驶任务过程中车辆重启阶段的车内人员监控数据进行分析识别，并做出决策；将决策信号发送给车载语音设备或者安全中心，控制车载语音设备向驾驶端提醒车内人员中出现的新面孔；以及，向安全中心触发安全警报，上报车辆处于预设禁停路段的人员减少处的地理位置；

6、所述通信模块，用于通过实时流协议rtsp，将数据采集设备接入监控网络与云计算模块相连，并通过通讯协议mqtt，将数据采集设备采集的车内人员监控数据发送给云计算模块，并将云计算模块得到的决策信号发送给车载语音设备或者安全中心；

7、所述车载定位模块，用于对接入监控网络的数据采集设备和云计算模块提供车辆实时定位和路径追踪，并为驾驶端提供地图导航。

8、可选的，所述数据采集设备包括：视频采集模块、图像分析模块、获取模块和传输模块；

9、所述视频采集模块，用于人员检测服务开启时，实时采集预设范围内的视频流；

10、所述图像分析模块，用于分析视频流中的图像信息，获得视频流中包含的车内人员数量、人脸id以及各人脸id对应的特征数据；

11、所述获取模块，用于根据车载定位模块提供的车辆实时定位和路径追踪信息，确定行程中的各个阶段，对行程中各个阶段的车内人员监控数据进行记录，获得初始数据源和待识别数据；

12、所述传输模块与通信模块连接，用于在车辆初始启动阶段，将初始数据源同步至云计算模块；在执行驾驶任务过程中的车辆重启阶段，将所述待识别数据发送给云计算模块。

13、可选的，所述视频采集模块包括：感应单元、采集控制单元和摄像头；其中，所述摄像头包括广角摄像头、高清变焦摄像头、红外摄像头和数字传感器中的一个或多个；

14、所述感应单元，用于感知行程中各个阶段的车辆启动，并向采集控制单元发送车辆启动的感知信号；

15、所述采集控制单元接收感应单元的车辆启动感知信号后，开启人员检测服务，控制广角摄像头、高清变焦摄像头、红外摄像头和/或数字传感器进入监控模式，执行预设范围内的视频流采集。

16、可选的，所述图像分析模块包括：

17、图像信息提取单元，用于对视频采集模块采集的视频流进行图像数据采集，获得视频流中的空间帧图像；

18、转换单元，用于将视频流中的空间帧图像转换为平面图像，截取平面图像中的人脸区域图像和衣着区域图像；

19、统计单元，用于通过跟踪链将同一人的人脸区域图像和衣着区域图像存储于同一文件下作为一个人脸id，根据人脸id数量确定车内人员数量；

20、处理单元，用于对同一个人脸id下的人脸区域图像和衣着区域图像进行预处理，对人脸id内预处理后的人脸区域图像和衣着区域图像进行提取特征，获得与人脸id对应的人脸特征数据和衣着特征数据，并将特征数据进行存储。

21、可选的，所述获取模块包括：

22、第一数据获取单元，用于采集车辆初始启动阶段的车内人员监控数据，将其定义为初始数据源；

23、第二数据获取单元，用于采集执行驾驶任务过程中的车辆重启阶段的车内人员监控数据，将其定义为待识别数据。

24、可选的，数据分析单元、模型构建单元、识别单元和决策单元；

25、所述数据分析单元，用于接收初始数据源，对初始数据源包含的车辆初始启动阶段的车内人员监控数据进行汇总、清洗、过滤，得到本次行程中的车内人员数据集合，为模型构建单元提供数据支持；其中，所述车内人员数据集合，包括根据身份类型划分的车内乘客子集合和司机子集合；

26、模型构建单元，用于将车内人员数据集合作为训练样本，对卷积神经网络cnn进行训练，获得识别模型；

27、所述识别单元，用于通过识别模型，对待识别数据与本次行程中的车内人员数据集合的初始数据进行对比分析，获得车内乘车人员是否发生变化的识别结果；

28、所述决策单元，用于根据所述识别结果生成相应的决策信号。

29、可选的，所述识别单元包括：

30、确定子单元，用于基于车载定位模块提供的车辆实时定位和路径追踪，确定当前待识别数据所对应的行程阶段，以及该行程阶段下的车辆停车位置和再次启动的地理位置；

31、对比子单元，用于将待识别数据与车内人员数据集合进行对比，获得车内人员数量、人脸id以及各人脸id对应的特征数据变化量；

32、辨识子单元，用于当车内人员数量不变或者增多时，根据发生变化的人脸id以及各人脸id对应的特征数据，辨识车内人员中的新面孔；

33、判断子单元，用于当车内人员数量减少时，根据车辆停车位置和再次启动的地理位置，判断人员减少处的路段是否为预设禁停路段。

34、可选的，所述决策单元包括：与通信模块连接的提醒子单元和报警子单元；

35、提醒子单元，用于通过通信模块向车载语音设备发送第一决策信号，控制车载语音设备提醒驾驶端车内人员中出现的新面孔；

36、报警子单元，用于通过通信模块向安全中心发送第二决策信号，向安全中心触发安全警报，上报处于预设禁停路段车辆的人员减少处的地理位置。

37、第二方面，本技术提供了一种基于乘车人员发生变更的预警方法，所述方法包括：

38、通过预先构建的识别模型，对执行驾驶任务过程中车辆重启阶段的车内人员监控数据进行分析识别；

39、根据模型输出的识别结果做出决策，将决策信号发送给车载语音设备或者安全中心，控制所述车载语音设备向驾驶端提醒车内人员中出现的新面孔；以及，向安全中心触发安全警报，上报车辆处于预设禁停路段的人员减少处的地理位置；

40、其中，所述识别模型是基于车辆初始启动阶段采集的车内人员监控数据，通过训练得到的模型；

41、所述车内人员监控数据包括：车内人员数量、人脸id以及各人脸id对应的特征数据。

42、第三方面，本技术提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第二方面中所述方法的步骤。

43、上述提出的一种基于乘车人员发生变更的预警系统、方法及电子设备，能够在驾驶任务中，对乘坐的人数和人员身份、特征识别监控，以免丢失乘客，乘客坐错车等相关事件发生；有效避免了行程中发生人员变化造成的安全隐患，为承运方和乘车方均提供了保障。首先通过数据采集设备，结合车载定位模块提供的车辆实时定位和路径追踪信息，从采集的视频流中获得行程中的车辆初始启动阶段，以及执行驾驶任务过程中的车辆重启阶段的车内人员监控数据，并将车内人员监控数据上传至云端。不但能够通过读取云端数据随时查看行车途中车人员，而且可供云端会对乘坐过本车的乘客进行人脸id及相应特征数据的录入，并以此为参照，当行程中有陌生人进入汽车后，对司机进行提醒。

44、通过本发明的上述方法，可及时发现当多辆同车型的车停放在一处时，乘客上错车的情况，并对司机和乘客发出提示，以免造成不必要的麻烦。当司机在服务区停车后，没有核对乘客后就再次启动汽车时，可以及时提醒司机有部分乘客并未上车；当车辆在高速禁停路段，若车内人员发生减少或者乘车人员发生变化时，会及时报警，上报乘客减少处的地理位置，避免人身意外发生。