一种基于级联模型的乘员安全带报警方法及系统与流程

本发明涉及安全带检测，具体涉及一种基于级联模型的乘员安全带报警方法及系统。

背景技术：

1、安全带是用来保护驾驶员和乘员安全的装置，无论是驾驶员还是乘员都乘车时都需系安全带；目前为保证驾驶员和乘员在乘车时系上安全带，汽车通常都具备安全带未系提醒功能，避免事故发生时，舱内乘员未系安全带导致二次伤害。

2、现有技术提供了一种安全带检测方法及装置，其中装置包括：通过车舱内设置的相机拍摄得到待检测图片；通过目标检测模型对所述待检测图片进行目标人员检测，得到目标人体框；将所述目标人体框输入至语义分割模型，确定所述目标人体框中是否存在安全带，并在检测出安全带时，确定所述目标人体框中安全带像素区域与背景像素区域；根据所述安全带像素区域的各个像素点，得到所述各个像素点的最小外接矩形；当所述最小外接矩形的宽高比小于预设阈值，确定所述目标人员未系安全带。本技术通过检测出人体目标框中的安全带像素区域，进而根据安全带像素区域的最小外接矩形，可以准确判断车内的目标人员是否正确佩戴安全带。

3、该现有技术的缺点在于：1)该技术方案仅描述如何确定目标人员是否系安全带，未描述目标人员具体在车上哪个位置，而安全带检测结果一般会在仪表上体现，需有具体乘员位置信息。2)该方案得到目标检测结果后采用语义分割模型进行安全带识别，对于车载小算力控制器，很难将分割模型搭载上车，同时若车满员，每个乘员都需经过分割模型识别安全带，存在报警延时的可能。

4、还有现有技术提供了一种安全带佩戴提醒方法、装置、系统及车辆，该方法包括：在车辆处于上电状态的情况下，获取车辆上每一目标座位分别对应的第一信号和车辆内部对应的图像信息，第一信号用于指示对应的安全带是否插入锁扣中以及安全带是否与锁扣匹配，目标座位为车辆上有乘员乘坐的座位；将图像信息输入至目标神经网络模型，获取用于指示车辆上的乘员是否扣系安全带的第二信号；在至少一个目标座位对应的第一信号指示安全带未插入锁扣中或安全带与锁扣不匹配，和/或第二信号指示至少一个乘员未扣系安全带时，输出第一提醒信号。

5、该现有技术的缺点在于：1)该技术获取两种信号需同时用摄像头和卡扣传感器，成本较高。2)描述为“获取车辆上每一目标座位分别对应的第一信号和车辆内部对应的图像信息”，但未描述如何将目标座位和车辆内部对应的图像信息对应起来。

技术实现思路

1、本发明的目的在于提供一种基于级联模型的乘员安全带报警方法及系统，以实现对座舱内乘员是否佩戴安全带的准确检测，保障了乘员安全。

2、为解决上述技术问题，本发明提供了一种基于级联模型的乘员安全带报警方法，包括：

3、通过摄像头获取座舱内视频流；

4、将座舱内视频流输入预设的级联模型中的人体检测模型，得到人体检测结果，根据人体检测结果判断是否检测到人体，若未检测到人体则乘员安全带报警方法的流程结束，若检测到人体则进行后续步骤；

5、将人体检测结果输入级联模型中的人体关键点检测模型，得到人体关键点检测结果，根据人体关键点检测结果判断人脸姿态是否符合预设要求，若不符合则返回上一步骤，若符合则进行后续步骤；

6、根据人体关键点检测结果确定乘员位置，并确定安全带检测输入图像区域；

7、对安全带检测输入图像区域进行安全带佩戴检测，结合乘员位置获得各座位的安全带佩戴情况；

8、根据各座位安全带佩戴情况判断是否报警。

9、按上述方案，所述对安全带检测输入图像区域进行安全带佩戴检测的方法为：利用安全带识别模型对对安全带检测输入图像区域进行安全带佩戴检测；

10、所述安全带识别模型为改进lcnet模型，包括：第一普通卷积层、第一深度可分离卷积层、第二深度可分离卷积层、第三深度可分离卷积层、第四深度可分离卷积层、两个瓶颈层、五个第五深度可分离卷积层、第六深度可分离卷积层、第七深度可分离卷积层、全局平均池化层、第一全连接层、第二全连接层。

11、按上述方案，第一普通卷积层的卷积核大小为3*3，步长为2，输入大小为64*64*3，输出大小为32*32*16；

12、第一深度可分离卷积层的卷积核大小为3*3，步长为1，输入大小为32*32*16，输出大小为32*32*32；

13、第二深度可分离卷积层的卷积核大小为3*3，步长为1，输入大小为32*32*32，输出大小为32*32*64；

14、第三深度可分离卷积层的卷积核大小为3*3，步长为2，输入大小为32*32*64，输出大小为16*16*128；

15、第四深度可分离卷积层的卷积核大小为3*3，步长为1，输入大小为16*16*128，输出大小为16*16*256；

16、瓶颈层的卷积核大小为3*3，步长为1，输入大小为16*16*128，输出大小为16*16*128；

17、第五深度可分离卷积层的卷积核大小为5*5，步长为1，输入大小为16*16*256，输出大小为16*16*256；

18、第六深度可分离卷积层的卷积核大小为5*5，步长为2，输入大小为16*16*256，输出大小为8*8*512；

19、第七深度可分离卷积层的卷积核大小为5*5，步长为1，输入大小为8*8*512，输出大小为8*8*512。

20、按上述方案，第六深度可分离卷积层、第七深度可分离卷积层均设有带软阈值化的se子模块。

21、按上述方案，所述摄像头为oms摄像头，所述座舱内视频流对应的图像为单目ir/rgb图像。

22、按上述方案，所述人体检测模型为轻量级网络picodet，所述人体关键点检测模型为tinypose网络。

23、按上述方案，人体关键点检测结果包括五个脸部关键点和十三个躯干关键点；脸部关键点对应的人体部位包括左目、右目、左耳、右耳、鼻，躯干关键点对应的人体部位包括首、左肩、右肩、左肘、左手首、右肘、右手首、左腰、右腰、左膝、右膝、左足首、右足首。

24、按上述方案，所述根据人体关键点检测结果确定乘员位置的方法包括：

25、根据某乘员的脸部关键点的姿态及脸部关键点构成的矩形框，判断该乘员是否坐稳，是则进行后续步骤，否则循环进行本步骤；

26、根据该乘员的躯干关键点中的左肩、右肩、左腰、右腰，获取该乘员的上半身区域矩形框；

27、将各座位的上半身标定矩形框与该乘员的上半身区域矩形框进行iou大小排序；各座位的上半身标定矩形框通过预先标定得到；

28、将iou最大值对应的座位作为该乘员的乘员位置。

29、按上述方案，所述根据各座位安全带佩戴情况判断是否报警的方法包括：

30、连续统计第一时长内座舱内视频流的每帧对应的各座位安全带佩戴情况；

31、当第一时长内，若超过第一百分比的帧检测到的乘员位置为同一座位，且超过第二百分比的帧检测到某乘员位置未佩戴安全带，则报警。

32、本发明还提供一种基于级联模型的乘员安全带报警系统，包括：

33、摄像头，用于获取座舱内视频流；

34、安全带佩戴检测模块，用于根据座舱内视频流，执行上文所述的基于级联模型的乘员安全带报警方法，判断是否报警；

35、报警模块，用于进行报警。

36、实施本发明基于级联模型的乘员安全带报警方法及系统，具有如下有益效果：

37、1、本发明采用视觉算法对乘员是否佩戴安全带进行检测，代替了现有检测方案中采用的压力传感器和卡扣传感器，降低了硬件成本。采用级联模型，减少了多乘员时带来的模型算力消耗和cpu占用，同时减小级联模型输入大小，降低模型推理耗时。

38、2、本发明提供了一种改进的lcnet模型作为安全带识别模型，相较于改进前的lcnet模型，该模型能够更好的应对各类光照条件，减小了模型参数，提高了模型的鲁棒性，并且增加了安全带识别的准确率和召回率。

39、3、本发明报警逻辑中，通过对连续帧中各座位安全带佩戴情况进行综合判断，避免了对每帧结果进行单独判断，减小了误判率，提高了报警的准确性和稳定性。