一种后视镜显示屏盲区报警方法、后视镜显示屏与流程

本说明书的实施例涉及监控显示报警领域，尤其涉及一种后视镜显示屏盲区报警方法、后视镜显示屏。

背景技术：

1、近年来，随着智能汽车和深度学习技术的跨越式发展，利用深度学习的目标识别算法对汽车周围的目标进行判别，能精准识别出车外的各种目标，辅助驾驶员进行判断，大大增加了汽车驾驶过程中的安全性和高效性。现有的汽车电子后视镜显示屏通过安装在车外的摄像探头实时地监测汽车外部的图像，驾驶员能从电子后视镜显示屏中最大程度地观察汽车周围情况，以做出判断。但是现有技术中只是单纯地在电子后视镜显示屏上显示并框选目标，驾驶员很难直观地判断电子后视镜显示屏中的物体距离车辆本身的远近，碰撞风险预估不准确。

技术实现思路

1、本说明书的实施例提供了一种后视镜显示屏盲区报警方法、后视镜显示屏，旨在解决上述问题以及其他潜在的问题中的一个或多个。

2、为实现上述目的，提供以下技术方案：

3、根据本说明书的第一方面，提供了一种后视镜显示屏盲区报警方法，包括：

4、后视镜显示屏接收汽车监测装置生成的车外盲区图像，对所述车外盲区图像进行前置处理，并将处理后的所述车外盲区图像输入行人检测模型，所述行人检测模型对所述车外盲区图像进行推理判断，输出绘制有行人标注框的图像，所述后视镜显示屏将绘制有行人标注框的图像显示给驾驶员；其中，所述行人标注框框选进入汽车安全距离的行人；

5、所述行人检测模型的训练步骤包括：获取汽车安全距离和汽车周围含有标注数据的图像集；基于所述标注数据在所述图像集中的图片上生成初始标注框；将带有初始标注框的图片输入yolo网络进行训练，直至所述yolo网络收敛，得到训练好的所述行人检测模型；其中，所述标注数据包括距离标注和类别标注，所述初始标注框框选所述图像集中的图片上进入汽车安全距离的行人。

6、本说明书实施例提供的后视镜显示屏盲区报警方法，将后视镜显示屏和yolo系列神经网络算法结合，基于图像的全局信息对行人位置进行识别预测，同时加入行人距离参数，对进入汽车安全距离的行人进行精准描框，在后视镜显示屏上直观的标注出进入汽车安全距离的行人，推测速度快泛化能力强，使驾驶员能够及时做出判断以减少汽车事故的发生率。

7、在一些实施例中，将带有初始标注框的图片输入yolo网络进行训练，直至所述yolo网络收敛，得到训练好的所述行人检测模型，包括：

8、yolo网络对所述带有初始标注框的图片进行特征提取和融合，利用分类和回归网络得到所述带有初始标注框的图片中的行人位置；

9、基于所述距离标注判断所述带有初始标注框的图片中的行人是否处于汽车安全距离内，如果处于汽车安全距离，对该位置的行人使用预测标注框进行框选，得到带有预测标注框的图片；

10、将所述预测标注框和所述初始标注框进行对比得到损失值，基于所述损失值调整所述yolo网络的参数，直至所述损失值降低到预设值，所述yolo网络收敛。

11、在一些实施例中，所述行人检测模型对所述车外盲区图像进行推理判断时，结合所述车外盲区图像在时间上的前帧图像进行连续推理。

12、在一些实施例中，结合所述车外盲区图像在时间上的前后图像进行连续推理包括：

13、获取所述车外盲区图像前帧图像的行人标注框推理结果；

14、将所述车外盲区图像和其前帧图像进行对比得到差异特征，对所述差异特征进行推理判断；

15、基于所述差异特征的推理判断结果，对所述车外盲区图像前帧图像的行人标注框进行调整，得到所述车外盲区图像的行人标注框。

16、在一些实施例中，对所述车外盲区图像进行前置处理，包括：

17、环境识别步骤：基于识别得到的环境场景，执行不同的降噪处理步骤；其中，所述降噪处理步骤包括雾天场景的图像增强去雾步骤，强光场景的图像曝光度自适应步骤；

18、前景提取步骤：剔除所述车外盲区图像中不需要分析处理的背景特征，提取前景特征。

19、在一些实施例中，所述后视镜显示屏将绘制有行人标注框的图像显示给驾驶员时，获取车内环境光亮度信息，基于所述车内环境光亮度信息调节自身的显示亮度。

20、在一些实施例中，所述后视镜显示屏将绘制有行人标注框的图像显示给驾驶员时，还获取驾驶员的脸部朝向信息，基于所述脸部朝向信息调节所述后视镜显示屏的显示角度。

21、根据本说明书的第二方面，提供了后视镜显示屏，包括前置处理模块、控制模块和显示报警模块；所述前置处理模块用于对车外盲区图像进行前置处理；所述控制模块对处理后的所述车外盲区图像进行分析识别，输出绘制有行人标注框的图像；所述显示报警模块用于向驾驶员显示绘制有行人标注框的图像，向驾驶员发出警告；其中，所述控制模块中部署上述的一种后视镜显示屏盲区报警方法中的行人检测模型。

22、在一些实施例中，所述行人检测模型采用ncnn部署框架部署在所述控制模块。

23、在一些实施例中，所述显示报警模块包括底座、显示屏和追踪感应装置，所述底座和所述显示屏活动连接；所述追踪感应装置感应驾驶员脸部朝向信息和车内环境光亮度信息，将驾驶员脸部朝向信息和车内环境光亮度信息发送给所述控制模块；所述控制模块基于所述驾驶员脸部朝向信息控制所述显示屏沿所述底座活动，使所述显示屏朝向驾驶员面部；所述控制模块基于所述车内环境光亮度信息控制所述显示屏的亮度。

技术特征：

1.一种后视镜显示屏盲区报警方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，将带有初始标注框的图片输入yolo网络进行训练，直至所述yolo网络收敛，得到训练好的所述行人检测模型，包括：

3.根据权利要求1所述的方法，其特征在于，所述行人检测模型对所述车外盲区图像进行推理判断时，结合所述车外盲区图像在时间上的前帧图像进行连续推理。

4.根据权利要求3所述的方法，其特征在于，结合所述车外盲区图像在时间上的前后图像进行连续推理包括：

5.根据权利要求1所述的方法，其特征在于，对所述车外盲区图像进行前置处理，包括：

6.根据权利要求1所述的方法，其特征在于，所述后视镜显示屏将绘制有行人标注框的图像显示给驾驶员时，获取车内环境光亮度信息，基于所述车内环境光亮度信息调节自身的显示亮度。

7.根据权利要求1所述的方法，其特征在于，所述后视镜显示屏将绘制有行人标注框的图像显示给驾驶员时，还获取驾驶员的脸部朝向信息，基于所述脸部朝向信息调节所述后视镜显示屏的显示角度。

8.后视镜显示屏，其特征在于，包括前置处理模块、控制模块和显示报警模块；所述前置处理模块用于对车外盲区图像进行前置处理；所述控制模块对处理后的所述车外盲区图像进行分析识别，输出绘制有行人标注框的图像；所述显示报警模块用于向驾驶员显示绘制有行人标注框的图像，向驾驶员发出警告；其中，所述控制模块中部署根据权利要求1所述的行人检测模型。

9.根据权利要求8所述的后视镜显示屏，其特征在于，所述行人检测模型采用ncnn部署框架部署在所述控制模块。

10.根据权利要求8所述的后视镜显示屏，其特征在于，所述显示报警模块包括底座、显示屏和追踪感应装置，所述底座和所述显示屏活动连接；所述追踪感应装置感应驾驶员脸部朝向信息和车内环境光亮度信息，将驾驶员脸部朝向信息和车内环境光亮度信息发送给所述控制模块；所述控制模块基于所述驾驶员脸部朝向信息控制所述显示屏沿所述底座活动，使所述显示屏朝向驾驶员面部；所述控制模块基于所述车内环境光亮度信息控制所述显示屏的亮度。

技术总结本说明书涉及监控显示报警领域，涉及一种后视镜显示屏盲区报警方法、后视镜显示屏。后视镜显示屏盲区报警方法包括接收汽车监测装置生成的车外盲区图像并进行前置处理，将处理后的所述车外盲区图像输入行人检测模型，所述行人检测模型对所述车外盲区图像进行推理判断，输出绘制有行人标注框的图像，所述后视镜显示屏将绘制有行人标注框的图像显示给驾驶员；所述行人检测模型的训练步骤包括：获取汽车安全距离和汽车周围含有标注数据的图像集；基于所述标注数据生成初始标注框；将带有初始标注框的图片输入YOLO网络进行训练，直至所述YOLO网络收敛。本说明书的方法能使驾驶员通过后视镜显示屏高效便捷地判断车外行人的距离，提高驾驶安全性和舒适性。技术研发人员：吕松林,王金柱,谭福伦,黄苏杭,沈俊韬,葛红亮,韩发玉受保护的技术使用者：金龙联合汽车工业（苏州）有限公司技术研发日：技术公布日：2024/7/9