基于机器视觉的车辆尾灯行为识别方法及电子设备与流程

本发明属于自动驾驶，具体涉及一种基于机器视觉的车辆尾灯行为识别方法及电子设备。

背景技术：

1、随着自动驾驶领域的不断发展，极大地提高了人们的交通出行效率，改善了出行体验，以及简化了驾驶操作。同时，其中的辅助驾驶功能在一定程度上能够帮助驾驶人员提前作出一系列必要的判断，避免一些潜在安全事故隐患的发生。因此，当今汽车上的诸多辅助驾驶功能具有较强的实用性和必要性。对前车的尾灯行为进行智能分析，对于驾驶人了解和预判前车的下一步行为，以及自己接下来需要采取的措施，都提供了很好的帮助。

2、通过对行车记录仪等摄像设备录制的实时视频进行处理和分析，识别出当前画面中的所有前车尾灯行为，以此来为驾驶人下一步的操作提供重要性的参考意见。例如：若前方车辆尾灯发生踩刹车行为，驾驶人则需要警惕并减速；若左前方车辆尾灯发生右转向行为，说明目标车辆有变到我方车道的倾向，则应注意减速和避让。

技术实现思路

1、为解决上述问题，本发明提供一种基于机器视觉的车辆尾灯行为识别方法及电子设备，将视频识别与深度学习算法相结合得到的行为识别方法，适用于自动驾驶中辅助判断前车尾灯是否存在相关动态行为，以此来有效地降低交通安全隐患的发生，提高交通出行效率。

2、本发明公开一种基于机器视觉的车辆尾灯行为识别方法，其包括：

3、步骤1：获取对车载录像设备录制的动态行驶路况视频，对所述动态行驶路况视频进行预处理，得到视频中所包含的各个车辆的车辆序列图片；

4、步骤2：对所述车辆序列图片进行切片，人工分析切片得到的每个车辆序列切片，并对其中存在的目标车辆尾灯行为进行标注；

5、步骤3：采用cnn+transformer结合的总体网络架构构建用于识别车辆尾灯行为的算法模型，将所述车辆序列切片和人工标注的标签作为模型输入，对所述算法模型进行训练，得到可供使用的目标算法模型；

6、步骤4：将待识别的车辆序列切片输入至目标算法模型进行预测，输出目标尾灯行为的识别结果。

7、作为一种可选方案，所述步骤3中：

8、所述算法模型包括backbone、decoder、head三个网络模块；

9、所述backbone模块采用基于cnn架构的3d-shufflenetv2网络，用于从输入的车辆序列切片中学习并提取车辆序列切片的深层语义特征，并返回4个stage的中间层特征；

10、所述decoder模块在backbone模块返回的中间层特征基础上，使用初始化的查询向量依次与每个stage的中间特征层进行级联式的多头交叉注意力机制学习；

11、所述head模块将decoder模块中级联式学习后输出的最终查询向量的基础上，将向量特征向量特征映射为存在各类别目标尾灯行为的概率值。

12、作为一种可选方案，所述步骤3中，对算法模型进行训练，具体包括：

13、将所述车辆序列切片及人工标注的标签作为输入，对所述算法模型进行训练，输出所述车辆序列切片存在各类别目标尾灯行为的概率值；

14、采用损失函数结合所述概率值及标签，计算当前损失值；

15、通过神经网络反向传播的方式，依据损失值计算每个待更新参数的梯度，并更新网络参数值；

16、循环上述各种，待网络参数学习过程趋于收敛时，训练结束，得到可供使用的目标算法模型。

17、作为一种可选方案，所述损失函数具体包括：

18、作为基本损失函数的bce loss，其中，bce loss损失函数的公式为：

19、

20、总损失函数为所有层的加权损失之和，即：

21、

22、式中，p为head模块中，每个神经元的输出概率值，取值范围为(0,1)；y为每种车辆尾灯行为对应的数值化标签值，y＝0 or 1；m为神经元的个数；lossbce表示所有神经元的bce loss之和；表示最后一层的损失值，表示中间层的损失值，α表示中间层损失的加权系数，取值范围为(0,1)，n为中间层的层数；loss表示网络最后一层损失与所有中间层的加权损失之和，来作为整体网络的总损失值。

23、作为一种可选方案，所述步骤1中，具体包括：

24、步骤1.1：从车载录像设备中获取动态行驶路况视频，读取并保存所述动态行驶路况视频中所有的帧画面；

25、步骤1.2：使用目标检测模型对所述帧画面中所有的车辆进行检测，并获取车辆的坐标信息；使用目标跟踪模型，结合所述车辆坐标信息对所有检测的车辆目标进行匹配和跟踪，并赋予各车辆用于身份识别的id序号；

26、步骤1.3：基于所述车辆坐标信息和目标跟踪模型获得的匹配结果，从所述帧画面中裁剪出所有的车辆图片；

27、步骤1.4：基于所述车辆图片，依据车辆的id序号，对每个车辆对象按帧先后顺序分别构建独立的车辆序列图片。

28、作为一种可选方案，所述目标检测模型为yolov5目标检测模型，所述目标跟踪模型为deepsort目标跟踪模型。

29、作为一种可选方案，所述步骤2中，具体包括：

30、步骤2.1：按照预设步长和预设序列长度，对所述车辆序列图片进行切片，得到若干车辆序列切片；

31、步骤2.2：对所述车辆序列切片进行人工分析，对车辆序列切片中存在的所有目标尾灯行为进行标注，并赋予相应的标签；

32、步骤2.3：对所述标签进行数值化，得到数值化标签。

33、作为一种可选方案，所述目标尾灯行为包括brake_on、brake_off、turn_left、turn_right；对所述标签进行数值化，具体包括：使用4位二进制编码来体现标签的数值化，每位依次表示目标尾灯行为brake_on、brake_off、turn_left、turn_right存在与否，其中，0则表示不存在，1则表示存在。

34、作为一种可选方案，所述步骤4中，具体包括：

35、将待识别的车辆序列切片输入至目标算法模型；

36、经过前向推理后预测出所述车辆序列切片中存在各类别目标尾灯行为的概率值；

37、输出所述概率值大于预设阈值的目标尾灯行为类别。

38、进一步，本发明还公开一种电子设备，其特征在于，包括处理器和存储器，所述处理器用于调用存储器中存储的计算机程序，执行上述任意一项方案所述的基于机器视觉的车辆尾灯行为识别方法。

39、本发明具有以下有益效果：

40、本发明创新性的引入基于时空联合形式的行为识别算法模型，在检测跟踪得到的车辆序列图片基础上，实现端到端的灯光行为判断；且算法模型结合cnn和transformer的架构进行设计，网络结构轻量化，在识别精度和处理速率上都具有较好的表现，能很好的适用于自动驾驶中辅助判断前车尾灯的实时发生行为。

41、本发明基于智能视频处理与识别技术，可以适用于任何复杂场景，并且涉及的硬件设备仅包括摄像头和计算机、平板电脑等电子设备，大大降低了硬件成本和运行功耗，具有较高的实用价值和广阔应用前景。