基于ShuffleNetv2-YOLOv5s的夜间交通流检测方法

本发明涉及夜间交通流检测的，尤其是指一种基于shufflenetv2-yolov5s的夜间交通流检测方法。

背景技术：

1、当前，电动汽车使用量逐年递增，夜间交通流检测应用的可靠性问题也受到了越来越多的关注。在交通监控设施进行夜间交通流检测时，由于视觉极易受到夜间道路场景中光线弱、明暗差异大的影响，能见度较低时效果不理想，而传感器属于被动型，对光照、阴影和目标遮挡等诸多不确定因素较为敏感，因此，通常的交通监控设施均采用较亮的灯光以此降低夜间道路场景的影响，增加夜间视觉传感器读对目标检测的识别率。

2、但是，不可避免的影响到驾驶者通过监控设施时受到强光源刺激的情况，这也间接导致交通事故的发生。并且，在实际夜间交通流检测场景中，设备与目标车辆具有相对运动，监控设备所拍摄产生的图像通常伴随着一些图像噪点，这在一定程度上影响了夜间交通流检测工作上的难度。

3、总的来说，现有的交通监控设施在夜间道路场景中，在光照强度等外部因素的干扰下，使得检测的准确性与速度较低，需要对夜间道路场景下交通流检测方法进行深入研究以此提高其在实际应用中的效果。

技术实现思路

1、本发明的目的在于克服现有技术的缺点与不足，提出了一种基于shufflenetv2-yolov5s的夜间交通流检测方法，在保证检测速度的基础上，降低检测网络的大小，且能有效解决夜间场景中亮度低、噪声大、对比度低、光源来源复杂等条件导致网络提取车辆特征信息任务难以及时完成的问题，改善了夜间交通流检测的精度和速度。

2、为实现上述目的，本发明所提供的技术方案为：基于shufflenetv2-yolov5s的夜间交通流检测方法，该方法是基于shufflenetv2-yolov5s网络实现夜间交通流的精准检测，该shufflenetv2-yolov5s网络是对传统yolov5s网络的初始数据集建立和特征提取模块进行改进优化，其中，对初始数据集的改进是：使用lime低照度图像增强算法扩充数据集；对特征提取模块的改进是：基于shufflenetv2轻量级网络的思想改进bottleneckcsp结构，使用层间剪枝的方法将部分网络层剪枝掉并引入eca通道注意力机制，采用frelu激活函数替换原本shufflenetv2unit模块中的relu激活函数；

3、该夜间交通流检测方法的具体实施包括以下步骤：

4、1)获取夜间车辆图像作为数据集，并按照预设比例随机抽取部分数据，通过lime低照度图像增强算法对该部分数据进行图像处理增强，将处理后的图像与原来的数据集合并，得到增强数据集；接着使用labelimg对增强数据集进行标注，将车辆标注为car、truck、bus三类，得到标注好的数据集作为夜间交通数据集；最后将夜间交通数据集按照预设比例划分成为训练集和验证集；

5、2)使用yolov5s网络在coco数据集训练获得的权重文件作为shufflenetv2-yolov5s网络初始训练的权重文件，使用训练集和定义好的focal loss损失函数，开始训练shufflenetv2-yolov5s网络；在训练过程中，使用基于随机梯度下降的adam优化算法，对shufflenetv2-yolov5s网络的初始化参数通过一阶矩估计和二阶矩估计来更新迭代，根据验证集的性能来调整shufflenetv2-yolov5s网络的超参数，将每次迭代结束后得到的网络参数与先前的最优网络参数进行对比，更新并保存最优网络参数，完成训练，得到性能最优的shufflenetv2-yolov5s网络；

6、3)将性能最优的shufflenetv2-yolov5s网络移植到本地交通流检测平台，利用该shufflenetv2-yolov5s网络对本地交通流检测平台获取的视频图像中是否包含车辆进行判断，若是则用锚定框标记并分为car、truck、bus三种车型，若否则不做任何处理；

7、4)通过deepsort算法来跟踪锚定框标记出来的车辆在连续帧之间的位置变化，根据跟踪到的车辆位置信息计算出每一帧中车辆的位移，而后通过位移除以时间间隔得到车辆的平均速度并显示在屏幕上。

8、进一步，所述shufflenetv2-yolov5s网络的构建过程如下：

9、1)改进yolov5s网络的特征提取模块中的bottleneckcsp结构，具体是：基于shufflenetv2轻量级网络的思想对bottleneckcsp结构进行轻量化处理，在保证网络的精度变化幅度不大的情况下，降低参数量与计算量，提高网络的算力与存储能力；

10、2)采用层间剪枝的方法优化网络，通过计算各个网络层对平均精度均值的影响来确定所需剪枝的网络层；

11、3)采用eca通道注意力机制，以调整每个通道的权重，提高重要信息的表达，能够在保证网络轻量化的同时带来明显的增益效果，显著地降低网络的复杂性；

12、4)采用frelu激活函数替换原本shufflenetv2unit模块中的relu激活函数，解决relu带来的神经元坏死问题，提高网络的性能与鲁棒性。

13、进一步，所述bottleneckcsp结构执行以下操作：输入特征图分别输入两个cbs卷积层，其中一个特征图经过cbs卷积层进行通道数减半操作后直接输出特征值；另一个特征图经过cbs卷积层进行通道数减半操作后经过一个shufflenetv2unit模块，然后输出特征图与输入特征图进行add操作，而后两个不同尺度的特征图在通道维度上进行concat拼接，最后输出特征图通过eca通道注意力机制；所述cbs卷积层是由卷积层、归一化层和激活函数这三个网络层组成。

14、进一步，所述shufflenetv2unit模块执行以下操作：输入特征图经过通道分组channel split操作分为不同尺度的两部分，其中一部分通过深度可分离卷积进行卷积操作后与另一部分进行张量拼接concat操作，最后进行通道混洗channel shuffle操作得到输出特征图；所述深度可分离卷积层由深度卷积与逐点卷积构成。

15、进一步，对bottleneckcsp结构中的残差结构进行剪枝操作，去除多余的残差结构，残差结构的使用是为了降低参数量，在深层网络中多次使用残差结构极易产生冗余，故剪枝掉这部分网络层对map有轻微的降低，但网络的大小也有明显的降低。

16、进一步，所述eca通道注意力机制在无需降维的基础上，通过全局平均池化gap聚合卷积特征的方式来避免降维对通道注意力学习的不利影响，接着eca通道注意力机制将自适应地确认卷积核尺寸大小k，并执行快速1d卷积操作实现对其相邻的k-1个通道信息进行局部跨通道综合，通过sigmoid激活函数实现对每个通道的注意力加权，并将权重系数限制在0到1之间，从而更好地适应不同的输入特征与不同的任务需求。

17、进一步，所述frelu激活函数的表达式为：

18、frelu＝max(x,t(x))

19、式中，x表示输入值；t(x)为空间条件，即2d漏斗条件；

20、所述frelu激活函数在relu函数的负值区间引入了空间条件，解决了激活函数对空间不敏感问题，并通过常规卷积捕获复杂的视觉布局，使函数具有像素级建模能力。

21、进一步，所述夜间车辆图像由以下方式获取：在mio-tcd公共数据集中，从不同角度、天气状况和场景中选择了500张车辆图像并包括部分被其它车辆遮挡和截断的图像作为数据集；通过hbv-1714单目摄像头在某一路段上获取数据，从中选择黑夜车辆图像2000张作为数据集；最终通过lime低照度图像增强算法对前两部分数据集的部分图像进行图像处理增强，共计3000张不同车型不同遮挡程度不同角度的夜间车辆图片。

22、本发明与现有技术相比，具有如下优点与有益效果：

23、本发明方法构思合理，在保证检测速度的基础上，降低检测网络的大小，且有效地解决了夜间道路场景中亮度低、噪声大、对比度低、光源来源复杂等条件导致网络提取车辆特征信息任务难以及时完成的问题，改善了夜间交通流检测的精度和速度；并降低了网络的参数量与计算量，使之能用于移动端设备的夜间车辆检测任务。

24、本发明的shufflenetv2-yolov5s网络为降低夜间光照因素对车辆检测能力的影响，在建立数据集时通过lime低照度图像增强算法对获取的数据集进行随机的图像增强以扩充数据集；基于shufflenetv2轻量级网络的思想对bottleneckcsp结构进行轻量化处理，降低参数量与计算量，提高网络的算力与存储能力；引入eca通道注意力机制，以调整每个通道的权重，提高重要信息的表达，降低网络的复杂性；使用frelu激活函数作为网络的激活函数，降低了网络训练复杂度，提高了算法泛化能力，改善了夜间车辆检测的精度和速度。本发明网络轻量化程度高，权重大小仅为10.05mb，是原本yolov5s模型权重的70.6％，适用部署在移动端以及监控设施上，并极大地降低了夜间光照因素对网络检测能力的影响。