一种渣土车车牌的识别方法及其实现系统与流程

1.本发明涉及一种渣土车车牌的识别方法及其实现系统，属于智能交通控制技术领域。


背景技术：

2.随着社会经济的发展，人们的生活水平逐渐提高，越来越多的家庭拥有私家车，交通违法检测也变得尤为重要。对于私家车来说车牌检测较为简单，私家车车牌一般为单排且车牌清晰无遮挡，但是针对渣土车来讲车牌一般为双排，并且车牌会有泥土灰尘遮挡，使得识别渣土车车牌较为困难，而车尾放大号也有同样的问题。
3.由于渣土车进入城市是属于较危险的大型车辆，易发生交通事故，货物抛洒现象，一些路段对于渣土车是限制行驶的。但是仍然有一些渣土车不按交通规则形式的情况，尤其在夜间更为频繁，针对违法渣土车的抓取是一项艰难的任务。
4.目前对于渣土车车牌的识别主要依靠抓拍的方式，会出现会漏检测；目前常用的车牌识别多采用easypr车牌识别系统，该系统对抓拍图像中渣土车车辆检测的速度慢，在进行车牌的识别过程中，当渣土车车牌不清晰的情况下，车牌的检测准确率低，存在误报的情况，导致对进入市区的危险车辆不能及时地做出预警，影响着城市交通对于渣土车的管理。


技术实现要素：

5.针对现有技术的不足，本发明提供一种渣土车车牌的识别方法，该识别方法能够提高对渣土车车辆检测的速度，针对检测的车辆，采用模糊度量算法进行两两比对选出最清晰的渣土车小图做为最终的检测图像，为车牌识别部分提供了基础，采用cnn结合lstm的方式识别车牌，提高了车牌检测的准确率。
6.本发明还提供了上述渣土车车牌识别方法的实现系统。
7.术语解释：
8.1.卷积神经网络：convolutional neural networks，cnn，是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
9.2.长短期记忆网络：long short-term memory，lstm，是一种时间循环神经网络，是为了解决一般的rnn(循环神经网络)存在的长期依赖问题而专门设计出来的，所有的rnn都具有一种重复神经网络模块的链式形式。在标准rnn中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。
10.3.深度可分离卷积：是卷积神经网络中对标准的卷积计算进行改进所得到的算法，其通过拆分空间维度和通道(深度)维度的相关性，减少了卷积计算所需要的参数个数，并在一些研究中被证实提升了卷积核参数的使用效率。
11.4.yolo算法：yolo是目前比较流行的目标检测算法，该方法采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测，因此识别性能有了很大提升。
12.5.deepsort算法：deep sort是多目标跟踪算法，基本思想是tracking-by-detection，利用运动模型和外观信息进行数据关联，运行速率主要由检测算法所决定。算法对每一帧进行目标检测，后续通过带权值的匈牙利匹配算法对之前的运动轨迹和当前检测对象进行匹配，形成物体的运动轨迹。权值由点和运动轨迹的马氏距离及图像块的相似性加权求和得到。
13.6.模糊匹配算法：模糊匹配算法是一种字符串匹配算法，这里主要是应用于车牌字符串，根据两个车牌字符串，若对应位置字符相同则认为正确字符，若对应位置字符不同则选取识别概率大的一方为正确字符。
14.本发明的技术方案为：
15.一种渣土车车牌的识别方法，该识别方法的步骤包括：
16.s1：视频图像提取：获取摄像头拍摄的实时视频流，并对所述实时视频流进行解析从而得到实时图像；
17.s2：渣土车检测：利用改进的yolo算法对步骤s1得到的实时图像进行渣土车检测识别，并将初次检测识别到渣土车的实时图像进行暂存；暂存的目的是为了后续选出最优的渣土车图像。
18.s3：跟踪渣土车，选出渣土车车牌抓拍图像：对步骤s2初次检测识别到的渣土车进行跟踪，根据跟踪的结果得到渣土车图像在实时图像中的位置，并从实时图像中抠出渣土车小图；使用模糊度量算法度量渣土车小图的清晰度，选出最清晰的渣土车小图；将最清晰的渣土车小图所在的实时图像作为最终的渣土车车牌抓拍图像；
19.s4：车牌区域识别：使用改进的yolo算法识别步骤s3得到的最终的渣土车车牌抓拍图像中的车牌区域，所述车牌区域包括车尾的车牌区域和车尾车牌放大区域；
20.s5：车牌识别：采用cnn提取车牌区域的图像空间特征，再使用lstm提取车牌区域的序列特征，使用ctc算法解码获得车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号，并进行保存；选择cnn结合lstm的方式能够针对不同长度的车牌号进行识别，提高了车牌检测的准确率；
21.s6：车牌校验：采用模糊匹配算法对步骤s5保存的车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号进行模糊匹配：
22.若车尾车牌放大区域和车尾的车牌区域的相同位置得到的车牌号相同，则将车尾车牌放大区域或车尾的车牌区域的车牌号作为正确的车牌号；
23.若车尾车牌放大区域和车尾的车牌区域的相同位置得到的车牌号不同，则将步骤s5中车牌识别概率大的一方作为正确的车牌号。经过步骤s5神经网络会给出每个字符预测的概率，概率一般是0～1之间，某数字的概率越大，车牌号是该数字的可能性越高。
24.根据本发明优选的，所述步骤s2和s4中，所述改进的yolo算法中：将实时图像输入到mobilenet中，进行特征提取得到不同尺度的特征图，mobilenet的基本单元为深度可分离卷积，所述深度可分离卷积的层数为17层；再通过全连接层得到特征图的预测值。采用mobilenet中的采用深度可分离卷积代替部分卷积，作为特征提取器，减小了运算量，检测大目标不需要太多的yolo层，针对实时场景识别速度快，更加准确。
25.根据本发明优选的，所述步骤s3中，在模糊度量算法中，采用opencv和拉普拉斯算子来计算渣土车小图的模糊量，两两对比渣土车小图的模糊量，选择渣土车小图的模糊量
最大的渣土车小图作为最清晰的渣土车小图。
26.opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉库，可以运行在linux、windows、android和mac os操作系统上。
27.算法计算得到的模糊量是一个大于0的浮点数值，图像通过拉普拉斯方差算法得到模糊量值越小图像越清晰。
28.根据本发明优选的，所述步骤s3中，采用deepsort算法对检测识别到的渣土车进行跟踪。
29.根据本发明优选的，所述步骤s5中，神经网络采用adam优化方法，学习率使用0.0001，深度学习图像的像素大小统一缩放到128*64。
30.根据本发明优选的，所述步骤s1中，采用ffmpeg程序对所述实时视频流进行解析以得到实时图像。
31.根据本发明优选的，所述步骤s2中，在利用改进的yolo算法对图像区域中的渣土车进行检测之前，需要使用图像标注工具对图像标注并迭代训练。
32.上述渣土车车牌的识别方法的实现系统，包括：
33.视频图像提取单元，用于获取前端摄像头拍摄的实时视频流并处理成实时图像；
34.渣土车检测单元，用于对所述实时图像进行渣土车检测识别，使用改进的yolo算法检测识别渣土车；
35.渣土车跟踪选优单元，用于对检测识别到的渣土车进行跟踪，在跟踪过程中使用模糊度量算法两两对比渣土车小图的清晰度，选出最清晰的渣土车小图；将最清晰的渣土车小图所在的实时图像作为最终的渣土车车牌抓拍图像；
36.车牌区域检测单元，用于对最终的渣土车车牌抓拍图像进行车牌检测，车牌区域检测时既要检测渣土车车尾的车牌区域，又要检测车尾车牌放大区域，并保存对应的位置区域；
37.车牌识别比对单元，对检测到的车牌区域图像进行车牌识别，使用cnn结合lstm算法分别识别出车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号，然后使用模糊匹配算法进行模糊匹配，得出车牌号。
38.本发明的有益效果为：
39.1.本发明提供了一种针对渣土车车牌的识别方法，能够提高对渣土车车牌识别的准确率，对进入市区的危险车辆做及时的预警，对违法渣土车进行准确抓拍记录，降低漏抓率和误报率。
40.2.本发明在算法上采用了改进的yolo算法，提升了渣土车车辆检测的速度，由原来70ms完成一张图像的检测提高到20ms完成一张图像的检测。
41.3.针对检测识别的渣土车，采用模糊度量算法进行两两比对选出最清晰的图像做为最终的检测图像为车牌识别部分提供了基础。
42.4.本发明使用cnn结合lstm的方式识别车牌，在图像清晰的前提下检测的准确率为95％；并通过使用模糊匹配算法进一步提高车牌的准确率，可达到96％。
附图说明
43.图1是实施例1提供的一种基于视频的渣土车车牌识别方法的流程示意图。
具体实施方式
44.下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。
45.实施例1
46.一种渣土车车牌的识别方法，如图1所示，具体步骤包括：
47.s1：视频图像提取：获取摄像头拍摄的实时视频流，并对实时视频流进行解析从而得到实时图像；
48.步骤s1中，采用ffmpeg程序对实时视频流进行解析以得到实时图像。
49.s2：渣土车检测：利用改进的yolo算法对步骤s1得到的实时图像进行渣土车检测识别，并将初次检测识别到渣土车的实时图像进行暂存；暂存的目的是为了后续选出最优的渣土车图像。
50.步骤s2中，在利用改进的yolo算法对图像区域中的渣土车进行检测之前，需要使用图像标注工具对图像标注并迭代训练。
51.步骤s2中，改进的yolo算法中，将实时图像输入到mobilenet中，进行特征提取得到不同尺度的特征图，再通过全连接层得到特征图的预测值；
52.mobilenet的基本单元为深度可分离卷积，深度可分离卷积的层数为17层。
53.mobilenet结合yolo用来识别实时图像中的渣土车为本领域常用的方法，为公知常识，此处不做详细介绍。
54.采用mobilenet中的采用深度可分离卷积代替部分卷积，作为特征提取器，减小了运算量，检测大目标不需要太多的yolo层，针对实时场景识别速度快，更加准确。
55.本发明在算法上采用了改进的yolo算法，提升了渣土车车辆检测的速度，原来70ms一张图像现在20ms一张图像。
56.s3：跟踪渣土车，选出渣土车车牌抓拍图像：对步骤s2初次检测识别到的渣土车进行跟踪，根据跟踪的结果得到渣土车图像在实时图像中的位置，并从实时图像中抠出渣土车小图；使用模糊度量算法度量渣土车小图的清晰度，选出最清晰的渣土车小图；将最清晰的渣土车小图所在的实时图像作为最终的渣土车车牌抓拍图像；
57.步骤s3中，采用deepsort算法对检测识别到的渣土车进行跟踪。
58.步骤s3中，在模糊度量算法中，采用opencv和拉普拉斯算子，即拉普拉斯方差算法(variance of the laplacian)，来计算渣土车小图的模糊量，两两对比渣土车小图的模糊量，选择渣土车小图的模糊量最大的渣土车小图作为最清晰的渣土车小图。
59.opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉库，可以运行在linux、windows、android和mac os操作系统上。
60.算法计算得到的模糊量是一个大于0的浮点数值，图像通过拉普拉斯方差算法得到模糊量值越大图像越清晰。
61.s4：车牌区域识别：使用改进的yolo算法识别步骤s3得到的最终的渣土车车牌抓拍图像中的车牌区域，车牌区域包括车尾的车牌区域和车尾车牌放大区域；
62.改进的yolo算法中：采用深度可分离卷积用来进行特征提取；然后使用全连接层来得到预测值；深度可分离卷积的层数为17层。
63.s5：车牌识别：采用cnn分别提取车牌区域中的车牌特征，结合lstm编码特征得出车牌号；并将识别的车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号进行保
存；选择cnn结合lstm的方式能够针对不同长度的车牌号进行识别，提高了车牌检测的准确率；
64.步骤s5中，深度学习的学习算法为adam优化方法，学习率使用0.0001，深度学习图像的像素大小统一缩放到128*64。
65.s6：车牌校验：采用模糊匹配算法对步骤s5保存的车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号进行模糊匹配：
66.若车尾车牌放大区域和车尾的车牌区域的相同位置得到的车牌号相同，则将车尾车牌放大区域或车尾的车牌区域的车牌号作为正确的车牌号；
67.若车尾车牌放大区域和车尾的车牌区域的相同位置得到的车牌号不同，则将步骤s5中车牌识别概率大的一方作为正确的车牌号。神经网络会给出每个字符预测的概率，概率一般是0～1之间，某数字的概率越小，车牌号是该数字的可能性越高。
68.使用cnn lstm的方式识别车牌提高了车牌检测的准确率，图像清晰的前提下，车牌检测的准确率为95％，并使用模糊匹配算法进一步提高车牌的准确率。
69.而传统的基于视频的渣土车车牌识别方法包括：采用物理的方法，在红绿灯路口设置有感应传感器，从而得到渣土车图像，对得到的渣土车图像不会进行暂存、比较选出最优的渣土车图像。是直接使用easypr识别车牌，针对不清晰图像识别效果差，从而影响了对渣土车车辆的有效管控。
70.本发明提供的识别方法，通过改进的yolo算法对步骤s1得到的实时图像进行渣土车检测识别，识别速度快，更加准确；对识别出的渣土车进行跟踪，得到多张渣土车的实时图像，并对渣土车的实时图像进行暂存；通过模糊度量选出最清晰的渣土车小图，再进行渣土车车牌的检测，在渣土车车牌检测的过程中使用cnn结合lstm的方式识别车牌提高了车牌检测的准确率，图像清晰的前提下，车牌检测的准确率为95％，并使用模糊匹配算法进一步提高车牌的准确率，可达到96％。
71.实施例2
72.基于实施例1提供的一种渣土车车牌的识别方法的实现系统，包括：
73.视频图像提取单元，用于获取前端摄像头拍摄的实时视频流并处理成实时图像；
74.渣土车检测单元，用于对实时图像进行渣土车检测识别，使用改进的yolo算法检测识别渣土车；
75.渣土车跟踪选优单元，用于对检测识别到的渣土车进行跟踪，在跟踪过程中使用模糊度量算法两两对比渣土车小图的清晰度，选出最清晰的渣土车小图；将最清晰的渣土车小图所在的实时图像作为最终的渣土车车牌抓拍图像；
76.车牌区域检测单元，用于对最终的渣土车车牌抓拍图像进行车牌检测，车牌区域检测时既要检测渣土车车尾的车牌区域，又要检测车尾车牌放大区域，并保存对应的位置区域；
77.车牌识别比对单元，对检测到的车牌区域图像进行车牌识别，使用cnn结合lstm算法分别识别出车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号，然后使用模糊匹配算法进行模糊匹配，得出车牌号。