一种渣土车车牌的识别方法及其实现系统与流程

技术特征：
1.一种渣土车车牌的识别方法，其特征在于，该识别方法的步骤包括：s1：视频图像提取：获取摄像头拍摄的实时视频流，并对所述实时视频流进行解析从而得到实时图像；s2：渣土车检测：利用改进的yolo算法对步骤s1得到的实时图像进行渣土车检测识别，并将初次检测识别到渣土车的实时图像进行暂存；s3：跟踪渣土车，选出渣土车车牌抓拍图像：对步骤s2初次检测识别到的渣土车进行跟踪，根据跟踪的结果得到渣土车图像在实时图像中的位置，并从实时图像中抠出渣土车小图；使用模糊度量算法度量渣土车小图的清晰度，选出最清晰的渣土车小图；将最清晰的渣土车小图所在的实时图像作为最终的渣土车车牌抓拍图像；s4：车牌区域识别：使用改进的yolo算法识别步骤s3得到的最终的渣土车车牌抓拍图像中的车牌区域，所述车牌区域包括车尾的车牌区域和车尾车牌放大区域；s5：车牌识别：采用cnn提取车牌区域的图像空间特征，再使用lstm提取车牌区域的序列特征，使用ctc算法解码获得车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号，并进行保存；s6：车牌校验：采用模糊匹配算法对步骤s5保存的车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号进行模糊匹配：若车尾车牌放大区域和车尾的车牌区域的相同位置得到的车牌号相同，则将车尾车牌放大区域或车尾的车牌区域的车牌号作为正确的车牌号；若车尾车牌放大区域和车尾的车牌区域的相同位置得到的车牌号不同，则将步骤s5中车牌识别概率大的一方作为正确的车牌号。2.根据权利要求1所述的一种渣土车车牌的识别方法，其特征在于，所述步骤s2和s4中，所述步骤s2和s4中，所述改进的yolo算法中：将实时图像输入到mobilenet中，进行特征提取得到不同尺度的特征图，mobilenet的基本单元为深度可分离卷积，所述深度可分离卷积的层数为17层；再通过全连接层得到特征图的预测值。3.根据权利要求1所述的一种渣土车车牌的识别方法，其特征在于，所述步骤s3中，采用deepsort算法对检测识别到的渣土车进行跟踪。4.根据权利要求1所述的一种渣土车车牌的识别方法，其特征在于，所述步骤s3中，在模糊度量算法中，采用opencv和拉普拉斯算子来计算渣土车小图的模糊量，两两对比渣土车小图的模糊量，选择渣土车小图的模糊量最大的渣土车小图作为最清晰的渣土车小图。5.根据权利要求1所述的一种渣土车车牌的识别方法，其特征在于，所述步骤s5中，神经网络采用adam优化方法，学习率使用0.0001，深度学习图像的像素大小统一缩放到128*64。6.根据权利要求1所述的一种渣土车车牌的识别方法，其特征在于，所述步骤s1中，采用ffmpeg程序对所述实时视频流进行解析以得到实时图像。7.根据权利要求1所述的一种渣土车车牌的识别方法，其特征在于，所述步骤s2中，在利用改进的yolo算法对图像区域中的渣土车进行检测之前，需要使用图像标注工具对图像标注并迭代训练。8.如权利要求1-7任一项所述一种渣土车车牌的识别方法的实现系统，其特征在于，包括：
视频图像提取单元，用于获取前端摄像头拍摄的实时视频流并处理成实时图像；渣土车检测单元，用于对所述实时图像进行渣土车检测识别，使用改进的yolo算法检测识别渣土车；渣土车跟踪选优单元，用于对检测识别到的渣土车进行跟踪，在跟踪过程中使用模糊度量算法两两对比渣土车小图的清晰度，选出最清晰的渣土车小图；将最清晰的渣土车小图所在的实时图像作为最终的渣土车车牌抓拍图像；车牌区域检测单元，用于对最终的渣土车车牌抓拍图像进行车牌检测，车牌区域检测时既要检测渣土车车尾的车牌区域，又要检测车尾车牌放大区域，并保存对应的位置区域；车牌识别比对单元，对检测到的车牌区域图像进行车牌识别，使用cnn结合lstm算法分别识别出车尾车牌放大区域中的车牌号和车尾的车牌区域中的车牌号，然后使用模糊匹配算法进行模糊匹配，得出车牌号。

技术总结
本发明涉及一种渣土车车牌的识别方法及其实现系统，该识别方法具体步骤包括：S1：视频图像提取；S2：渣土车检测；S3：跟踪渣土车，选出渣土车车牌抓拍图像：S4：车牌区域识别；S5：车牌识别；S6：车牌校验。本发明在算法上采用了改进的YOLO算法，提升了渣土车车辆检测的速度，由原来70ms完成一张图像的检测提高到20ms完成一张图像的检测。针对检测识别的渣土车，采用模糊匹配算法进行两两比对选出最清晰的图像做为最终的检测图像，为车牌识别部分提供了基础。采用CNN结合LSTM的方式识别车牌，提高了车牌检测的准确率，图像清晰的前提下检测的准确率为95％。确率为95％。确率为95％。


技术研发人员：杨海波 魏景伙 陈连涛 韩帅 刘文
受保护的技术使用者：济南市公安局交通警察支队
技术研发日：2020.06.11
技术公布日：2021/12/16