一种车牌识别方法及装置与流程

1.本发明涉及图像识别技术领域，尤其涉及一种车牌识别方法及装置。


背景技术：

2.车牌识别是指在一幅含有车辆的图像中，准确的找到车辆的车牌位置并识别出车牌上的所有汉字、字符和数字。目前车牌识别技术的主要方法大致可分为两类，基于图像处理的传统方法与基于深度学习技术的方法。
3.传统的车牌识别方法一般分为三个部分：车牌定位，字符分割与字符识别。传统方法主要依赖于人工提取特征，通过图像处理技术完成车牌识别。而当图像中的车牌出现不清晰，光照不均，倾斜，尺度变化大等不利于特征识别的恶劣因素时，传统方法误检概率大大增加。
4.基于深度学习技术的车牌识别技术，利用深层卷积神经网络的特征提取能力和自学习能力，使网络模型具有了抗干扰能力和适应能力，但现有车牌定位与车牌字符识别两部分往往分开进行实现，两部分特征提取过程分开进行，影响整体的车牌识别效果；并且仅针对某一类型车牌的特点，构建相应的网络模型，不具备广泛的适应能力。


技术实现要素：

5.本发明提供一种车牌识别方法及装置，用以解决现有技术中车牌识别方法复杂、识别准确率不高及识别类型单一的技术问题。
6.本发明提供一种车牌识别方法，包括：
7.确定待识别车牌图像对应的各车牌类型的置信度；
8.根据所述置信度，确定所述待识别车牌图像对应的车牌类型；
9.根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车牌字符。
10.在一个实施例中，所述确定待识别车牌图像对应的各车牌类型的置信度包括：
11.将所述待识别车牌图像输入到训练后的车牌识别网络中，获取对应的特征图和车牌位置的预测结果；
12.将所述预测结果映射到所述特征图的对应位置，获取感兴趣区域；
13.确定所述感兴趣区域中的特征对应的所述各车牌类型的置信度。
14.在一个实施例中，所述根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车牌字符包括：
15.将所述感兴趣区域通过所述车牌字符预测分支中的分类器获取字符识别结果；
16.组合所述字符识别结果，确定所述车牌字符。
17.在一个实施例中，所述车牌识别网络通过以下方式训练：
18.将车牌数据集以及车牌标注信息确定为第一训练集；
19.根据所述第一训练集获取预训练模型；
20.基于所述预训练模型，根据所述车牌数据集和车牌序列信息，生成所述车牌识别网络以及对应的网络模型参数；
21.其中，所述车牌数据集基于车辆采样图像构建；所述车牌标注信息包括：所述车辆采样图像对应的车牌位置信息和车牌类型信息。
22.在一个实施例中，所述车牌识别网络通过以下方式训练：
23.在所述车牌识别网络的迭代次数小于预设迭代次数的情况下，更新所述网络模型参数对应的权值，直至所述车牌识别网络的损失函数值小于预设阈值。
24.在一个实施例中，所述将所述待识别车牌图像输入到训练后的车牌识别网络中，获取对应的特征图和车牌位置的预测结果，包括：
25.将所述待识别车牌图像输入到训练后的所述车牌识别网络中，通过卷积操作和concat堆叠，提取所述待识别车牌图像对应的特征；
26.通过将所述特征与残差卷积块的特征层进行融合，获取融合后的所述特征图和所述预测结果。
27.本发明提供一种车牌识别装置，包括：
28.第一确定模块，用于确定待识别车牌图像对应的各车牌类型的置信度；
29.第二确定模块，用于根据所述置信度，确定所述待识别车牌图像对应的车牌类型；
30.第三确定模块，用于根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车牌字符。
31.在一个实施例中，所述第一确定模块，用于将所述待识别车牌图像输入到训练后的车牌识别网络中，获取对应的特征图和车牌位置的预测结果；
32.将所述预测结果映射到所述特征图的对应位置，获取感兴趣区域；
33.确定所述感兴趣区域中的特征对应的所述各车牌类型的所述置信度。
34.本发明提供一种电子设备，包括存储器和存储有计算机程序的存储器，所述处理器执行所述程序时实现上述任一种的车牌识别方法的步骤。
35.本发明提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述任一种的车牌识别方法的步骤。
36.本发明提供的一种车牌识别方法及装置，通过确定置信度确认待识别图像对应的车牌类型，可以提高车牌识别准确性，并且能够识别不同类型的车牌识别；还通过车牌类型对应的车牌字符预测分支，确定对应的车牌字符，实现多类型车牌字符的识别，从而提高车牌识别网络的适用性。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明提供的车牌识别方法的流程示意图；
39.图2是本发明提供的车牌识别方法的的车牌字符预测分支示意图；
40.图3是本发明提供的车牌识别方法的整体网络示意图；
41.图4是应用本发明提供的车牌识别方法的一实施例的流程示意图；
42.图5是本发明提供的车牌识别装置的结构示意图；
43.图6是本发明提供的电子设备的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.图1是本发明提供的车牌识别方法的流程示意图，参照图1，本发明提供的车牌识别方法的包括：
46.s110、确定待识别车牌图像对应的各车牌类型的置信度；
47.s120、根据所述置信度，确定所述待识别车牌图像对应的车牌类型；
48.s130、根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车牌字符。
49.本发明提供的车牌识别方法的执行主体是应用在不同场景或复杂环境中的车牌识别系统，车牌识别系统可以是计算机设备。应用场景可以是监测报警、超速违章处罚、车辆出入管理、高速公路收费管理等，本发明不作具体限定。
50.可选地，在步骤s110中，各车牌类型可以是蓝色车牌、新能源车牌、双行车牌或其他类型车牌，本发明不做具体限定。车牌识别系统根据输入的待识别车牌图像，确定待识别车牌图像对应于每个车牌类型对应的置信度。其中，置信度，是用于表示某事物的可信度，通常情况下，置信度的值越大，表示可信度越高；相反的，置信度的值越小，表示可信度越低。
51.在步骤s120中，根据待识别车牌图像对应于每个车牌类型的置信度，选择置信度最高的车牌类型确定为待识别车牌图像对应的车牌类型。
52.在步骤s130中，对于每个车牌类型，设计有对应的车牌字符预测分支。通过车牌字符预测分支，可以确定待识别车牌图像对应的车牌字符。
53.本发明提供的一种车牌识别方法及装置，通过确定置信度确认待识别图像对应的车牌类型，可以提高车牌识别准确性，并且能够识别不同类型的车牌识别；还通过车牌类型对应的车牌字符预测分支，确定对应的车牌字符，实现多类型车牌字符的识别，从而提高车牌识别网络的适用性。
54.在一个实施例中，所述确定待识别车牌图像对应的各车牌类型的置信度包括：
55.将所述待识别车牌图像输入到训练后的车牌识别网络中，获取对应的特征图和车牌位置的预测结果；
56.将所述预测结果映射到所述特征图的对应位置，获取感兴趣区域；
57.确定所述感兴趣区域中的特征对应的所述各车牌类型的置信度。
58.可选地，车牌识别系统可以将带识别车牌图像输入到训练后的车牌识别网络，经特征提取，可以获得对应的特征图和车牌位置的预测结果；再通过获取车牌位置的预测结果映射到特征图中的相应位置，得到感兴趣区域。其中，感兴趣区域是从图像中选择的一个
图像区域，此图像区域是图像分析所关注的重点，并圈定该区域以便进行进一步处理。根据特征图中感兴趣区域中的特征，确定待识别车牌图像对应于每个车牌类型的置信度。
59.本发明提供的车牌识别方法，通过映射获取的感兴趣区域确定待识别车牌图像对应于不同车牌类型的置信度，提高车牌识别的准确性。
60.在一个实施例中，所述根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车牌字符包括：
61.将所述感兴趣区域通过所述车牌字符预测分支中的分类器获取字符识别结果；
62.组合所述字符识别结果，确定所述车牌字符。
63.可选地，车牌识别系统通过车牌识别网络的全连接层和reshape层对感兴趣区域中的特征进行特征数据处理以及输出维度调整，根据车牌类型输送到相应的车牌字符预测分支中。车牌字符预测分支可以是1x1x7维的蓝色车牌预测分支、1x1x8维的新能源车牌预测分支、1x1x7维的双行车牌预测分支，本发明不作具体限定。
64.可选地，蓝色车牌、新能源车牌、双行车牌为三个多任务的车牌字符预测分支，蓝色车牌为7字符识别，新能源车牌为8字符识别，双行车牌也为7字符。三个车牌字符预测分支的网络结构是一致的，仅仅在字符的识别数量上存在区别。以蓝色车牌字符预测分支为例进行详细叙述，参见图2，图2为本发明提供的车牌识别方法的车牌字符预测分支示意图。该部分网络由7个独立的分类任务构成，经过映射得到的车牌感兴趣区域，将通过7个负责各自位置的分类器获取字符识别结果。最后将7个分类器输出结果进行组合得到最终的识别结果。本方案采用了softmax分类器负责7个分类任务。每个分类任务以及对应的分类参数按照预设规则进行字符识别，本发明不作具体限定。
65.每个分类任务及其对应的分类参数如表所示：
66.子任务对应位置分类参数task1第一个汉字识别32task2第二个字母识别27task3第三个字符(字母和数字)识别35task4第四个字符(字母和数字)识别35task5第五个字符(字母和数字)识别35task6第六个字符(字母和数字)识别35task7第七个字符(字母和数字)识别35
67.本发明提供的车牌识别方法，通过针对不同类型的车牌设计有不同的车牌字符预测分支，实现多类型车牌的字符识别，同时实现了端对端的多类型车牌识别，提高了车牌识别网络的适用性。
68.在一个实施例中，所述车牌识别网络通过以下方式训练：
69.将车牌数据集以及车牌标注信息确定为第一训练集；
70.根据所述第一训练集获取预训练模型；
71.基于所述预训练模型，根据所述车牌数据集和车牌序列信息，生成所述车牌识别网络以及对应的网络模型参数；
72.其中，所述车牌数据集基于车辆采样图像构建；所述车牌标注信息包括：所述车辆采样图像对应的车牌位置信息和车牌类型信息。
73.可选地，车牌数据集来自于监控视频中车辆图像，设置采样周期进行采样，可以得到包含蓝色单行车牌、新能源车牌、双行黄牌三种类型的车辆图像。车牌识别系统对采集的数据集进行标注，标注数据是对每张图像中车牌的坐标位置、车牌类型、车牌序号进行标注，标注后以文本形式进行储存。再对图像数据进行增强，增强策略包括：偏移变换、对比度变换、色彩抖动、噪声抖动等，同时对数据进行缩放到统一大小的图像。
74.可选地，本发明采用分阶段的训练方式进行车牌识别网络的训练，具体过程如下：
75.stage1：训练车牌定位与识别分支。用搭建的车牌数据集以及包含车牌位置与类别的标注文件训练车牌位置与类型的识别，得到该阶段的车牌识别模型model_a。
76.stage2：训练端到端的车牌识别网络。该阶段训练时以stage1训练好的model_a作为预训练模型，使用同样的车牌数据集，加入了车牌序列信息进行训练。得到最终的网络模型model_b。在model_a的基础上进行训练。车牌识别系统根据已建立的车牌数据集进行训练，最终得到车牌识别网络以及对应的网络模型参数。
77.本发明提供的车牌识别方法，通过构建集车牌位置、车牌类型以及车牌序列识别的一体化网络结构，实现了端对端的多类型车牌识别。
78.在一个实施例中，所述车牌识别网络通过以下方式训练：
79.在所述车牌识别网络的迭代次数小于预设迭代次数的情况下，更新所述网络模型参数对应的权值，直至所述车牌识别网络的损失函数值小于预设阈值。
80.可选地，对stage1和stage2采用相同的优化策略，优化策略如下：当车牌识别网络迭代次数小于预设迭代次数时，利用adam优化方法进行网络模型参数的权值更新，直到车牌识别网络的损失函数值低于预设阈值；当车牌识别网络的误差小于预设阈值或者车牌识别网络的迭代次数大于预设迭代次数时结束训练。
81.其中，预设迭代次数可以是epoch，epoch可以根据精度要求设定。当一个完整的数据集通过了神经网络一次并且返回了一次，该过程过程称为一次epoch。即所有训练样本在神经网络中都进行了一次正向传播和一次反向传播。
82.可选地，车牌识别网络的模型训练的损失函数部分主要包括车牌位置损失、车牌类别损失、置信度损失以及车牌字符损失。
83.车牌位置损失函数公式为：
[0084][0085][0086][0087]
其中，d表示预测框与实际框的中心点的欧式距离，c表示能够同时包含预测框和实际框的最小闭包区域的对角线距离，w表示预测框的宽度，h表示预测框的宽度，iou表示预测框和实际框的交并比。
[0088]
需要说明的是，车牌位置的预测结果包含预测框的长和宽、一个中心点坐标以及每个预测框的置信度。
[0089]
车牌类别损失函数为：
[0090][0091]
其中，车牌分类损失函数为交叉熵损失函数，pi(c)为第i个预测框中预测某种车牌的概率，为实际框车牌标签。
[0092]
置信度损失函数为：
[0093][0094]
其中，置信度为二值交叉熵损失函数，ci为第i个预测框内网络预测包含车牌的概率。
[0095]
车牌字符损失函数为交叉熵损失函数，具体表示为：
[0096][0097]
其中，task_classes即为相应的字符识别任务的类别，不同任务的对应不同字符类别的分类参数，包括：27、32或35等。pi(t)为网络预测第i个预测框中某个字符的概率，为实际某个字符标签。
[0098]
总的损失函数为:
[0099][0100]
本发明提供的车牌识别方法，通过对车牌位置与车牌类型，以及车牌序列信息进行联合优化，从而有效提高车牌识别网络的检测与识别性能。
[0101]
在一个实施例中，所述将所述待识别车牌图像输入到训练后的车牌识别网络中，获取对应的特征图和车牌位置的预测结果，包括：
[0102]
将所述待识别车牌图像输入到训练后的所述车牌识别网络中，通过卷积操作和concat堆叠，提取所述待识别车牌图像对应的特征；
[0103]
通过将所述特征与残差卷积块的特征层进行融合，获取融合后的所述特征图和所述预测结果。
[0104]
可选地，车牌识别网络以yolov4网络为基础进行搭建，包括：darknet卷积层、残差卷积块、池化层和全连接层。图3为本发明提供的车牌识别方法的整体网络示意图。参见图3，车牌识别网络模型搭建步骤如下：
[0105]
首先输入预处理后的固定大小的车辆图像，经过一次darknet卷积以及经过层层的残差卷积块的处理，使最终的车辆图像的长和宽不断压缩，逐层待识别提取车辆图像的特征。对经过残差卷积块5后的特征进行多次卷积操作，如进行3次卷积操作。然后在池化层对输入的特征层进行三种不同大小的卷积核的最大池化操作，如使用常用的13x13、9x9、5x5的大小卷积核。再对池化结果进行concat堆叠，并进行多次卷积，以增大感受野，分离出上下文特征。然后对上下文特征进行卷积和上采样处理，增大特征图像。将第一上采样结果与主干网络的残差卷积块4的特征层进行concat堆叠，实现特征的融合。融合之后再次进行
卷积和上采样，获取第二上采样结果。第二上采样结果再与残差卷积块3的特征层concat堆叠融合，获取融合后的特征图。需要说明的是，由于车牌相对于整张车辆图像比较小，底层特征的提取更有利于小目标的检测。
[0106]
可选地，车牌位置预测是将第二上采样结果通过两个不同的卷积层进行输出的。如使用比较常用的大小为3x3与1x1的卷积层进行输出车牌位置的预测结果。
[0107]
本发明提供的车牌预测识别方法，通过融合高层与底层的特征，将具有车牌信息的特征提取出来，并凸显车牌区域特征，使得车牌识别更为全面和准确。
[0108]
在一个实施例中，图4是应用本发明提供的车牌识别方法的一实施例的流程示意图；参见图4，车牌识别方法的流程步骤如下：
[0109]
步骤1：采集数据，构建车牌数据集；
[0110]
步骤2：搭建车牌识别网络；
[0111]
步骤3：训练车牌识别网络；
[0112]
步骤4：将待识别车牌图像输入训练好的车牌识别网络中，获得车牌位置，车牌类型和车牌字符。
[0113]
本发明还提供一种车牌识别装置，该装置与上文描述的车牌识别方法可相互对应参照。
[0114]
图5为本发明提供的车牌识别装置的结构示意图，如图5所示，该装置包括：
[0115]
第一确定模块510，用于确定待识别车牌图像对应的各车牌类型的置信度；
[0116]
第二确定模块520，用于根据所述置信度，确定所述待识别车牌图像对应的车牌类型；
[0117]
第三确定模块530，用于根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车牌字符。
[0118]
本发明提供的车牌识别装置，通过确定置信度确认待识别图像对应的车牌类型，可以提高车牌识别准确性，并且能够识别不同类型的车牌识别；还通过车牌类型对应的车牌字符预测分支，确定对应的车牌字符，实现多类型车牌字符的识别，从而提高车牌识别网络的适用性。
[0119]
在一个实施例中，所述第一确定模块510，还具体用于：
[0120]
将所述待识别车牌图像输入到训练后的车牌识别网络中，获取对应的特征图和车牌位置的预测结果；
[0121]
将所述预测结果映射到所述特征图的对应位置，获取感兴趣区域；
[0122]
确定所述感兴趣区域中的特征对应的所述各车牌类型的所述置信度。
[0123]
在一个实施例中，所述第一确定模块510，还具体用于：
[0124]
将所述感兴趣区域通过所述车牌字符预测分支中的分类器获取字符识别结果；
[0125]
组合所述字符识别结果，确定所述车牌字符。
[0126]
在一个实施例中，所述车牌识别网络通过以下方式训练：
[0127]
将车牌数据集以及车牌标注信息确定为第一训练集；
[0128]
根据所述第一训练集获取预训练模型；
[0129]
基于所述预训练模型，根据所述车牌数据集和车牌序列信息，生成所述车牌识别网络以及对应的网络模型参数；
[0130]
其中，所述车牌数据集基于车辆采样图像构建；所述车牌标注信息包括：所述车辆采样图像对应的车牌位置信息和车牌类型信息。
[0131]
在一个实施例中，所述车牌识别网络通过以下方式训练：
[0132]
在所述车牌识别网络的迭代次数小于预设迭代次数的情况下，更新所述网络模型参数对应的权值，直至所述车牌识别网络的损失函数值小于预设阈值。
[0133]
在一个实施例中，所述第一确定模块510，还具体用于：
[0134]
将所述待识别车牌图像输入到训练后的所述车牌识别网络中，通过卷积操作和concat堆叠，提取所述待识别车牌图像对应的特征；
[0135]
通过将所述特征与残差卷积块的特征层进行融合，获取融合后的所述特征图和所述预测结果。
[0136]
图6示例了一种电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communication interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的计算机程序，以执行车牌识别方法的步骤，例如包括：
[0137]
确定待识别车牌图像对应的各车牌类型的置信度；
[0138]
根据所述置信度，确定所述待识别车牌图像对应的车牌类型；
[0139]
根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车牌字符。
[0140]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0141]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的车牌识别方法，该方法包括：
[0142]
确定待识别车牌图像对应的各车牌类型的置信度；
[0143]
根据所述置信度，确定所述待识别车牌图像对应的车牌类型；
[0144]
根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车牌字符。
[0145]
另一方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述各实施例提供的方法，例如包括：
[0146]
确定待识别车牌图像对应的各车牌类型的置信度；
[0147]
根据所述置信度，确定所述待识别车牌图像对应的车牌类型；
[0148]
根据所述车牌类型对应的车牌字符预测分支，确定所述待识别车牌图像对应的车
牌字符。
[0149]
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
[0150]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0151]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0152]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。