一种复杂场景车牌检测方法与流程

技术特征：
1.一种复杂场景车牌检测方法，其特征在于，具体包括如下步骤：（1）构建车牌检测数据集采用复杂场景下的车牌图像构建车牌检测数据集，并对车牌图像进行标注，将车牌检测数据集划分为训练集、验证集和测试集；（2）多尺度特征提取将车牌图像依次经过归一化和去均值预处理后输入到深度学习backbone网络，将深度学习backbone网络不同层的侧输出作为不同尺度特征；（3）语义特征粗定位在深度学习backbone网络的语义分支最后一层引入不同膨胀因子的膨胀卷积以及类别分支和回归分支，并计算与水平矩形框之间的位置敏感loss_1；（4）多尺度特征自适应融合将深度学习backbone网络不同层的侧输出通过卷积层以及下采样层和上采样层转变为统一大小的多尺度特征层；（5）语义特征引导多尺度特征增强将多尺度特征层输入语义引导的特征增强模块进行多尺度特征增强；（6）基于图结构的车牌区域细化将步骤（5）增强后的多尺度特征输入图卷积网络，基于图结构对车牌区域细化，在精细化分支输出层后引入类别分支和回归分支，并计算与畸变框之间的精细化loss_2；（7）训练网络使用步骤（1）训练集作为网络的拟合数据，将批量车牌检测图像数据输入到网络中，语义分支的输出结果为车牌类别置信度和回归坐标位置；精细化分支的输出结果为车牌类别置信度和回归坐标位置，采用focalloss计算车牌class 损失，smooth l1 loss计算车牌位置误差；经过设定56次完整训练集训练迭代后，保存精度最高的模型参数；（8）测试网络使用步骤（1）测试集作为网络的拟合数据，以长宽比例为基准将车牌图像填充后将批量车牌检测图像数据输入网络中，并加载步骤（7）训练好的模型参数，网络输出车牌类别置信度和回归坐标位置，设置阈值过滤掉低置信度的车牌，最后使用非极大抑制删除网络输出的冗余的框，实现复杂场景车牌检测。2.根据权利要求1所述复杂场景车牌检测方法，其特征在于，步骤（1）对车牌图像标注的内容包含车牌的四个顶点位置坐标，对车牌图像标注采用倾斜矩形框坐标和水平矩形框坐标两种标注。3.根据权利要求2所述复杂场景车牌检测方法，其特征在于，步骤（4）所述卷积层的卷积核为，得到的特征层为： ，其中为卷积操作，为上采样或下采样操作，为深度学习backbone网络不同层的侧输出。4.根据权利要求3所述复杂场景车牌检测方法，其特征在于，步骤（5）所述语义引导的特征增强模块为：，
其中为经过膨胀卷积后的特征，t代表转置操作，代表矩阵点乘法，代表矩阵叉乘。5.根据权利要求4所述复杂场景车牌检测方法，其特征在于，步骤（6）的具体过程为：先构建图卷积网络的节点（i，j）之间的相似性度量为：，再构建网络图：其中，i和j分别为中层特征的索引。

技术总结
本发明属于车牌检测技术领域，涉及一种复杂场景车牌检测方法，先基于深度学习网络生成多尺度特征，在多尺度特征中嵌入语义特征从而极大的缩小问题域，利用多尺度特征弥补语义特征对于细节信息的缺失，为充分糅合语义特征与细节特征之间的互补优势，提出了语义特征与多尺度特征关系建模网络，通过图卷积网络GCN建模二者之间的特征关系，提升了复杂场景下车牌检测的精度，同时针对车牌检测网络采用单一分支优化难的问题，将车牌检测网络拆解为双流网络，不仅可以用来进行复杂场景下的车牌检测，还可用于复杂场景下的物体分割等复杂场景下的检测，在CCPD数据集中精度达到97.9%。在CCPD数据集中精度达到97.9%。在CCPD数据集中精度达到97.9%。


技术研发人员：刘寒松 王永 王国强 刘瑞 董玉超
受保护的技术使用者：松立控股集团股份有限公司
技术研发日：2022.10.31
技术公布日：2022/11/29