一种智能路牌识别车载摄像头系统的制作方法

本发明属于智能路牌识别车载摄像头领域，具体是指一种智能路牌识别车载摄像头系统。

背景技术：

1、目前，使用的导航系统基于gps(global positioning system,全球定位系统)与内置地图，当gps失效或地图未能及时更新易导致导航出错。基于智能识别的交通导航系统是未来导航的发展方向，路牌识别是其中的一个组成部分，路牌是常用的交通导向标志，其特征容易识别，能够为驾驶者提供必要的信息，指导驾驶者到达目的地，路牌一般置于道路的上方或两侧，由于驾驶者在驾驶过程中阅读路牌信息需要一心二用，并且由于车速、天气、路况等原因，驾驶者可获取信息的时间较短，在不熟悉道路的情况下往往需要将车辆减速以阅读信息，由此带来安全隐患。因此基于智能系统有效获取路牌信息并将信息传达至驾驶者是智能汽车的一个研究方向，现有技术中，通常采用神经学习网络直接对图像进行识别，但是由于白天黑天光线的影响，导致现有技术的方法经常会对路牌识别不全，识别的速度慢，识别的准确率低。

技术实现思路

1、为了解决上述现有技术中路牌图像在白天黑天图像识别不全、识别的速度慢、识别的准确率低等问题，本发明提出一种智能路牌识别车载摄像头系统，以改善上述问题。

2、本技术具体是这样的：

3、一种智能路牌识别车载摄像头系统，包括路牌识别管理系统模块、路牌数据采集模块、数据存储模块、路牌识别模型模块、路牌检测模块、语义分割模块、文字识别模块和路牌播报模块，所述路牌识别模型模块使用数据存储模块的数据进行模型构建及迭代优化，所述路牌检测模块、语义分割模块、文字识别模块用于实现路牌识别模型模块的基本业务功能，所述路牌检测模块识别路牌框的结果用于所述语义分割模块再处理，所述语义分割模块的处理结果用于文字识别模块进行文字识别，所述文字识别模块识别的路牌文字用于路牌播报模块进行播报；

4、所述路牌识别管理系统模块，用于管理系统各模块业务、数据和通信的调度；

5、所述路牌数据采集模块，用于使用车载摄像头采集路牌信息并且生成视频数据及路牌数据集样本；

6、所述数据存储模块，用于存储所述路牌数据采集模块所采集的数据；

7、所述路牌识别模型模块，通过采集的数据训练出两个retinanet网络模型，所述retinanet网络模型被划分为双特征提取网络densenet、特征金字塔和日夜分类回归网络，所述retinanet网络模型用于对所述路牌数据集进行训练及优化识别，使用对抗网络biggan，生成黑天路牌对抗样本图像，增强对黑天路牌识别，训练及优化后的路牌识别模型，用于实时的路牌白天和黑天的智能化识别；

8、所述路牌检测模块，用于对白天和黑天的路牌图像进行路牌框位置的检测；

9、所述语义分割模块，用于对所述路牌框位置内的图像进行再处理；

10、所述文字识别模块，用于对所述路牌框位置内的文字识别处理，提取所述路牌框位置内的文字；

11、所述路牌播报模块，用于对所述所述文字识别模块的识别结果进行播报，通过车载摄像头实时播报路牌信息给驾驶员。

12、进一步地，所述数据存储模块包括分布式存储单元、数据备份单元和数据恢复单元；

13、所述分布式存储单元，用于对数据库进行分布式存储，存储于多台服务器上，保证数据的安全和可靠；

14、所述数据备份单元，用于定期对数据进行备份，防止数据丢失；

15、所述数据恢复单元，用于在数据丢失或损坏时，能够快速恢复数据；

16、所述路牌数据采集模块，通过车载摄像头采集的路牌视频数据被保存于所述数据存储模块，所述视频数据一部分用于路牌识别模型的训练集数据，一部分用于测试集数据；

17、所述车载摄像头还具有语音播报功能。

18、进一步地，所述路牌检测模块，用于识别图像的路牌的边框位置的流程为：

19、s101：通过车载摄像头获取白天和黑天的路牌图像数据，一部分用于测试集，一部分用于训练集，通过所述训练集训练出两个retinanet网络模型，所述retinanet网络模型的特征采集网络为densenet，训练后得到的两个网络模型分别记为densenet-a和densenet-b；

20、s102：将所述s101的retinanet网络模型划分为双特征提取网络densenet、特征金字塔和日夜分类回归网络，采用所述双特征提取网络densenet提取白天和黑天路牌图像的特征，将所述特征金字塔串联到所述双特征提取网络densenet，对所述特征金字塔每一层进行卷积，并通过所述日夜分类回归网络进行分类和回归；

21、s103：使用所述测试集对所述双特征提取网络densenet进行网络迭代测试，并且输出检测结果；

22、s104：判断检测结果是否包含路牌区域位置框，若是，判断路牌区域位置框内容是否为文本。

23、进一步地，所述双特征提取网络densenet的具体搭建步骤为：

24、m1：针对训练集数据的图像进行均值像素判断，设定阈值，若均值像素大于阈值，表示黑天，采用densenet-a处理，否则表示白天，采用densenet-b处理，若当前输入的训练集数据图像为黑天，构建黑天路牌图像对抗网络biggan；

25、m2：使用对抗网络biggan对所述黑天路牌图像生成黑天路牌图像训练集样本；

26、m3：将生成的黑天路牌图像训练集样本加入数据存储模块，用于训练集数据和测试集数据；

27、针对白天和黑天路牌特征处理流程为：

28、所述特征采集网络采用双特征提取网络densenet的网络框架，分别提取白天和黑天的路牌特征，将第二层的白天和黑天的路牌卷积层的特征图先进行基于通道上的叠加，再通过2×2卷积进行降维处理，同样操作在第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层上执行；

29、所述使用对抗网络biggan对所述黑天路牌图像生成黑天路牌图像训练集样本具体过程为：依照当前训练给定的黑天路牌图像原图，生成对抗性的黑天路牌图像样本，所述对抗性的黑天路牌图像样本规格为：路牌框的大小多样化特征、路牌框所在路牌图像的位置不固定化特征和路牌框内文字大小多样化特征，输入1张给定黑天路牌图像原图，通过对抗网络biggan添加扰动因子，生成100张黑天路牌样本图；

30、所述使用对抗网络biggan对所述黑天路牌图像生成黑天路牌图像训练集样本具体过程为：依照当前训练给定的黑天路牌图像原图，生成对抗性的黑天路牌图像样本，所述对抗性的黑天路牌图像样本规格为：路牌框的大小多样化、路牌框所在路牌图像的位置不固定化和路牌框内文字大小多样化，输入1张给定黑天路牌图像原图，通过对抗网络biggan生成100张黑天路牌样本图。

31、进一步地，将所述特征金字塔串联到所述双特征提取网络densenet具体过程为：

32、对第三层卷积层，即白天的路牌和黑天的路牌融合的特征图进行上采样，再与第二层卷积层的白天和黑天的路牌融合的特征图相叠加，得到金字塔的第一层，按此步骤继续对第四层卷积层、第五层卷积层和第六层卷积层执行，每相邻两层特征图进行通道上的叠加，便可得到金字塔的其中一层，最终一共得到四层特征金字塔，所述金字塔四层具体处理过程为：

33、金字塔第一层，用于处理第一分辨率图像，且图像的光照强度属于第一等级光照；

34、金字塔第二层，用于处理第二分辨率图像，且图像的光照强度属于第二等级光照；

35、金字塔第三层，用于处理第三分辨率图像，且图像的光照强度属于第三等级光照；

36、金字塔第四层，用于处理第四分辨率图像，且图像的光照强度属于第四等级光照；

37、所述图像的分辨率等级具体划分为：

38、第一分辨率图像：w<320，h<320；

39、第二分辨率图像：320<w≤640，320<h≤640；

40、第三分辨率图像：640<w≤1080，640<h≤1080；

41、第四分辨率图像：1080<w，1080<h，其中w表示图像的宽，h表示图像的高；

42、所述图像的光照强度采用直方图计算图像的平均亮度方法，具体划分为：

43、第一等级光照：0≤l≤50；

44、第二等级光照：50<l≤100；

45、第三等级光照：100<l≤180；

46、第四等级光照：180<l≤255，其中l表示图像的平均亮度值。

47、进一步地，所述日夜分类回归网络具体实现步骤为：

48、所述金字塔每一融合层特征图后面加入两分支网络，一分支用来分类，一分支用来回归，且每一分支先对特征图进行4次卷积，主要是分别增强白天和黑天的图像特征，且卷积核大小为2×2，个数为128；

49、所述s102还包括使用一种无锚框方法，用于检测路牌图像上的路牌框位置；

50、所述无锚框方法具体实现为：

51、所述日夜分类回归的是路牌图像上的左上和中心点的坐标,回归过程是对金字塔每一层特征图进行逐像素扫描，每个像素都会回归出8维向量，对应原图生成一个矩形的检测框，因此真实目标框周围会产生大量低质量预测框，为了抑制这些低质量预测框的出现，提出了一种全新的约束损失函数，公式为：

52、

53、若真实路牌标注框的中心点坐标实际预测框的左上点坐标：(x1,y2),中心点坐标：(x2，y2)，其中a为一个中心损失函数；预测框中心点与真实标注框中心点距离越小，a越大，反之a越小；若输入到检测网络的图片尺寸为h*w，将坐标做归一化处理，统一除以输入尺寸，使得在0到1之间，则的取值范围：最终a取值范围所述分支被设在并行于分类分支的下面，该分支输出结果乘上分类得分即为分类总得分，得分小的预测框都会被非极大值抑制算法处理掉，剩余最高得分的为最终预测框位置。

54、进一步地，所述判断路牌区域位置框内容是否为文本具体步骤为：

55、k1：采用小目标检测fssd算法中的默认框机制进行判断，设定不同规格的默认框，在金字塔的每层的每个特征图的每个神经元上设置不同长宽比的默认框，分别为1、2、4、7、9、10；

56、k2：金字塔将输入的路牌区域位置框内容和大小为2×2的卷积核做卷积运算进行特征学习，进而得到36维的特征矩阵，其中24维用于回归文本边界框，12维对检测目标进行分类，根据类别得分情况判断预测到的路牌区域位置框内容是否为文本。

57、进一步地，所述路牌区域位置框回归和分类的过程为：

58、假设原始输入图像的尺寸大小为(w1，h1)，w1、h1分别表示原始图片的宽和高，输入文本预测层的特征图的尺寸大小为(w2，h2)，w2、h2分别表示特征图的宽和高，在特征图上坐标为(i，j)的位置上，设置默认文本框坐标d1＝(x1，y1，w1，h1)，其中，(i，j)表示特征图中每神经元的位置坐标，(x1，y1)代表特征图中每个神经元上默认框的中心位置坐标，(w1，h1)表示该默认框的宽和高的尺寸信息，文本预测层预测默认框相对于真实文本框的偏移量，假设预测坐标偏移量为(k1，k2，k3，k4，q)，其中q为预测置信度，用于目标分类，预测到的文本框坐标为(x，y，w，h)，其计算公式为，

59、x＝x1+w1*k1，

60、y＝y1+h1*k2，

61、w＝w1exp(k3)，

62、h＝h1exp(k4)，

63、采用公式计算损失函数，

64、

65、其中x表示和默认框相匹配的矩阵，对于第i个默认文本框和第j个真实文本框，当xij＝1时表示两者匹配，反之则不匹配，c为预测置信度，g为文本的真实位置坐标，d为默认文本框和真实文本框匹配的数目，yx,c,g表示超参，a系数在目标检测问题中设置为1，b系数在目标检测问题中设置为0.5，检测目标分类lx,c采用的是损失函数为softmax。

66、进一步地，所述语义分割模块，对所述路牌检测模块输出的路牌框位置区域图像进行预处理，得到路牌边框以及噪点的二值图像，将其记为a，对a进行形态学开运算，通过a-b得到消除垂直状背景的图像，将其记为c，同样对a进行开运算得到图像，将其记为d，通过c-d得到消除了边框区域的图像e，对图像e进行开运算后，消除其他噪点，得到最终的二值图像；

67、进一步地，所述文字识别模块，识别文字具体过程为：将所述语义分割模块的处理图像进行直方图均衡，并在周围填充白色区域，统一图像大小，通过卷积层提取特征，最后输出文字识别结果；

68、由于车载摄像头拍摄的是视频，同一个路牌会出现在视频的多个帧中，所以通过对多个帧进行检测，当所述帧中出现文字次数最多的时候进行文字识别结果输出；

69、具体操作流程为：

70、l1：当前帧中的路牌为xi，记录路牌的左上角坐标为(ai，bi)，由于车辆向前行驶，视频中的同一个路牌由远及近路牌位置不断向当前帧的左上方移动，若ai+1<ai且bi+1<bi，确定下一帧中的路牌xi+1与xi中的路牌为同一个路牌，将xi+1计入集合x＝{xi，xi+1}，继续执行直到条件不满足，得到集合x＝{xi，xi+1，...，xi+n}，计算集合中出现最多字符即为这n帧中路牌文字ox，同时将文字计入集合o；

71、l2：利用不同路牌文字之间的逻辑关系，将不满足步骤l1中条件的帧记为yi，按步骤l1中的规则得到y＝{yi，yi+1，...，yi+n}，y中出现次数最多的文字记为oy，判断ox与oy之间的差值是否为0，若差值为0，表示不再增加，表示当前帧显示的文字是最大值，即为一张路牌的整个文字。

72、一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时应用任一项所述的智能路牌识别车载摄像头的系统。

73、本发明的一种智能路牌识别车载摄像头系统的有益效果如下：

74、本发明通过采用车载摄像头获取白天和黑天的路牌图像数据，将获得的白天和黑天的路牌图像数据集，一部分用于测试集，一部分用于训练集，通过训练集训练出两个retinanet网络模型，训练后得到的两个网络模型分别记为densenet-a和densenet-b，将retinanet网络模型划分为双特征提取网络densenet、特征金字塔和日夜分类回归网络，双特征提取网络densenet在提取黑天路牌图像特征时候，通过判断图像是否是黑天，若是，使用黑天路牌图像对抗网络biggan生成黑天路牌图像，增强模型识别夜间路牌图像的能力，采用双特征提取网络densenet提取白天和黑天路牌的特征，将特征金字塔串联到双特征提取网络densenet，对特征金字塔每一层进行卷积，对四层的金字塔模型依据具体的图像分辨率及图像光照强度分别进行细化处理，提高路牌图像路牌位置框位置的检测能力，并通过日夜分类回归网络进行分类和回归获取得到路牌框区域位置，采用小目标检测fssd算法中的默认框机制进行判断路牌框区域内是否包含文本，若含有路牌文本，再对路牌框区域位置进行语义分割，去掉多余信息，生成二值化图像，最后对二值化的图像进行文字识别，在文字识别过程中，解决路牌一次性播报文字内容不全问题，获取路牌中所有包含的文字再进行语音播放，引导驾驶员进行准确快速的路牌识别，本发明通过采用retinanet双重网络对车载摄像头所拍摄的实时白天、黑天的路牌图像融合输入特征金字塔模型，通过双特征提取网络densenet对白天、黑天路牌特征进行融合提取，采用小目标检测fssd算法及无锚框双重识别策略，并且retinanet网络采用全卷积网络，去掉全连接层，因此识别路牌速度非常快，识别路牌精度非常的高。