一种基于图像识别分析的道路检测报警系统的制作方法

本发明属于图像处理，尤其涉及一种基于图像识别分析的道路检测报警系统。

背景技术：

1、目前，在交通场景解析技术中，使用全面、准确的数据是进行场景解析的基础，然而，由于道路交通场景具有复杂性、多变性和不确定性等特点，单一传感器采集的数据通常无法提供足够的信息。因此需要利用不同类型传感器的优势，协同解析复杂交通场景。伴随着人工智能的不断发展，相关算法的不断更新迭代，基于视觉利用深度学习进行目标检测的方法在检测速度和精度之间找到了平衡点并能够提高其检测效果。虽然利用深度学习做目标检测已成为当前检测方法的主流，但考虑到单独的视觉传感器易受到光线、天气等环境干扰，从而带来识别精度无法达到实际需求的结果，尤其是在道路交通场景较为复杂的情况中，也降低了道路安全实时检测的准确性。

技术实现思路

1、有鉴于此，本发明提高了一种解决视觉传感器带来的问题的同时提高检测效果、增强车辆在道路行驶中的安全性的基于图像识别分析的道路检测报警系统，来解决上述存在的技术问题，具体采用以下技术方案来实现。

2、本发明提供了一种基于图像识别分析的道路检测报警系统，包括：

3、数据获取模块，用于通过毫米波雷达和视觉传感器对道路交通场景进行检测得到交通场景数据，其中，道路交通场景包括危险车辆、汽车盲区和道路状况；

4、数据训练模块，用于对交通场景数据进行数据预处理，将预处理后的数据和复杂道路场景数据集进行训练进行深度学习，其中，数据预处理包括滤波、归一化和数据增强；

5、特征提取模块，用于将深度学习后的信息进行特征提取，并对道路交通事故进行预测和汽车盲区检测得到融合特征；

6、安全预警模块，用于对融合特征进行迭代分类得到分类结果，对分类结果进行分析以完成道路交通事故预警。

7、作为上述技术方案的进一步改进，通过毫米波雷达和视觉传感器对道路交通场景进行检测得到交通场景数据，包括：

8、先将雷达探测得到的目标点作为中心点，再将探测的点px+1(lx+1,αx+1)与中心点px(lx,αx)做对比，求出速度差δvx和距离差δlx，对应的表达式为

9、对比δlx、δvx和阈值的大小，若δlx、δvx均小于阈值，表示两个点之间的相似度较高，判定为同一目标；若δlx、δvx均大于阈值，表示两个点来自不同目标，对点px+1(lx+1,αx+1)进行同一的操作直接遍历所有点数据；

10、选取雷达数据中的第n帧和第n+1帧，若在第n帧雷达数据中存在雷达点m，采用这一帧中的点m的相关数据预测第n+1帧中点m的运动数据，将物体和雷达的距离和速度作为状态量，并构建卡尔曼滤波转台向量方程的表达式为其中，dt、vt表示第t帧雷达数据中的物体和雷达之间的距离以及物体自身的运动速度；

11、预设雷达间隔t毫秒完成一次探测，则在下一帧数据中对同一个物体的预测结果通过表达式为则其中，x′t+1、v′t+1表示物体在前一帧数据的基础上利用卡尔曼滤波预测得到的在第t+1帧中的运动状态，包括与雷达之间的距离和速度，若第t+1帧中确实探测到该物体的运动，且真实数据与预测值之间存在其中，xt+1、vt+1表示物体在雷达第t+1帧数据中实际检测的距离、速度，d、v表示在第t+1帧中预测值和实际值之间允许存在差值的大小，分析出前后帧雷达数据之间是否存在属于同一个物体的运动数据并以此做数据关联，成功匹配前后帧雷达的有效目标以得到道路交通场景中的数据点即道路状况。

12、作为上述技术方案的进一步改进，危险车辆的检测过程包括：

13、采用自注意力机制检测危险车辆为一个分类任务的神经网络，网络从输入图片提取特征x，经过卷积操作后得到特征图u，将u分别经过全局平均池化后得到1×1×c的权重向量w，注意力机制将权重w和输入特征u进行计算，权重w和输入x均为矩阵，将两个矩阵点乘计算两者的相似度，经过softmax函数的处理转换为权重概率分布，最后再乘到x上，计算过程的表达式为其中，q、k和v分布表示查询矩阵、键矩阵和值矩阵，q、k和v通过输入特征x乘以三个可训练的参数矩阵得到。

14、作为上述技术方案的进一步改进，对毫米波雷达和视觉传感器进行空间融合的关键为坐标转换，雷达坐标系与世界坐标系转换、视觉传感器坐标系与世界坐标系转换、视觉传感器坐标系与图像坐标系转换以及像素坐标系与图像坐标系转换，并对毫米波雷达和视觉传感器进行时间融合，时间融合的过程包括：

15、预设两个线程同时处理视觉传感器的视觉数据和毫米波雷达的雷达数据，当需要提取数据时，分别从两个线程的集合中提取数据进行融合工作；

16、设置两条线程分开处理雷达数据、视觉传感器数据；

17、两个传感器开始工作后，将获取的数据存入到各自集合中，当其中传感器接收到提取数据的命令时，由该线程向管理另一传感器的线程发送提取数据的命令；

18、两个线程输出数据时选择各自队列中最新的数据进行输出；

19、将两个线程输出的数据成对放入主线程中，以融合算法提取数据进行融合。

20、作为上述技术方案的进一步改进，对交通场景数据进行数据预处理，将预处理后的数据和复杂道路场景数据集进行训练进行深度学习，包括：

21、预设输入图像为h×w×c，输出图像的大小为h′×w′×n，卷积核的大小为k×k，线性变化卷积大小为d×d，对应的计算量nb的表达式为nb＝h′×w′×n×c×k×k，在ghost模块的计算量ng的表达式为其中，h和w表示输入特征图的长和宽，c表示输入通道数，h′和w′表示输出特征图的长和宽，n表示输出通道数，s表示线性变化次数，且s＜＜c，d×d表示线性运算的卷积和大小，d＝k；

22、损失函数由定位损失lbox、分类损失lcls和置信度损失lboj三部分组成，其损失值表达式为其中，λ1、λ2和λ3对应不同损失的三个权重系数，n表示检测层的数量，采用二值交叉熵损失函数计算的表达式为lbce＝-[ylog(p)+(1-y)log(1-p)]，其中y表示真实类别，取值1或0；p表示被预测为正类的概率，通过将预测值经过sigmoid激活函数处理后得到，取值在0到1之间；

23、定位损失即预测框与真实框之间的误差损失，通过giou来评价的表达式为其中，a和b分别表示真实框和预测框，c表示包围a和b最小矩形框。

24、作为上述技术方案的进一步改进，采用se注意力机制获取每个特征通道的权重值，对不同的通道进行加权来增强有用特征，输入特征完成特征的重构需要在se注意力机制中完成转换trfn、压缩sque、激励excn和尺度scal；

25、第一步：预设一个输入特征图x∈rh′×w′×c，经过ftr做一次映射得到一个输出u∈rh×w×c，ftr的卷积表达式为其中，c表示输出特征通道数，vc表示第c个卷积核，表示vc中第s个二维空间的内核，xs表示第s个输入特征图；

26、第二步：将映射的特征图u∈rh×w×c经过fsq通过全局平均池化，将每个通道上的信息h×w压缩到对应通道中变成一个数值，此时1个像素表示一个通道，变成维度为1×1×c，生成新的输出z∈r1×1×c，fsq的表达式为

27、第三步：通过模型学习去获得每个通道不同的权重值，excn由两个全连接层组成，将z经过两个全连接层通过fex操作得到每个通道权重值输出s∈r1×1×c，fex的表达式为s＝fex(z,w)＝sigmoid(g(z,w))＝sigmoid(w2relu(w1z))，其中，z表示压缩后生成的实数，g表示经过全连接层的非线性激活函数，w1和w2分别表示第一层和第二层全连接层的权重参数，r表示一个超参值用于减少计算参量，s表示最后得到的权重值；

28、第四步：获取上一步每个通道的权重，对输入特征图u的每个通道进行加权操作，获得新的特征图fscal的表达式为其中，sc表示第c个通道的权重值，uc表示第c个通道输出的二维矩阵。

29、作为上述技术方案的进一步改进，将深度学习后的信息进行特征提取，并对道路交通事故进行预测和汽车盲区检测得到融合特征，包括：

30、预设汽车的前进方向和车道线对其，车道线相交点的坐标z＝∞，其中(x,y,z)表示道路参考坐标系中一点的坐标以记录道路消失点，通过k-means聚类算法确定一个聚类中心作为最终道路消失点，k-means聚类算法以空间中k个点为中心进行聚类，对最靠近中心点的对象归类，依次计算各簇中心的值为新的中心值，对每帧道路消失点的聚类中心进行得带更新，直至簇中心位置不再改变或者达到最大迭代次数，即确定最终道路消失点；

31、k-means聚类算法的目标函数要求各簇成员到聚类中心的距离平方和最小的表达式为其中，e表示聚类中心集合，共有k个；

32、计算目标函数梯度，令梯度vcj(e)为0，再计算聚类中心e，对应的表达式为

33、作为上述技术方案的进一步改进，采用基于深度学习的目标检测算法作为检测器，网络结构由卷积层。残差连接层和权连接层组成，输出维度为k的特征向量，在检测目标的同时提取目标的表观特征信息，加入到关联矩阵中；

34、采用最小预先距离测量检测结果与表观特征信息之间的特征距离，计算当前第j个检测框的表观特征向量与第i个跟踪器特征向量集合的最小余弦距离，计算表达式为其中，i表示跟踪器的个数，表示检测框的特征向量，d(2)(i,j)表示计算第i个跟踪器临近成功关联的轨迹与第j个被检测目标特征向量间的最小余弦距离，表示归一化后的第j个检测目标与第i个轨迹特征向量之间的最小余弦距离；

35、预设阈值t(2)并根据d(2)(i,j)判断两者是否关联成功的表达式为得到运动与外观信息的关联度量后，将上述两种度量的线性加权作为最终的度量方式，且都满足各自的阈值条件才能融合，计算表达式为ei,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)，其中，λ表示运动信息在关联矩阵中的权重，第i个跟踪轨迹和第j个检测目标之间的相似度与e值呈正相关；

36、联合考虑运动特征与表观特征信息来判断第i个轨迹与第j个轨迹被检测目标是否关联成功，根据关联度量结果采用匈牙利匹配算法得到最优跟踪轨迹的表达式为

37、作为上述技术方案的进一步改进，目标跟踪的具体过程包括：

38、将视觉传感器实时拍摄的画面采用目标检测模型逐帧创建检测响应与初始轨迹，初始轨迹为非确认态，通过卡尔曼滤波预测目标车辆的轨迹；

39、对未确认态的轨迹进行iou匹配，将检测框和预测跟踪框间的iou作为匈牙利算法的代价矩阵，得到最优匹配；

40、循环目标轨迹的预测和更新步骤，直到出现确认态的轨迹，将确认态的轨迹和对应的检测响应进行级联匹配，每个检测响应都有相应的跟踪轨迹，每个轨迹都会设定优先级参数，若轨迹匹配失败，则该参数加1，否则置0。

41、作为上述技术方案的进一步改进，对融合特征进行迭代分类得到分类结果，对分类结果进行分析以完成道路交通事故预警，包括：

42、采用目标检测模型对比指标精确率pren、召回率recl、平均精确度acpn和平均精度值mapn评估道路交通目标检测模型的性能，根据类别的真实值和预测值可能的情况，在道路交通目标检测模型中，tp表示正确预测车辆和行人的数量，fp表示错误预测车辆和行人的数据，fn表示未能预测的车辆和行人的数量，tn表示正确预测出不是车辆和行人的数量；

43、精确率用于评价模型分出来的正样本的确是正样本的比例的表达式为召回率用于评价模型能把所有的正样本找出来的能力的表达式为使用mapn作为模型评价指标，通过计算所有预测框的精度和召回率得到曲线图，acpn值是该曲线坐标系中的曲线下方的面积，对应的表达式为mapn的表达式为其中，e表示分类数。

44、本发明提供了一种基于图像识别分析的道路检测报警系统，通过毫米波雷达和视觉传感器对道路交通场景进行检测得到交通场景数据，对交通场景数据进行数据预处理，将预处理后的数据和复杂道路场景数据集进行训练进行深度学习，将深度学习后的信息进行特征提取，并对道路交通事故进行预测和汽车盲区检测得到融合特征，对融合特征进行迭代分类得到分类结果，对分类结果进行分析以完成道路交通事故预警，采用毫米波雷达和时间传感器进行时间和空间上融合对道路目标进行检测识别，可以确保两个传感器在时间和空间上的一致性，对汽车盲区和危险车辆进行检测可以有效保障驾驶员安全，降低道路交通事故发生率，通过聚类算法筛除消失点误差，确立最终的道路消失点，以增强车辆在道路行驶中的安全性。