一种计算资源受限情况下具有鲁棒性的车道线检测方法

本发明涉及一种计算资源受限情况下具有鲁棒性的车道线检测方法，属于无人驾驶。

背景技术：

1、在自动驾驶领域，相机作为一种重要的环境感知传感器，被广泛应用于无人驾驶车辆。为了提高自动驾驶车辆的环境感知能力，一个准确且迅速的车道线检测算法是必不可少的。

2、自动驾驶智能车能够在车道上完成自动驾驶任务，车道边缘实线是完成自动驾驶任务的重要标志物，使用相机对车道线的位置坐标进行检测，有助于实现环境感知并获得车辆周围的障碍物信息，是实现无人驾驶的基础。

3、现有技术存在问题及缺点：现有的车道线检测方案常常使用大量算力换取检测准确性，同时多是用于室内的车道线检测，而户外的环境影响多样，如光照条件、车道边缘线条件以及建筑物和智能车的影子对车道线的遮挡等均会发生变化，现有算法不能鲁棒性的适应这些变化给出精确的车道线检测结果。为此，提出本发明。

技术实现思路

1、针对现有技术的不足，本发明提供一种计算资源受限情况下具有鲁棒性的车道线检测方法，具备高鲁棒性与准确性，适用不同环境条件(如不同光照条件、不同清晰程度)的车道线边缘检测，在计算资源受限情况下增强户外自动驾驶环境感知能力，提高对道路的车道线识别能力。

2、术语解释：

3、opencv：基于bsd许可(开源)发行的跨平台计算机视觉库，可以运行在linux、windows、android和mac os操作系统上，其轻量级而且高效，由一系列c函数和少量c++类构成，提供了python接口，便于调用。

4、平均池化：将图片按照固定大小网格分割，网格内的像素值取网格内所有像素的平均值，将这种把图片使用均等大小网格分割，并求网格内代表值的操作称为池化，平均池化操作用于减小特征图的尺寸，同时保留重要的特征信息，以降低计算复杂度和减少过拟合的风险。

5、中值滤波：中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，在中值滤波处理中，噪声成分很难被选上，所以可以在几乎不影响原有图像的情况下去除全部噪声。

6、canny边缘检测：图像的边缘是指图像局部区域亮度变化显著的部分，该区域的灰度剖面可以看作是一个阶跃，即从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值，canny边缘检测是一种使用多级边缘检测算法检测边缘的方法，在检测图像边缘时遵循以下步骤：1.使用高斯滤波器去除输入图像中的噪声；2.计算高斯滤波器的导数，计算图像像素的梯度，得到沿x和y维度的幅度；3.考虑垂直于给定边缘方向的任何曲线的一组邻居，抑制非最大边缘贡献像素点；4.最后，使用滞后阈值方法保留高于梯度幅值的像素，忽略低于低阈值的像素。

7、本发明的技术方案如下：

8、一种计算资源受限情况下具有鲁棒性的车道线检测方法，步骤如下：

9、(1)图像采集；

10、(2)对图像进行预处理，得到灰度图像；

11、(3)在灰度图像的基础上进行影子检测，如果影子检测结果为真，则进行去影子操作；否则，直接进行步骤(4)；

12、(4)对图像进行边缘检测以及去噪处理；

13、(5)对处理后的图像进行滑窗法车道线拟合；

14、(6)输出车道线检测结果以及中线坐标。

15、优选的，步骤(1)为，图像采集，对图像进行平均池化操作，减小图像大小，图像分割操作，去除多余建筑物部分，图像只保留60行信息，大大降低时间压力和计算压力。

16、进一步优选的，步骤(1)具体包括：

17、1.1：利用opencv读取视频帧数据；

18、1.2：对逐帧图像进行平均池化操作，此操作能够很好的保留背景种的车道线信息，采取的池化核大小为k×k(如5×5)；

19、1.3：对池化后的图像进一步裁剪，保留第130行-190行(图片的中间的车道信息)，该操作既可以去除建筑物的冗余信息，又进一步的提升运算速度；

20、已知采集到的图片中原始像素的行数h和列数w，对于池化核为k×k的池化操作描述为其中，(i-1)×k+m表示在水平方向上的起始索引，(j-1)×k+n表示在垂直方向上的起始索引；

21、最终图像的大小为其中，表示对向下取整，表示对向下取整。

22、优选的，步骤(2)具体包括：

23、2.1将步骤(1)得到的rgb图像转为灰度图像；

24、2.2高斯滤波：对整幅图像进行加权平均，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到，高斯函数的表达式为其中x和y表示卷积核中每个位置的坐标，σ表示标准差，本发明采取的高斯核大小为5×5，标准差为0，即，使用的高斯核为：随机生成一幅10×10的灰度图演示高斯核的作用像素点25计算结果为8.225(使用高斯核对原图像加权求平均值)。

25、2.3中值滤波：依靠排序法，中值滤波选择卷积核内像素中值来近似实际值，去除孤立噪声，该方法可以有效抑制噪声影响，去除无关的非识别目标区域。

26、优选的，步骤(3)中，影子检测标准为：

27、其中，@为数量，aυgroi是对灰度图像中感兴趣的区域(即图像的下方，车身影子可能出现的区域)进行平均池化操作，thershold为0-1的数值，代表像素畸变的程度，一般取0.6；

28、上述公式表明感兴趣区域的像素畸变程度，超过阈值时，认为出现车身影子，进行去影子操作。

29、进一步优选的，去影子操作为，对灰度图像的roi区域(即灰度图像中感兴趣的区域，灰度图中的阴影区域作为roi区域)进行灰度值调整，考虑到图像整体的亮度一致性，采取灰度平均法去除影子，即：在当前区域内随机选取75个点，计算其像素的平均值，将所有处于该平均亮度下像素的灰度值强制复位为当前区域的平均亮度。

30、优选的，步骤(4)具体包括：

31、4.1：计算边界轮廓：进行canny边缘检测，采用sobel算子对图像进行梯度幅值与梯度方向计算，即θ＝arc tan(gy/gx)，其中，g为梯度强度，θ表示梯度方向，gx、gy分别表示水平方向和垂直方向上的梯度值；

32、4.2：考虑到各种操场地面的平整度不同，对边缘检测后的图像统一进行去噪处理，利用opencv中的connectedcomponentswithstats工具得到连通区域的数量、每个像素所属的标签、区域的统计信息以及中心位置，然后创建一个和输入图像大小相同的全黑图像(0表示黑色)，用于存储分割后的结果，然后，通过循环遍历每个连通区域，根据区域的面积进行过滤，如果面积大于阈值，则将对应区域过滤掉，由于车道线边缘是一个较大的连通区域，为此，该操作会保留详细的车道线信息，去除因不平整路面造成的车道线误识别；

33、4.3：形态学开运算，即腐蚀操作，膨胀操作；

34、腐蚀操作是一种图像处理技术，通过在图像上滑动卷积核并在每个位置取局部最小值，改变图像的形状和结构，卷积核是一个包含参数，例如卷积核大小和内部数值的矩阵，其与图像进行卷积运算，使图像在局部区域内变得更加精细和细致；

35、膨胀操作通过在图像上滑动卷积核并在每个位置取局部最大值，改变图像的形状和结构，卷积核是一个包含参数，例如卷积核大小和内部数值的矩阵，其与图像进行卷积运算，使图像在局部区域内变得更加粗糙和扩张，在车道线检测任务中，膨胀操作可以用于扩张图像中边线面积，类似于漫水填充的效果，这意味着通过膨胀操作，车道线的边缘将被放大，使得区域内的像素值变得更加连续，提高区域的连通性和填充效果。

36、优选的，步骤(5)具体包括：

37、5.1：寻找初始两侧车道线，采取图像下半部分的直方图，将整张图片拆分为左右两半，分别在左侧图和右侧图中寻找白色像素点并计数，进而得到左车道线和右车道线的基准位置，根据计数结果，对特殊情况判断是否图中只存在左侧车道线或只存在右侧车道线，对于这两种情况，单独将车道线坐标置为边界处；只有一条车道线时，执行5.2；否则，执行5.3；

38、5.2：当只有一条车道线时，通过滑动窗口逐一遍历图像的每一行，找到像素点并记录，计算窗口内的非零像素点的索引，如果滑动窗口内的非零像素点数量大于阈值，更新当前位置；

39、利用斜率判断左右车道线的方向，例如当左侧车道线消失时，选取a点是起始点，b为a向上5行的点，c为a向上十行的点，然后计算如果斜率为正，则该线被确定为左侧车道线，不做改变，而右侧车道线取图像最右侧的像素；如果斜率为负，左侧车道线取图像最左侧的像素，同时将该线设置为右侧车道线，最终将寻找到的左侧车道线或右侧车道线坐标记录到列表中；当右侧车道线消失时，计算k，如果斜率为负，则该线被确定为右侧车道线，不做改变，而左侧车道线取图像最左侧的像素，如果斜率为正，右侧车道线取图像最右侧的像素，同时将该线设置为左侧车道线。

40、5.3：初始化左右车道线的基准位置为当前位置，同步骤5.2利用滑窗法进行车道线的寻找，无需判断斜率，将左侧车道线坐标与右侧车道线坐标直接添加入列表中；

41、5.4：根据所得到的左右两侧车道线坐标结果，对其中的前15个数据作平均，进而确定左右边线的位置，得到赛道中线的位置。

42、本发明的有益效果在于：

43、1、本发明采取平均池化与裁剪的策略，将重要信息保留，冗余信息过滤，充分降低了数据处理压力，从而大大提升了算法运行效率。

44、2、本发明设计一个去噪模块，充分考虑到车道线中间坑洼的现象，利用canny边缘检测后其闭环性与车道线的非连通性相结合，有效过滤掉这些影响车道线检测的地面，同时保持车道线依然清晰，由于设计思路较为清晰且简单，去噪模块并不会占用过多算力，具有较高的鲁棒性与可靠性。

45、3、本发明为解决影子对车道线检测的消极影响，考虑到整张图中影子仅占小部分区域，利用灰度图的数值随机性对影子区域进行过滤与合并，可以有效避免影子对车道线巡航的影响。同时为了避免该方法会使得车道线不清晰，本发明特地使用roi区域进行实时的影子动态监测，具有较高的准确性，因此在实际应用中更为实用。

46、4、本发明设计斜率判断模块，有效解决了车身出现的各种车道线检测情况，如只有左线和只有右线，利用其斜率的正负，有效矫正了车道线的位置坐标，进一步提升了车道线检测的鲁棒性。