一种基于起始点引导的车道线检测方法

本发明涉及计算机视觉，具体涉及一种基于起始点引导的车道线检测方法。

背景技术：

1、自动驾驶技术已成为学术界和工业界的研究热点。车道线检测在自动驾驶系统中，尤其在高级驾驶辅助系统adas中扮演着至关重要的角色。目前基于深度学习的车道线检测的方法可以分为四类：基于分割的方法；基于线锚/行锚的方法；基于参数的方法；基于关键点的方法。基于线锚的方法，类似于目标检测，通过预测线锚与车道线上的点之间的偏移量来回归车道线。但是，预设线锚也使得这类方法缺乏灵活性，线锚的质量较低。强形状先验使得模型难以描述不同形状的车道线，特别是在面对各种复杂的车道线类型时，很难进行适应。

技术实现思路

1、为了解决现有技术中的上述缺陷，本发明提供了一种基于起始点引导的车道线检测方法，该方法通过起始点检测头，提供额外的车道线空间特征信息；根据预测的车道线起始点，对线锚进行筛选，可以减少线锚的数量，同时提高线锚的质量，从而提高车道线检测的精度和鲁棒性。

2、本发明的目的可以通过采取如下技术方案达到：

3、一种基于起始点引导的车道线检测方法，所述车道线检测方法包括以下步骤：

4、s1、收集道路场景的车道线图像数据集，并将所述数据集划分为训练集和验证集，并对车道线图像进行数据增强；

5、s2、生成所述车道线图像数据集的真值数据标签文件；

6、s3、构建车道线检测网络，所述车道线检测网络采用基于线锚的车道线检测网络为框架，包括依次顺序连接的骨干网络、颈部网络和检测头网络；所述检测头网络包括并行连接的起始点检测头和车道线检测头；所述车道线检测头包括并行连接的分类分支和回归分支；

7、s3.1、骨干网络对输入的车道线图像进行特征提取，得到n层不同语义层次的层级特征p0，p1，…，pi，…，p(n-1)，其中p0表示最高语义层次的层级特征；n层层级特征输入颈部网络进行特征融合，得到n层层级融合特征f0，f1，…，fi，…，f(n-1)，其中f0表示分辨率最低的层级融合特征；将n层层级融合特征输入检测头网络；

8、s3.2、n层层级融合特征输入检测头网络中的起始点检测头，起始点检测头预测车道线起始点坐标，利用nms非极大值抑制算法进行后处理，过滤冗余的起始点，得到处理后的预测车道线起始点坐标；

9、s3.3、检测头网络中的车道线检测头以预设线锚作为候选车道线，车道线检测头根据步骤s3.2中预测的车道线起始点坐标，对预设线锚进行筛选；n层层级融合特征输入检测头网络中的车道线检测头，车道线检测头中回归分支利用筛选后的预设线锚进行回归预测，将线锚的锚点位置和起始点位置回归到真实的车道线位置，将线锚的起始点角度回归到真实的车道线起始点角度；车道线检测头根据步骤s3.2中预测的车道线起始点坐标，对回归预测输出的线锚再次进行筛选；筛选后的线锚的锚点位置作为得到的车道线位置；车道线检测头中分类分支输出对应的车道线置信度；

10、s4、利用所述训练集和验证集训练和验证所述车道线检测网络直至收敛，得到车道线检测网络的模型参数；

11、s5、车道线检测网络加载模型参数，输入待检测道路场景的车道线图像，得到车道线的检测结果，车道线的检测结果包括车道线位置和车道线置信度。

12、进一步地，所述步骤s3.3中，车道线检测头利用步骤s3.2中预测的车道线起始点坐标，计算预测的车道线起始点与线锚起始点之间的距离，对预设的线锚和回归预测输出的线锚进行筛选，只保留距离小于预设阈值的线锚；线锚的起始点越接近预测车道线起始点，对应真实车道线的概率越高，通过线锚筛选提高了线锚的质量，同时减少了后续需要参与运算的线锚的数量；对应层级融合特征的不同层级，采用不同的预设阈值，适应不同层级的特征尺度，分别控制不同层级保留的线锚数量。

13、进一步地，所述步骤s3.3中，利用步骤s3.2中预测的车道线起始点坐标增强车道线检测头输入的n层层级融合特征，进一步提高车道线检测头的性能，过程如下：

14、按照层级融合特征f(n-1)的尺寸构造特征热图m(n-1)，在每个预测的车道线起始点位置使用高斯内核扩展为特征热图，其中为预测的第j个起始点的x轴和y轴坐标，超参数σ为高斯内核的方差，(x,y)为热图x轴和y轴坐标；如果两个起始点高斯内核之间有重叠，取最大值；从第(n-1)层开始，通过下采样操作将第i层特征热图mi的尺寸逐层调整为第(i-1)层层级融合特征f(i-1)的尺寸，得到第(i-1)层的特征热图m(i-1)，得到n层特征热图m(n-1)，…，mi，…，m1，m0；然后通过concat拼接操作将第i层特征热图mi与对应的第i层层级融合特征fi分别拼接，得到第i层增强的层级融合特征ei，公式表示为ei＝concat(mi,fi)；n层增强的层级融合特征输入车道线检测头，输出车道线位置和对应的车道线置信度；增强的层级融合特征将起始点位置信息融合到层级融合特征中，增强了层级融合特征的特征表示能力，进一步提高车道线检测头的性能。

15、进一步地，所述步骤s3.2中，起始点检测头预测车道线起始点坐标的过程如下：

16、起始点检测头的特征提取网络由依次顺序连接的多个cbr卷积模块、一个卷积conv层和一个sigmoid激活函数层组成，其中cbr卷积模块由依次顺序连接的一个卷积conv层、一个批量归一化bn层和一个relu激活函数层组成，其中cbr卷积模块提取特征，批量归一化bn层改善特征提取网络的梯度传播，加速网络的收敛，提高网络的泛化能力，relu激活函数层增强非线性特征表示能力，sigmoid激活函数层将输出归一化到(0,1)区间内，表示概率；层级融合特征f(n-1)输入起始点检测头的特征提取网络，得到置信度热图m，置信度热图m反映热图每个位置被识别为车道线起始点的概率，距离预测起始点越近的位置的概率越接近1，距离预测起始点越远的位置的概率越接近0；检测置信度热图m的峰值，得到预测的车道线起始点坐标，再利用nms非极大值抑制算法进行后处理，过滤冗余的起始点，提高起始点检测的准确率，得到处理后的预测车道线起始点坐标。

17、进一步地，所述步骤s3.3中，以多个不同预设起始点生成多个不同预设水平夹角的直线作为预设线锚，预设水平夹角设为线锚的起始点角度，线锚按竖直y轴方向等间隔均匀采样na个点作为锚点；预设线锚作为候选车道线的初始位置，以多个不同预设起始点和多个不同预设水平夹角生成预设线锚，预测图像中不同位置和不同水平夹角的车道线；预测修正线锚锚点的位置，线锚可以逼近不同形状的车道线。

18、进一步地，所述步骤s3.3中，车道线检测头以筛选后的线锚作为候选车道线，利用线锚的锚点位置对输入的层级融合特征进行采样，构成特征向量，得到线锚描述的车道线的特征，特征向量输入车道线检测头中回归分支和分类分支；回归分支进行回归预测，将线锚的锚点位置和起始点位置回归到真实的车道线位置，将线锚的起始点角度回归到真实的车道线起始点角度，其中真实的车道线起始点角度为真实的车道线起始点的切线的水平夹角；回归分支输出线锚的锚点位置、起始点位置和起始点角度的偏移量，对线锚的锚点位置、起始点位置和起始点角度进行修正；分类分支输出车道线置信度，置信度越大，线锚对应真实车道线的概率越大。

19、进一步地，所述回归分支和分类分支由多个依次顺序连接的全连接层模块和一个全连接层组成，其中全连接层模块由依次顺序连接的一个全连接层和一个relu激活函数层组成，relu激活函数层增强非线性特征表示能力。

20、进一步地，所述步骤s3中，所述的骨干网络采用resnet、dla、cspdarknet、mobilenet、shufflenet、densenet、vgg、repvgg和efficientnet网络中的一种，骨干网络根据系统性能需求和计算复杂度要求进行选择；颈部网络采用fpn或pan网络，颈部网络根据系统性能需求和计算复杂度要求进行选择。

21、本发明相对于现有技术具有如下的有益效果：

22、(1)本发明引入起始点检测头捕获车道线更多的空间特征信息，有助于更准确地定位车道线。

23、(2)本发明设计了一种基于起始点引导的线锚筛选方法，可以减少线锚的数量，同时提高线锚的质量，从而提高了车道线检测的精度和鲁棒性。

24、(3)本发明设计了一种利用起始点坐标增强层级融合特征的方法，提高车道线检测头的性能。