一种基于融合车道线分割和消失点检测的车道线检测方法与流程

本发明涉及车道线检测，具体为一种基于融合车道线分割和消失点检测的车道线检测方法。

背景技术：

1、在智能驾驶系统中，车道线检测是车辆定位导航、车道保持、车道变道以及自动驾驶决策等功能的基础模块。目前车道线检测主要有两种方案：传统方法与深度学习。传统方法主要通过边缘检测、霍夫变换、颜色阈值等来提取车道线位置，传统方法虽然能保证车道检测的实时性，但其检测效果容易受到天气、场景复杂度等因素的干扰，抗干扰能力较差。基于深度学习的车道线检测方法通过大量的数据训练虽然有效的提高了车道线检测的鲁棒性，但存在着对车道线最远消失点检测效果不佳、车道线序号仍需通过后处理获取等问题，不能较好的实现端到端的检测。

技术实现思路

1、本发明的目的在于提供一种基于融合车道线分割和消失点检测的车道线检测方法，以解决上述背景技术中提出的车道线检测中的传统方法检测效果容易受到天气、场景复杂度等因素的干扰，抗干扰能力较差；基于深度学习的车道线检测方法通过大量的数据训练虽然有效的提高了车道线检测的鲁棒性，但存在着对车道线最远消失点检测效果不佳、车道线序号仍需通过后续处理获取，不能较好的实现端到端检测的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于融合车道线分割和消失点检测的车道线检测方法，包括一个融合的车道线检测模型，该模型由四部分组成：特征提取模块、特征融合模块、特征解码模块、两个不同的检测任务子模块；

3、将图像数据输入特征提取模块，然后由特征提取模块对输入的图片进行特征提取，接着输出特征图；

4、特征融合模块将特征提取模块输出的特征结果进行融合获得特征图，然后输出特征图用于后续特征解码；

5、特征解码模块对融合后的特征图进行解码，然后输出特征图至两个不同的检测任务子模块中；

6、两个不同的检测任务子模块分别处理不同的任务，第一个子模块检测器头采用分割的方式从解码后的特征图中提取道路信息，另一个子模块检测器头输出关键点坐标值和车道线序号，用来对第一个检测器头提取的道路信息进行辅助矫正提高车道线检测距离和检测精度。

7、优选的，还包括在特征提取模块之前的图片输入模块部分，图片输入模块部分通过车载相机模块实时获取车辆道路图片，将相机输入的1920×1080×3大小图片归一化为800×480×3、400×240×3、200×120×3三种大小，同时对归一化后的图片做平移、旋转、颜色抖动等数据增强操作，以提高模型鲁棒性，将处理后的800×480×3、400×240×3、200×120×3三种大小图像数据分别输入到对应三个特征提取模块层。

8、优选的，特征提取模块采用三个特征提取分支，各个分支针对不同大小的输入图片同时进行特征提取，对于输入为800×480×3的特征提取分支，采用16个3×3大小的卷积层、4个bn层，输出特征图大小为128×25×15，对于输入为400×120×3的特征提取分支，采用8个3×3大小的卷积层、4个bn层，输出特征图大小为256×25×15，对于输入为200×120×3的特征提取分支，采用4个3×3大小的卷积层、4个bn层，输出特征图大小为512×25×15。

9、优选的，特征融合模块将三个特征提取分支提取的特征结果进行融合获得特征图，通过2个1×1大小的卷积层进行融合获得特征图，输出1024×25×15的特征图用于后续特征解码。

10、优选的，特征解码模块主要由upsampling对特征图进行解码，输入为1024×25×15的特征图，经过3个upsampling层对特征图进行解码，每个upsampling层包含2个卷积层和1个upsampling，输出64×200×120的特征图至两个不同的任务检测器头中。

11、优选的，两个不同检测任务子模块分别处理不同的任务，第一个子模块检测器头采用分割的方式从解码后的特征图中提取道路信息，由2个卷积层和1个upsampling组成，输出大小是2×400×240，输出其中2代表两个类别，0代表背景，1代表车道线，另一个子模块检测器头主要构成是3个卷积层和1个upsampling，输出大小是6×400×240，其中6代表6个车道线序号，例如当第1个预测的400×240大小的图片上存在车道线起始关键点和消失关键点时，输出这些关键点坐标值和这个图层序号1作为预测的车道线序号。其中起始点和最远消失点可以对第一个检测器头提取的道路信息进行辅助矫正提高车道线检测距离和检测精度。

12、与现有技术相比，本发明的有益效果是：该基于融合车道线分割和消失点检测的车道线检测方法，

13、本发明基于现有主流深度学习技术，设计实现融合分割和消失点检测的车道线检测模型，通过该模型可实现对车道线分割与车道线最远消失点检测的融合，进一步提高车道线检测距离，同时该模型加入了车道线序号检测功能，实现了端到端的车道线检测，减少了工程实现的复杂度，为智能驾驶系统中的下游任务提供了可靠依据。

14、本发明采用了共享特征的方式同时实现了车道线序号检测、最远消失点检测和车道线检测，减少特征重复提取，在优化内存占用的基础上提高了车道线检测精度，同时降低了车道线序号检测难度。该模型部署在主机端和移动端对视频流测试中都能达到25fps以上，对下游的自动驾驶决策模块完全满足实时性要求。

技术特征：

1.一种基于融合车道线分割和消失点检测的车道线检测方法，其特征在于：包括一个融合的车道线检测模型，该模型由四部分组成：特征提取模块、特征融合模块、特征解码模块、两个不同的检测任务子模块；

2.根据权利要求1所述的一种基于融合车道线分割和消失点检测的车道线检测方法，其特征在于：还包括在特征提取模块之前的图片输入模块部分，图片输入模块部分通过车载相机模块实时获取车辆道路图片，将相机输入的1920×1080×3大小图片归一化为800×480×3、400×240×3、200×120×3三种大小，同时对归一化后的图片做平移、旋转、颜色抖动等数据增强操作，以提高模型鲁棒性，将处理后的800×480×3、400×240×3、200×120×3三种大小图像数据分别输入到对应三个特征提取模块层。

3.根据权利要求2所述的一种基于融合车道线分割和消失点检测的车道线检测方法，其特征在于：特征提取模块采用三个特征提取分支，各个分支针对不同大小的输入图片同时进行特征提取，对于输入为800×480×3的特征提取分支，采用16个3×3大小的卷积层、4个bn层，输出特征图大小为128×25×15，对于输入为400×120×3的特征提取分支，采用8个3×3大小的卷积层、4个bn层，输出特征图大小为256×25×15，对于输入为200×120×3的特征提取分支，采用4个3×3大小的卷积层、4个bn层，输出特征图大小为512×25×15。

4.根据权利要求3所述的一种基于融合车道线分割和消失点检测的车道线检测方法，其特征在于：特征融合模块将三个特征提取分支提取的特征结果进行融合获得特征图，通过2个1×1大小的卷积层进行融合获得特征图，输出1024×25×15的特征图用于后续特征解码。

5.根据权利要求4所述的一种基于融合车道线分割和消失点检测的车道线检测方法，其特征在于：特征解码模块主要由upsampling对特征图进行解码，输入为1024×25×15的特征图，经过3个upsampling层对特征图进行解码，每个upsampling层包含2个卷积层和1个upsampling，输出64×200×120的特征图至两个不同的检测任务子模块中。

6.根据权利要求5所述的一种基于融合车道线分割和消失点检测的车道线检测方法，其特征在于：两个不同检测任务子模块分别处理不同的任务，第一个子模块检测器头采用分割的方式从解码后的特征图中提取道路信息，由2个卷积层和1个upsampling组成，输出大小是2×400×240，输出其中2代表两个类别，0代表背景，1代表车道线，另一个子模块检测器头主要构成是3个卷积层和1个upsampling，输出大小是6×400×240，其中6代表6个车道线序号，例如当第1个预测的400×240大小的图片上存在车道线起始关键点和消失关键点时，输出这些关键点坐标值和这个图层序号1作为预测的车道线序号，其中起始点和最远消失点可以对第一个检测器头提取的道路信息进行辅助矫正提高车道线检测距离和检测精度。

技术总结本发明公开了一种基于融合车道线分割和消失点检测的车道线检测方法，包括一个融合的车道线检测模型，该模型由四部分组成：特征提取模块、特征融合模块、特征解码模块、两个不同的检测任务子模块，将图像数据输入特征提取模块，然后由特征提取模块对输入的图片进行特征提取，接着输出特征图。本发明基于现有主流深度学习技术，设计实现融合分割和消失点检测的车道线检测模型，通过该模型可实现对车道线分割与车道线最远消失点检测的融合，进一步提高车道线检测距离，同时该模型加入了车道线序号检测功能，实现了端到端的车道线检测，减少了工程实现的复杂度，为智能驾驶系统中的下游任务提供了可靠依据。技术研发人员：吴晓闯,孙长亮,朱宏泰受保护的技术使用者：昆山星际舟智能科技有限公司技术研发日：技术公布日：2024/8/1