一种基于语义分割的车道线自动识别系统与方法与流程

本发明涉及道路识别，具体涉及一种基于语义分割的车道线自动识别系统与方法。

背景技术：

1、目前自动驾驶发展迅速，而实线自动驾驶最重要的就是道路自动识别。

2、使用传统机器学习算法进行提取车道标线，它通常对于复杂的场景和不同光照条件下的图像可能表现不佳，例如，在强光、阴影或夜间等条件下，车道标线的对比度和边缘信息可能较弱，传统算法通常需要手动调整一些参数，如阈值、滤波器大小等，以适应不同的图像和场景，这些问题和缺陷使得算法的流程比较复杂，无法实现自动化。

技术实现思路

1、本发明的目的就是针对现有技术的缺陷，提供一种基于语义分割的车道线自动识别系统，包括：图像采集模块，用于使用摄像设备采集车道图像；车道图像识别模块，用于将车道图像输入语义分割模型，在语义分割模型中对车道图像中的像素点进行分类，根据像素点的类别输出车道线轮廓信息和车道线类别信息的车道图像，所述车道线类别包括车道线实线和车道线虚线；车道线骨架提取及拟合模块，用于使用图像处理库从车道线轮廓信息和车道线类别信息的车道图像中提取车道线骨架，所述车道线骨架包括实线车道线骨架和虚线车道线骨架，对实线车道线骨架和虚线车道线骨架进行拟合分别得到实线车道矢量线和虚线车道矢量线；车道线分类模块，用于计算相邻实线车道矢量线之间的第二垂直距离、相邻虚线车道矢量线之间的第三垂直距离、各实线车道矢量线和相邻的虚线车道矢量线之间的第四垂直距离，根据第二垂直距离、第三垂直距离和第四垂直距离分别将各实线车道矢量线和各虚线车道矢量线对应的各实线车道线和各虚线车道线归类为双实线车道线、双虚线车道线、左实线右虚线车道线和右实线左虚线车道线。

2、进一步的，车道图像识别模块中，所述将车道图像输入语义分割模型，在语义分割模型中对车道图像中的像素点进行分类，根据像素点的类别输出车道线轮廓信息和车道线类别信息的车道图像的具体方法如下：

3、语义分割模型采用mask2former模型，将车道图像输入训练好的mask2former模型，输出车道图像中每个像素点的类别，根据每个像素点的类别对车道图像进行标注，得到车道线轮廓信息和车道线类别信息的车道图像。

4、进一步的，车道线骨架提取及拟合模块中，所述使用图像处理库从车道线轮廓信息和车道线类别信息的车道图像中提取车道线骨架的具体方法如下：

5、使用opencv库将车道线轮廓图像二值化，然后使用opencv库中ximgproc模块的thining函数将二值化后的车道线轮廓图像中提取车道线骨架，所述thining函数采用zhangsuen算法。

6、进一步的，车道线骨架提取及拟合模块中，得到虚线车道线骨架的具体方法如下：

7、采用图像处理库提取所有虚线车道线骨架段，计算某个虚线车道线骨架段延长线与相邻虚线车道线骨架段延长线之间的第一垂直距离，若第一垂直距离小于第一阈值，则将两条相邻虚线车道线骨架段归类为同一条虚线车道线骨架，然后再对属于同一条虚线车道线骨架的所有虚线车道线骨架段分别计算纵坐标的中值，根据各虚线车道线骨架段纵坐标的中值的大小顺序将所有虚线车道线骨架段依次首尾相连构成该条虚线车道线骨架。

8、进一步的，车道线骨架提取及拟合模块中，所述对实线车道线骨架和虚线车道线骨架进行拟合分别得到实线车道矢量线和虚线车道矢量线的具体方法如下：

9、对实线车道线骨架或虚线车道线骨架的直线段使用一次函数进行拟合得到实线车道线骨架或虚线车道线骨架的直线段的拟合曲线，将实线车道线骨架或虚线车道线骨架的弯线段的像素点的纵坐标值进行排序，然后在像素点的纵坐标值的最大值与最小值的区间内平均选取n个像素点连线作为实线车道线骨架或虚线车道线骨架的弯线段的拟合曲线，将实线车道线骨架的直线段和弯线段的拟合曲线相连，得到实线车道矢量线，将虚线车道线骨架的直线段和弯线段的拟合曲线相连，得到虚线车道矢量线。再进一步的，实线车道线骨架或虚线车道线骨架中，若骨架某处的弯曲角度小于预设角度，则判定该处为直线段，若骨架某处的弯曲角度大于预设角度，则判定该处为直线段。

10、进一步的，车道线分类模块中，所述计算相邻实线车道矢量线之间的第二垂直距离、相邻虚线车道矢量线之间的第三垂直距离、各实线车道矢量线和相邻的虚线车道矢量线之间的第四垂直距离，根据第二垂直距离、第三垂直距离和第四垂直距离分别将各实线车道矢量线和各虚线车道矢量线对应的各实线车道线和各虚线车道线归类为双实线车道线、双虚线车道线、左实线右虚线车道线和右实线左虚线车道线的具体方法为：

11、计算两条相邻实线车道矢量线之间的第二垂直距离，若第二垂直距离小于第二阈值，则将两条相邻实线车道矢量线对应的两条相邻实线车道线归类为双实线车道线；

12、计算两条相邻虚线车道矢量线之间的第三垂直距离，若第三垂直距离小于第三阈值，则将两条相邻虚线车道矢量线对应的两条相邻虚线车道线归类为双虚线车道线；

13、计算一条实线车道矢量线和与其相邻的虚线车道矢量线之间的第四垂直距离，若第四垂直距离小于第四阈值，则计算该条实线车道矢量线和该条虚线车道矢量线的横坐标的中值，若实线车道矢量线横坐标的中值比虚线车道矢量线横坐标的中值的小，则该条虚线车道矢量线和该条虚线车道矢量线对应的实线车道线和虚线车道线是左实线右虚线车道线，若实线车道矢量线横坐标的中值比虚线车道矢量线横坐标的中值大，则该条实线车道矢量线和该条虚线车道矢量线对应的实线车道线和虚线车道线是右实线左虚线车道线。

14、一种基于语义分割的车道线自动识别方法，包括：使用摄像设备采集车道图像；将车道图像输入语义分割模型，在语义分割模型中对车道图像中的像素点进行分类，根据像素点的类别输出车道线轮廓信息和车道线类别信息的车道图像，所述车道线类别包括车道线实线和车道线虚线；使用图像处理库从车道线轮廓信息和车道线类别信息的车道图像中提取车道线骨架，所述车道线骨架包括实线车道线骨架和虚线车道线骨架，对实线车道线骨架和虚线车道线骨架进行拟合分别得到实线车道矢量线和虚线车道矢量线；计算相邻实线车道矢量线之间的第二垂直距离、相邻虚线车道矢量线之间的第三垂直距离、各实线车道矢量线和相邻的虚线车道矢量线之间的第四垂直距离，根据第二垂直距离、第三垂直距离和第四垂直距离分别将各实线车道矢量线和各虚线车道矢量线对应的各实线车道线和各虚线车道线归类为双实线车道线、双虚线车道线、左实线右虚线车道线和右实线左虚线车道线。

15、一种计算机可读介质，所述计算机可读介质上存储有计算机程序/指令，所述计算机程序/指令在运行时执行上述的基于语义分割的车道线自动识别方法。

16、一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的基于语义分割的车道线自动识别方法。

17、本发明的有益效果为：

18、1、通过使用语义分割模型，该系统可以对车道标线进行像素级别的识别，提供更准确的车道标线提取结果。这有助于确保提取的车道标线与实际道路情况一致，提供更可靠的信息供自动驾驶系统使用。

19、2、通过对提取的车道标线进行矢量化和拟合，该系统可以将车道标线表示为几何形状，如直线段或曲线。这样的表示形式更便于后续处理和分析，例如用于路径规划和车辆控制。

20、3、对于断断续续的虚线段，该系统可以通过合并相邻的虚线段来实现连接，从而形成连续的虚线标记。这有助于提供更准确的车道线形状，提高自动驾驶系统对车道的理解和感知。

21、4、通过对提取的车道标线进行分类，该系统可以识别不同类型的车道标线，如实线、虚线、双实线、双虚线、左实右虚和左虚右实等。这有助于车辆在自动驾驶过程中正确理解和响应不同类型的车道标线，提高行驶安全性。