一种基于注意力机制的混合锚车道线检测结果融合方法

本发明涉及智能驾驶，具体涉及一种基于注意力机制的混合锚车道线检测结果融合方法。

背景技术：

1、随着人工智能和大数据在各行各业的广泛渗透下，智能汽车已成为全球汽车产业发展的战略方向。智能汽车的自动驾驶功能具体由三大系统：环境感知、决策规划和运动控制系统构成，环境感知系统通过各传感器数据探知自身状态及行车环境，决策规划系统依据环境感知系统所获得的周边环境数据做出行为决策和路径规划，执行控制系统负责将决策规划系统的行为信息转换为各个运动部件的执行动作。

2、其中，智能汽车的环境感知系统负责感知周边环境及确定自身状态信息的系统，其中车道线检测是环境感知技术的重要内容，其为车辆运行决策、智能避障等规划了可行域和安全域，是智能车遵循交通规则运行的重要依据。车道线检测质量的好坏直接影响后期自动驾驶决策和运动控制，因此车道线的精确检测对于智能汽车安全运行至关重要。

3、当前主流车道线检车技术有基于图像处理的车道线检测方法、基于激光雷达的车道线检测方法、基于雷达与摄像头的融合车道线检测方法、基于雷达与摄像头的融合车道线检测方法、基于gps和地图的车道线检测方法。基于图像处理的车道线检测方法主要是利用图像处理算法进行车道线的检测和识别。基于激光雷达的车道线检测方法，通过激光雷达扫描地面，分析处理点云数据获取车道线位置信息。基于雷达与摄像头的融合车道线检测方法是将雷达和摄像头两个传感器的数据进行融合，从而得到更加准确的车道线位置信息，提高检测的鲁棒性。基于gps和地图的车道线检测方法主要是利用车辆上的gps以及地图数据来检测车道线的位置信息，该种方法可以克服图像处理技术在某些特定情况下(比如光照不良)，这种方法对于在光照较弱、天气恶劣的情况下车道线能更加准确地被检测出来。上述技术手段中，基于激光雷达的车道线检测依赖稠密的路面点云数据，因此需要高线程的激光雷达，而当前高线程的激光雷达成本高昂难以大规模工程应用，因此基于激光雷的技术路线短时间内无法规模化落地相对小众。基于gps和地图的车道线检测严重依赖高精度地图，此类技术非常考验gps的精度与地图数据的完整性和时效性，而地图数据的新鲜度需要高昂的维护成本，并且非热点地区难覆盖、算法适用域窄，导致基于高精度地图的智能感知路线基本被搁置。

4、综上，当前主流技术路线是基于图像的车道线检测方法，该类方法能够实现大规模、经济性工程应用。根据检测的图像来源不同，分为单目摄像头车道线检测和双目摄像头车道线检测。双目相机通过左右两个相机从不同角度同时对被测物体成像，并基于视差原理计算图像对应点的位置偏差，从而获得被测物体的距离信息，结合相机的内外参数，可以最终得到带有空间二维坐标的点云数据。双目相机无须识别出目标，也能进行目标距离的探测，且测距准确度远高于单目相机通过深度学习估算的距离。但是视差原理中立体匹配是复杂的技术难题，解决该技术难题又需要用到复杂的并行处理算法，为了保证在误差存在情况下立体匹配的鲁棒性，算法复杂度又会进一步急剧提升。同时，双目相机的立体匹配算法包含大量乘法、除法、开方“等复杂并行计算，通用型的gpu不适合作为主处理芯片，缺乏特定的处理器支持，采用fpga的硬件编程又存在实现难度高的问题。此外，光照敏感在现实世界中，会导致左右相机成像明暗相差较大，增加立体匹配的难度和立体匹配的误差。进一步，被测物体单调的纹理(如颜色一致的货车车厢、颜色一致的墙面)导致的匹配特征少，又增加立体匹配的难度与误差。鉴于双目技术路线的算法实现复杂、处理芯片技术门槛高、效益的难以平衡等问题，基于双目视觉的车道线检测技术目前也难以大规模应用。

5、单目摄像头车道线检测是指通过一台摄像头采集道路的图像，传统方法有基于边缘检测、基于颜色分割、基于模板匹配等方法。基于边缘检测的方法可以通过对图像进行边缘检测，找出边缘像素点，进而通过直线拟合算法将车道线拟合出来；基于颜色分割的方法可以通过选取一定的颜色范围，将车道线分割出来；基于模板匹配的方法可以先构建车道线的模板，然后通过在图像中匹配，找到车道线所在的位置。传统算法的优点是处理流程逻辑性强、可解释性强，处理流程中数据量小速度快，但其缺点也是显而易见的。传统算法需要人工手动去调滤波算子，根据算法所针对的街道场景特点手动调节参数，参数调节工作量大且鲁棒性较差，当行车环境出现明显变化时，车道线的检测效果不佳；同时每种方法都有较高的局限性，例如：霍夫直线检测方法准确但不能做弯道检测，拟合方法可以检测弯道但不稳定，仿射变换可以做多车道检测但在遮挡等情况下干扰严重；透视变换操作会对相机有一些具体的要求，在变换前需要调正图像，而且摄像机的安装和道路本身的倾斜都会影响变换效果。传统的车道线检测方法主要是利用图像边缘和数据点拟合的方式，在干扰较少和环境相差较小的环境中有较高的识别准确率，实际应用中由于车辆行驶环境的多变，传统检测算法难以适应，因此采用深度学习的方法是现阶段车道线检测的主流。

6、基于深度学习的车道线检测方法可以大致分为四类，分别为基于分割、基于锚点、基于关键点和基于参数预测的方法。基于分割的检测方法主要通过对图像进行逐像素的分类，将检测目标与背景分离，进而达到检测目的，由于分割的检测方法需逐像素处理，因此其在训练和推理均存在计算消耗大、运行速度慢的硬伤。基于关键点的方法直接对车道线的实例进行检测，使用后处理方法对实例进行划分，虽然基于关键点的方法兼具灵活性和实时性，但是构建全局信息能力较差，在车道线遮挡时识别准确率会较差；此外，采用关键点的方法在处理遮挡问题时全局信息较难构建。基于参数的方法用参数对车道曲线进行建模，并对这些参数进行回归来检测车道，该方法可回归的参数较少，但对预测参数较为敏感，如对高阶系数的误差预测可能导致车道形状变化，且由于采用参数曲线的方法对图像边缘信息依赖较强，因此在遮挡和光线干扰的情况下检测准确率较低。

7、基于锚点的方法可以分为两类：基于线锚点的方法和基于行锚点的方法。基于线锚的方法采用预定义的线锚作为参考，回归精确的车道。基于行锚点的方法将整个图像条形化后，在每一个预定义行锚的细分单元格判断是否为车道线位置，其优点是计算量较低，检测速度较快，在多种场景下都拥有较好的检测精度，能够满足较好的满足实时性和复杂场景需求。现阶段研究领域中出现较多结构不同的锚，对于车道线检测也都各有优缺点，部分锚的方法存在特征重复计算处理的缺点。

8、锚是一种常见的目标检测方法，它的主要思想是在图像中生成一些用于检测目标的图像区域，然后通过检测是否含有目标及预测目标所处位置实现目标检测。车道线识别属于目标检测的一种，现阶段流行的处理方法是通过引入锚的思想并做相应的改动以适应车道线细长的结构，因此分别产生了行锚和列锚两种车道线识别的方法。所谓的混合锚也就是车道线检测使用的行锚和列锚。

9、如图1所示，在图1中通过粗线将图片分割为一行一行的区域，每一个区域被定义为一个锚，由于采用行的分割方式因此命名为行锚。在图1左侧每个箭头都指向一个行锚，在每个行锚中采用虚线将锚分割为若干个方格。行锚的识别结果主要表明三个车道线与锚相关的信息：(1)确定行锚中是否含有车道线；(2)判断行锚中细分的方格是否为行锚与车道线的交点；(3)确定行锚与车道线的交点方格属于车道线的支数。在图1中行锚细分方格为车道线与行锚的焦点，其中左边的方格和右边的方格分别从属于两支车道线。

10、列锚结构于行锚结构相似，但划分方向不一样。列锚结构如图2所示，在图片中通过粗线将图片分割为一列一列的区域，每一个区域被定义为一个锚，由于采用列的分割方式因此命名为列锚。在图2上方每个箭头都指向一个列锚，在每个列锚中同样采用虚线将锚分割为若干个方格，列锚的识别结果所含有的信息与行锚识别结果相同。

11、以三车道的车道线检测任务为例，智能汽车需要检测四条车道线(1、2、3、4)，如图3中圆圈所连成的四条标准车道线。由于车辆所在车道的左右两侧两条车道线(2、3)较为竖直，在使用锚的检测方法中，2、3车道线与行锚的交点数量较多，与列锚的交点数量较少。理论上，相等算法基础上信息输入量越大，往往就能获得更为精确的检测效果。因此,在使用行锚模式下，2、3车道线能获得更为全面信息要素的，从而能获得比列锚模式下更为精确的检测结果。同理，车辆所在车道的左车道左侧车道线1与车辆所在车道的右车道右侧车道线4较为水平，在使用锚的检测方法中，1、4车道线与行锚的交点数量较少，与列锚的交点数量较所，因此1、4车道线使用列锚的检测准确率较高、使用行锚的检测准确率较低。

12、现有技术使用行锚检测图像中部的车道线，使用列锚检测图像两侧的车道线，但在实际情况中，车辆自身姿态和摄像头安装角度均会影响车道线在图像的角度，因此行锚、列锚的混合使用不一定会检测到相较垂直的车道线。

13、在图3中，小点所组成的车道线表示使用锚的车道线检测结果。在行锚和列锚的车道线检测过程中，行锚和行锚之间(或列锚与列锚之间)的预测结果没有进行相互参考关联融合，信息维度利用不充分，因此在红色区域中，有大量无规则的绿色车道线预测点，与真实值偏离较大。

技术实现思路

1、针对现有基于锚点车道线检测的不足，本发明的目的在于提供一种基于注意力机制的混合锚车道线检测结果融合方法，该方法能够适应不同的道路环境和天气条件，如光照变化、遮挡、阴影等，具备较高的实时性和较好的识别精度，并且在提高车道线检测的准确性和鲁棒性方面具有显著的优势。

2、本发明通过以下技术方案来实现上述目的：

3、一种基于注意力机制的混合锚车道线检测结果融合方法，该方法包括以下步骤：

4、通过主干模型对原始图像进行特征提取，得到含有高级语义的特征图；

5、将全局特征图并行地输入到两个多层感知机中处理，每个多层感知机分别处理特征图，并输出与行锚和列锚定义相匹配的数据结构形状；

6、将多层感知机输出的含有车道线信息的行锚和列锚数据结构进行后处理，转变为车道线坐标的行锚和列锚识别结果；

7、定义基于注意力机制的全连接层，以行锚和列锚的识别结果作为输入；

8、通过注意力机制综合行锚和列锚两者的信息，为它们分配不同的置信度，同时计算输出车道线坐标的偏移值；

9、对置信度和偏移值进行归一化处理，约束两者的数据范围；

10、利用归一化处理后的置信度和偏移值对行锚和列锚的车道线检测结果进行融合，得出最终的车道线识别结果。

11、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，所述通过主干模型对原始图像进行特征提取，包括：

12、对原始图像进行预处理，以适应模型的输入要求；

13、选择用于图像特征提取的主干模型，用于逐步提取图像中的特征；

14、在主干模型的最后一层卷积层输出特征图，该特征图保留了原始图像的空间结构，但每个位置上的值都代表了该位置处的特征强度，即含有高级语义的全局特征图；

15、将全局特征图并行地输入到两个多层感知机中处理，并输出与行锚和列锚定义相匹配的数据结构形状；

16、通过后处理的方式，将多层感知机的输出转变为行锚和列锚所检测的不定长度车道线坐标点序列。

17、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，不定长度车道线坐标点序列通过插值或固定步幅的挑选来产生固定数量的车道线坐标点；

18、其中，假设最终产生的车道线坐标点数量为l，则行锚和列锚的结果坐标为以下公式：

19、

20、其中，r代表行锚识别的车道线坐标，c代表行锚识别的车道线坐标，i为坐标点的序列标号，取值范围为1≤i≤l，x和y分别代表横坐标和纵坐标；

21、输出车道线坐标的行锚和列锚识别结果，分别为pr和pc。

22、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，定义一个参数可学习的全连接层，该全连接层以行锚和列锚的识别结果作为输入，以权重矩阵和坐标偏移矩阵为输出。

23、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，定义wr是行锚输出结果pr的权重，wc是行锚输出结果pc的权重，δ是坐标偏移矩阵，即wr、wc和δ都是注意力机制的输出，wr、wc和δ的结果表达式为以下公式：

24、

25、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，定义行锚识别点和列锚识别点由于全连接层输出的以及其值范围均在(-∞,+∞)之间，因此需要归一化确保计算结果不会远偏于正常值；

26、对于权重参数来说，两者分别表示点和点在结果中的占比系数，因此采用软归一化(softmax)的方式确定占比系数，行锚识别结果的占比系数计算公式表示为以下公式：

27、

28、其中，s代表归一化后的结果，列锚识别结果的占比系数计算公式表示为以下公式：

29、

30、因此权重矩阵wr和wc归一化后的结果wrs和wcs为以下公式：

31、

32、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，对于偏移矩阵，由于其是单值，因此采用sigmod函数进行归一化，并缩放至(-1,+1)，在标号为i的坐标点偏移值归一化及缩放的计算公式表示为以下公式：

33、

34、因此，偏移矩阵δ的归一化结果表示为以下公式：

35、

36、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，当进行扩大偏移量时，偏移放大系数采用行锚和列锚识别结果的坐标差值在考虑偏移矩阵δ的情况下，行锚和列锚融合结果(xi,yi)计算公式表示为以下公式：

37、

38、得到最终融合行锚和列锚识别结果的坐标矩阵p，表示为以下公式：

39、p＝[(x1,y1),(x2,y2),…,(xi,yi),…,(xl,yl)]。

40、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，所述得出最终的车道线识别结果，包括：

41、最终的车道线识别结果由行锚和列锚的识别结果、权重参数以及坐标偏移矩阵组成，表示为以下公式：

42、p＝wrs*pr+wcs*pc+δs*|pr-pc|。

43、根据本发明提供的一种基于注意力机制的混合锚车道线检测结果融合方法，还执行：

44、估计模型对车道线检测结果的不确定性，并基于不确定性调整置信度或进行后处理；

45、根据估计的不确定性，设定一个或多个阈值，当不确定性超过某个阈值时，降低对应车道线检测结果的置信度；

46、对于置信度过低的车道线检测结果，选择剔除或进行平滑处理，以减少误检或提高检测结果的平滑性。

47、由此可见，相比于现有技术，本发明提供的方法具有以下有益效果：

48、在本发明中，车道线混合锚检测使用两个并行的多层感知机在全局特征图上分别实现行锚和列锚的分类任务，使得模型使得行锚和列锚可以在图像全局上均进行车道线检测，避免了行锚或列锚只检测图像局部而错过检测与锚相对垂直的车道线，充分发挥行锚和列锚的车道线检测优势。同时行锚和列锚分别对应的两个多层感知机，以相同的特征图作为输入降低了特征提取的运算量，互不干扰的并行计算识别结果，因此在现实场景使用中可以满足对车道线识别的快速性和实时性。

49、在本发明中，车道线混合锚检测使用两个并行的多层感知机在全局特征图上分别利用行锚和列锚的机制进行车道线检测，不同于传统的行锚只检测图像中部而列锚只检测图像两侧，使用并行全局的检测方式不仅保证了检测速度，也可以保证行锚或列锚能够检测到相对其本身较垂直的车道线。

50、在本发明中，注意力机制下的结果融合将行锚和列锚的车道线识别结果作为输入，通过综合两者信息分配置信度，并计算输出车道线坐标的偏移值，最后得出车道线识别的最终结果，将行锚和列锚的车道线检测结果进行融合，不仅避免了仅使用行锚或列锚出现较大误差的情况，同时使得行锚或列锚中相邻锚之间识别结果相互参考，避免出现无规则的车道线预测点，提高了车道线检测的准确率和稳定性。

51、在本发明中，使用注意力机制将行锚和列锚的车道线识别结果进行融合，不仅为行锚和列锚的车道线识别结果分配置信度，同时计算出车道线点的坐标偏移值进行进一步修正，将行锚和列锚的识别优点进行融合，提高了车道线识别系统的稳定性和可靠性。

52、下面结合附图和具体实施方式对本发明作进一步详细说明。