一种基于时序鸟瞰图的车道线识别方法、装置、非暂时性计算机可读存储介质及车辆与流程

本发明属于智能驾驶，具体涉及一种基于时序鸟瞰图的车道线识别方法、装置、非暂时性计算机可读存储介质及车辆。

背景技术：

1、在自动驾驶场景中，通过单个或者多个摄像头提供的2d图像，使用深度学习进行车道线估计是一种低成本、高性能的方式。但是之前的方法往往只依靠单帧图像进行判别，这种方式在连续的视频序列上缺少关联信息，导致对于车道线遮挡问题无法依靠历史帧进行辅助识别和矫正。

2、bev是鸟瞰图(bird’s eye view)的简称，是一种用于描述感知世界的视角或坐标系(3d)，将图像空间转换到bev空间可以更好的表观环境的3d信息。基于bev空间的车道线感知是目前主流的方案。其中深度信息对于3d车道线的感知至关重要，因此部分工作探索如何更好地利用深度信息来进行识别。例如lls探索利用卷积网络提取图片中的深度信息，根据深度信息获取bev特征再进行后续的识别，但是这些方法需要额外的信息输入，会带来计算资源的消耗。除了深度信息的探索外，部分工作开始研究如何更好地提取和关联图像空间和时序空间的特征，来建模更加鲁棒的bev特征。例如bevformer采用了四个时刻的6个视角的环视图作为输入，利用deformabledetr来进行特征的提取，persformer则是前视图作为输入，采用金字塔式的方式来构造bev特征。

3、然而，bevformer方案输入的多视角图像会带来计算资源开销大的问题，并且，当输入的两帧样本变化较大时，难以通过运动信息对齐相同的位置点，这样就会引入对齐无差进而影响网络的学习。在实际应用场景下，从时序上看车道线往往会在某一帧被遮挡，而persformer的处理逻辑是对于每一帧单独预测，因此当某一帧的车道线被遮挡或者变化快时，由于无法利用之前的历史信息来辅助，导致当前车道线的识别困难。

技术实现思路

1、本发明实施例所要解决的技术问题在于，提供一种基于时序鸟瞰图的车道线识别方法、装置、非暂时性计算机可读存储介质及车辆，以改善车道线被遮挡情况下的预测性能。

2、为解决上述技术问题，本发明提供一种基于时序鸟瞰图的车道线识别方法，包括：

3、获取车辆前方预设范围内的图像，并对所述图像进行特征提取，得到多帧图像特征；

4、将提取的多帧图像特征按时序存入预设图像特征存储队列；

5、分别获取所述预设图像特征存储队列中历史帧的鸟瞰图特征和当前帧的鸟瞰图特征；

6、将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征进行融合，得到更新的历史帧的鸟瞰图特征；

7、采用所述更新的历史帧的鸟瞰图特征进行车道线识别。

8、优选地，在将提取的多帧图像特征按时序存入预设图像特征存储队列时还包括：

9、判断所述预设图像特征存储队列中是否没有历史帧的鸟瞰图特征；

10、如果没有历史帧的鸟瞰图特征，则将当前帧作为历史帧，并提取当前帧的鸟瞰图特征作为历史帧的鸟瞰图特征；

11、如果有历史帧的鸟瞰图特征，则提取当前帧的鸟瞰图特征。

12、优选地，当存入所述预设图像特征存储队列的当前帧是初始帧时，则将所述初始帧作为历史帧，对所述初始帧的图像特征提取鸟瞰图特征，得到所述历史帧的鸟瞰图特征；当存入所述预设图像特征存储队列的当前帧不是初始帧时，将当前帧的前一帧作为历史帧，对所述前一帧的图像特征提取的鸟瞰图特征，得到所述历史帧的鸟瞰图特征。

13、优选地，将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征进行融合，具体是：将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征使用deformabledetr进行融合，其中，当前帧的鸟瞰图特征作为查询向量，历史帧的鸟瞰图特征作为键向量和值向量。

14、优选地，在得到更新的历史帧的鸟瞰图特征后，还包括：判断当前帧的鸟瞰图特征是否是所述预设图像特征存储队列中最后一帧的鸟瞰图特征，若是则将当前得到的更新的历史帧的鸟瞰图特征用于后续车道线识别，若不是则继续进行bev特征提取和历史帧的bev特征更新。

15、本发明还提供一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述非暂时性计算机可读存储介质所在的设备执行所述的基于时序鸟瞰图的车道线识别方法。

16、本发明还提供一种基于时序鸟瞰图的车道线识别装置，包括：

17、图像特征提取模块，用于对获取的车辆前方预设范围内的图像进行特征提取，得到多帧图像特征；

18、存储模块，用于将提取的多帧图像特征按时序存入预设图像特征存储队列；

19、鸟瞰图特征获取模块，用于分别获取所述预设图像特征存储队列中历史帧的鸟瞰图特征和当前帧的鸟瞰图特征；

20、鸟瞰图特征融合模块，用于将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征进行融合，得到更新的历史帧的鸟瞰图特征；

21、识别模块，用于采用所述更新的历史帧的鸟瞰图特征进行车道线识别。

22、优选地，所述存储模块在将提取的多帧图像特征按时序存入预设图像特征存储队列时还用于：判断所述预设图像特征存储队列中是否没有历史帧的鸟瞰图特征；

23、所述鸟瞰图特征获取模块还用于：如果没有历史帧的鸟瞰图特征，则将当前帧作为历史帧，并提取当前帧的鸟瞰图特征作为历史帧的鸟瞰图特征；如果有历史帧的鸟瞰图特征，则提取当前帧的鸟瞰图特征。

24、优选地，所述鸟瞰图特征获取模块还用于：当存入所述预设图像特征存储队列的当前帧是初始帧时，则将所述初始帧作为历史帧，对所述初始帧的图像特征提取鸟瞰图特征，得到所述历史帧的鸟瞰图特征；当存入所述预设图像特征存储队列的当前帧不是初始帧时，将当前帧的前一帧作为历史帧，对所述前一帧的图像特征提取的鸟瞰图特征，得到所述历史帧的鸟瞰图特征。

25、优选地，所述鸟瞰图特征融合模块具体用于：将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征使用deformabledetr进行融合，其中，当前帧的鸟瞰图特征作为查询向量，历史帧的鸟瞰图特征作为键向量和值向量。

26、优选地，所述装置还包括迭代模块，用于在得到更新的历史帧的鸟瞰图特征后，判断当前帧的鸟瞰图特征是否是所述预设图像特征存储队列中最后一帧的鸟瞰图特征，若是则将当前得到的更新的历史帧的鸟瞰图特征用于后续车道线识别，若不是则由所述鸟瞰图特征获取模块继续获取相应的鸟瞰图特征、由所述鸟瞰图特征融合模块进行鸟瞰图特征的融合。

27、本发明还提供一种车辆，包括所述的基于时序鸟瞰图的车道线识别装置。

28、实施本发明具有如下有益效果：通过引入具有时序信息的鸟瞰图特征来对历史帧的鸟瞰图特征进行更新，从而在当前车道线被遮挡时，可以根据历史时间信息从历史特征中找到和当前特征相似的区域，采用该区域内的车道线信息来辅助当前车道线识别，为改善车道线被遮挡情况下的预测性能提供有力支撑。

技术特征：

1.一种基于时序鸟瞰图的车道线识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在将提取的多帧图像特征按时序存入预设图像特征存储队列时还包括：

3.根据权利要求2所述的方法，其特征在于，当存入所述预设图像特征存储队列的当前帧是初始帧时，则将所述初始帧作为历史帧，对所述初始帧的图像特征提取鸟瞰图特征，得到所述历史帧的鸟瞰图特征；当存入所述预设图像特征存储队列的当前帧不是初始帧时，将当前帧的前一帧作为历史帧，对所述前一帧的图像特征提取的鸟瞰图特征，得到所述历史帧的鸟瞰图特征。

4.根据权利要求1所述的方法，其特征在于，将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征进行融合，具体是：将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征使用deformabledetr进行融合，其中，当前帧的鸟瞰图特征作为查询向量，历史帧的鸟瞰图特征作为键向量和值向量。

5.根据权利要求1所述的方法，其特征在于，在得到更新的历史帧的鸟瞰图特征后，还包括：判断当前帧的鸟瞰图特征是否是所述预设图像特征存储队列中最后一帧的鸟瞰图特征，若是则将当前得到的更新的历史帧的鸟瞰图特征用于后续车道线识别，若不是则继续进行bev特征提取和历史帧的bev特征更新。

6.一种非暂时性计算机可读存储介质，其特征在于，所述非暂时性计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述非暂时性计算机可读存储介质所在的设备执行如权利要求1～5任一项所述的基于时序鸟瞰图的车道线识别方法。

7.一种基于时序鸟瞰图的车道线识别装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述存储模块在将提取的多帧图像特征按时序存入预设图像特征存储队列时还用于：判断所述预设图像特征存储队列中是否没有历史帧的鸟瞰图特征；

9.根据权利要求8所述的装置，其特征在于，所述鸟瞰图特征获取模块还用于：当存入所述预设图像特征存储队列的当前帧是初始帧时，则将所述初始帧作为历史帧，对所述初始帧的图像特征提取鸟瞰图特征，得到所述历史帧的鸟瞰图特征；当存入所述预设图像特征存储队列的当前帧不是初始帧时，将当前帧的前一帧作为历史帧，对所述前一帧的图像特征提取的鸟瞰图特征，得到所述历史帧的鸟瞰图特征。

10.根据权利要求7所述的装置，其特征在于，所述鸟瞰图特征融合模块具体用于：将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征使用deformabledetr进行融合，其中，当前帧的鸟瞰图特征作为查询向量，历史帧的鸟瞰图特征作为键向量和值向量。

11.根据权利要求7所述的装置，其特征在于，还包括迭代模块，用于在得到更新的历史帧的鸟瞰图特征后，判断当前帧的鸟瞰图特征是否是所述预设图像特征存储队列中最后一帧的鸟瞰图特征，若是则将当前得到的更新的历史帧的鸟瞰图特征用于后续车道线识别，若不是则由所述鸟瞰图特征获取模块继续获取相应的鸟瞰图特征、由所述鸟瞰图特征融合模块进行鸟瞰图特征的融合。

12.一种车辆，其特征在于，包括如权利要求7～11任一项所述的基于时序鸟瞰图的车道线识别装置。

技术总结本发明公开一种基于时序鸟瞰图的车道线识别方法、装置、非暂时性计算机可读存储介质及车辆，其中，方法包括：获取车辆前方预设范围内的图像，并对所述图像进行特征提取，得到多帧图像特征；将提取的多帧图像特征按时序存入预设图像特征存储队列；分别获取所述预设图像特征存储队列中历史帧的鸟瞰图特征和当前帧的鸟瞰图特征；将所述历史帧的鸟瞰图特征和当前帧的鸟瞰图特征进行融合，得到更新的历史帧的鸟瞰图特征；采用所述更新的历史帧的鸟瞰图特征进行车道线识别。本发明通过引入具有时序信息的鸟瞰图特征来对历史帧的鸟瞰图特征进行更新，为改善车道线被遮挡情况下的预测性能提供有力支撑。技术研发人员：胡益珲,牟永强受保护的技术使用者：广州汽车集团股份有限公司技术研发日：技术公布日：2025/1/6