一种基于道路分割的消失点检测方法、系统及终端

本发明涉及图像处理，尤其涉及一种基于道路分割的消失点检测方法、系统、终端及计算机可读存储介质。

背景技术：

1、随着科技的发展，机器人导航出现在大众的视野中。机器人导航是指机器人在未知或者部分未知环境中自主移动到目标未知的过程，是移动机器人相关技术中最为关键的技术分支。

2、目前主流的机器人导航算法为同步地图构建与定位（slam，simultaneouslocalization and mapping），该算法需要提前在任务场景构建相关地图，后续根据机器人在地图中的定位完成相关控制。此类算法在缺乏明显特征或者结构的非结构化道路环境中如开阔地带只能够看到地面的几圈点云，机器人进行匹配时会发生平面随机移动问题，导致导航任务的失败。基于视觉的机器人算法在精准道路分割和消失点检测的前提下则不会发生上述问题，但目前基于视觉的机器人导航算法需要对周围环境进行精确感知，但非结构化道路如乡道等环境道路分割识别困难，道路消失点的检测也颇有难度。

3、所以目前采用神经网络的方式来对道路的消失点进行检测，道路分割网络（ddrnet）通过双分支网络结构分别对图像上下文特征和细节特征进行处理，由于使用深度神经模块对图像特征进行叠加式提取，网络在推理过程中会逐渐丢失来自原图像的细节，导致预测错误，并且也会导致网络最后特征融合模块中细节特征和上下文特征的不准确融合，网络出现了较为严重的过冲现象，即部分区域被其他种类预测结果覆盖的情况。

4、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于道路分割的消失点检测方法、系统、终端及计算机可读存储介质，旨在解决现有技术中对道路消失点检测会出现过冲现象，导致消失点检测准确率低的技术问题。

2、为实现上述目的，本发明提供一种基于道路分割的消失点检测方法，所述基于道路分割的消失点检测方法包括如下步骤：

3、根据用户输入的原始输入图像得到输入特征向量，并根据所述输入特征向量获取第一空间细节特征和第一上下文特征；

4、对所述原始输入图像进行预处理，得到第一图像，并对所述第一图像和所述第一上下文特征进行拓展融合处理，得到最终上下文特征；

5、对所述第一空间细节特征进行细节补充处理，得到最终空间细节特征，并根据所述最终空间细节特征和所述最终上下文特征进行注意力融合处理，得到最终融合特征；

6、对所述最终融合特征进行语义分割处理，得到道路分割图，并根据所述道路分割图和所述最终融合特征进行消失点映射处理，得到消失点预测热力图，根据所述消失点预测热力图得到所述原始输入图像对应的消失点。

7、可选地，所述的基于道路分割的消失点检测方法，其中，所述根据用户输入的原始输入图像得到输入特征向量，并根据所述输入特征向量获取第一空间细节特征和第一上下文特征，具体包括：

8、获取用户输入的原始输入图像，并根据所述原始输入图像进行初步特征提取处理，得到输入特征向量；

9、对所述输入特征向量进行空间特征提取处理，得到第一空间细节特征；

10、根据所述第一空间细节特征进行卷积处理，得到第一上下文特征。

11、可选地，所述的基于道路分割的消失点检测方法，其中，所述对所述原始输入图像进行预处理，得到第一图像，并对所述第一图像和所述第一上下文特征进行拓展融合处理，得到最终上下文特征，具体包括：

12、对所述原始输入图像进行下采样处理和卷积处理，得到第一图像；

13、将所述第一图像和所述第一上下文特征依次进行逐像素相加处理、特征提取处理、批归一化处理和激活处理，得到第二上下文特征；

14、对所述原始输入图像进行下采样处理和卷积处理，得到第二图像；

15、将所述第二图像和所述第二上下文特征依次进行逐像素相加处理、特征提取处理、批归一化处理和激活处理，得到第三上下文特征；

16、对所述原始输入图像进行下采样处理和卷积处理，得到第三图像；

17、将所述第三图像和所述第三上下文特征依次进行逐像素相加处理、特征提取处理和批归一化处理，得到最终上下文特征。

18、可选地，所述的基于道路分割的消失点检测方法，其中，所述对所述第一空间细节特征进行细节补充处理，得到最终空间细节特征，具体包括：

19、根据所述第一上下文特征对所述第一空间细节特征进行细节补充处理，得到第二空间细节特征；

20、根据所述第二上下文特征对所述第二空间细节特征进行细节补充处理，得到最终空间细节特征。

21、可选地，所述的基于道路分割的消失点检测方法，其中，所述根据所述最终空间细节特征和所述最终上下文特征进行注意力融合处理，得到最终融合特征，具体包括：

22、对所述最终上下文特征进行上采样处理，得到对齐上下文特征；

23、分别对所述最终空间细节特征和所述对齐上下文特征进行平均池化处理和最大池化处理，并将处理完成的结果进行叠加，得到叠加特征；

24、根据所述叠加特征进行计算，得到注意力权重，并根据所述注意力权重获得注意力权重补集；

25、将所述最终空间细节特征和所述注意力权重进行相乘处理，将所述对齐上下文特征和所述注意力权重补集进行相乘处理，并将相乘后的最终空间细节特征和对齐上下文特征进行融合处理，得到最终融合特征。

26、可选地，所述的基于道路分割的消失点检测方法，其中，所述对所述最终融合特征进行语义分割处理，得到道路分割图，并根据所述道路分割图和所述最终融合特征进行消失点映射处理，得到消失点预测热力图，具体包括：

27、对所述最终融合特征进行语义分割处理，得到语义分割结果边缘图，并将所述语义分割结果边缘图作为道路分割图；

28、根据边缘检测算法对所述道路分割图进行提取处理，得到所述道路分割图对应的边缘提取图像；

29、对所述边缘提取图像进行卷积处理，并将卷积处理完成的边缘提取图像和所述最终融合特征进行注意力融合处理，得到融合结果图像；

30、对所述融合结果图像进行上采样处理，得到最终的消失点预测热力图。

31、可选地，所述的基于道路分割的消失点检测方法，其中，所述根据所述消失点预测热力图得到所述原始输入图像对应的消失点，具体包括：

32、获取所述消失点预测热力图中表示概率最高的像素点的像素位置；

33、根据所述像素位置在所述原始输入图像中进行匹配处理，得到所述原始输入图像对应的消失点。

34、此外，为实现上述目的，本发明还提供一种基于道路分割的消失点检测系统，其中，所述基于道路分割的消失点检测系统包括：

35、初步特征提取模块，用于根据用户输入的原始输入图像得到输入特征向量，并根据所述输入特征向量获取第一空间细节特征和第一上下文特征；

36、特征拓展融合模块，用于对所述原始输入图像进行预处理，得到第一图像，并对所述第一图像和所述第一上下文特征进行拓展融合处理，得到最终上下文特征；

37、注意力融合模块，用于对所述第一空间细节特征进行细节补充处理，得到最终空间细节特征，并根据所述最终空间细节特征和所述最终上下文特征进行注意力融合处理，得到最终融合特征；

38、结果输出模块，用于对所述最终融合特征进行语义分割处理，得到道路分割图，并根据所述道路分割图和所述最终融合特征进行消失点映射处理，得到消失点预测热力图，根据所述消失点预测热力图得到所述原始输入图像对应的消失点。

39、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于道路分割的消失点检测程序，所述基于道路分割的消失点检测程序被所述处理器执行时实现如上所述的基于道路分割的消失点检测方法的步骤。

40、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于道路分割的消失点检测程序，所述基于道路分割的消失点检测程序被处理器执行时实现如上所述的基于道路分割的消失点检测方法的步骤。

41、本发明中，根据用户输入的原始输入图像得到输入特征向量，并根据所述输入特征向量获取第一空间细节特征和第一上下文特征；对所述原始输入图像进行预处理，得到第一图像，并对所述第一图像和所述第一上下文特征进行拓展融合处理，得到最终上下文特征；对所述第一空间细节特征进行细节补充处理，得到最终空间细节特征，并根据所述最终空间细节特征和所述最终上下文特征进行注意力融合处理，得到最终融合特征；对所述最终融合特征进行语义分割处理，得到道路分割图，并根据所述道路分割图和所述最终融合特征进行消失点映射处理，得到消失点预测热力图，根据所述消失点预测热力图得到所述原始输入图像对应的消失点。本发明引入了注意力特征融合模块，使道路分割网络在更少的参数情况下实现更高分割精度，一定程度上解决了基线中过冲问题，并且也能够使网络更加关注可能包含消失点的区域，从而提高消失点预测准确性。