基于双目立体相机的地形环境检测方法、系统和智能终端与流程

1.本发明涉及自动驾驶辅助技术领域，具体涉及一种基于双目立体相机的地形环境检测方法、系统和智能终端。


背景技术：

2.随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学习技术的发展，基于深度学习的识别方法在无人驾驶、安防以及工业检测领域都有较多的应用。在自动驾驶过程中，如何监测前方道路的地形情况，判断其是否存在高低起伏以及起伏高度，从而根据实时检测到前方道路环境，反馈给汽车控制系统使其做出相关处理，进而提高驾驶的舒适性和安全性，就成为本领域技术人员亟待解决的问题。


技术实现要素：

3.为此，本发明实施例提供一种基于双目立体相机的地形环境检测方法、系统和智能终端，以期能够监测前方道路的地形情况，判断其是否存在高低起伏以及起伏高度，从而根据实时检测到前方道路环境，反馈给汽车控制系统使其做出相关处理。
4.为了实现上述目的，本发明实施例提供如下技术方案：一种基于双目立体相机的地形环境检测方法，所述方法包括：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；基于所述三维点云信息，拟合路面模型；将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。
5.进一步地，所述基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；以真实世界坐标系下的检测区域为基准，在所述稠密视差图中截取检测区域；根据以下公式，将所述检测区域中的图像信息转换为三维点云信息：
其中，b为双目立体视觉成像系统中左相机光心到右相机光心的间距；f为双目立体视觉成像系统中的相机焦距；cx与cy为双目立体视觉成像系统中相机主点的图像坐标；和是所述检测区域内的图像坐标点；disp为图像点坐标为（，）的视差值；x为世界坐标系下三维点距离相机的横向距离；y为世界坐标系下三维点距离相机的纵向距离；z为世界坐标系下三维点距离相机的深度距离。
6.进一步地，所述路面模型的方程为：其中，是路面法矢量与世界坐标系x坐标轴夹角的方向余弦；是路面法矢量与世界坐标系y坐标轴夹角的方向余弦；是路面法矢量与世界坐标系z坐标轴夹角的方向余弦；d是世界坐标系原点到路面平面的距离。
7.进一步地，训练所述语义分割模型包括以下步骤：先对道路中所可能出现的地形情况进行分析，并对地形常见场景类别进行分类；对各类场景进行拍摄，得到多张训练图像；针对每张训练图像，在目标区域进行标注得到掩码图像，且不同类型的目标区域对应不同的标注特征，以得到每张训练图像所唯一对应的掩码图像；基于所有训练图像及其对应的掩码图像进行训练，以得到语义分割模型。
8.进一步地，根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息，具体包括：根据分割结果判定所述检测区域为非平坦区域，则将三维点投影至俯视平面，并基于分割结果中离散点的高度信息，生成俯视平面上的高程图；基于所述高程图计算车轮区域的高程信息。
9.进一步地，所述根据分割结果判定所述检测区域为非平坦区域，则将三维点投影至俯视平面，并基于分割结果中离散点的高度信息，生成俯视平面上的高程图，具体包括：根据所述语义分割模型的分割结果，若分割图像像素值为为1、2和5之外的数值，则判定所述检测区域为非平坦区域；根据以下公式，计算非平坦区域中分割图像像素值对应的三维点信息到所述路面模型所在平面的距离：
其中， 、、和d是路面模型方程的参数；是离散三维点在世界坐标系下的位置信息； h是坐标为的离散三维点距离路面的高度；将三维点投影至俯视平面，并将分割图像像素值不为1、2和5的离散点的高度信息存储在相应位置，以生成俯视平面上的高程图。
10.进一步地，所述基于所述高程图计算车轮区域的高程信息，具体包括：依据真实世界坐标系下的车轮宽度和两车轮间距，基于双目立体视觉系统成像模型和小孔成像模型完成世界坐标系向图像坐标系的转换，以获得车轮区域在俯视平面上的位置；在俯视平面的高程图上，对车轮区域内的数据进行统计分析，获得车轮区域的高程信息；所述高程信息包括高程变化区域距离相机的距离，以及高程变化区域距离地点的起伏高度。
11.本发明还提供一种基于双目立体相机的地形环境检测系统，所述系统包括：视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；坐标转换单元，用于基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；路面模型获取单元，用于基于所述三维点云信息，拟合路面模型；图形分割单元，用于将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；结果输出单元，用于根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。
12.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
13.本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
14.本发明所提供的基于双目立体相机的地形环境检测方法、系统和智能终端，通过
基于稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；基于所述三维点云信息，拟合路面模型；将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。这样，通过分割模型得到不同的地形信息，并把地形信息及时反馈给车辆辅助驾驶系统，以便车辆辅助驾驶系统根据各种地形信息的特点制定相应的策略，为辅助驾驶提供准确的数据支撑。通过监测前方道路的地形情况，判断其是否存在高低起伏以及起伏高度，从而根据实时检测到的前方道路环境，反馈给汽车控制系统使其做出相关处理，提高了自动驾驶车辆的行驶稳定性和舒适性。
附图说明
15.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
16.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
17.图1为本发明所提供的基于双目立体相机的地形环境检测方法一种具体实施方式的流程图；图2为本发明所提供的基于双目立体相机的地形环境检测系统一种具体实施方式的结构框图。
具体实施方式
18.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明所提供的地形环境检测方法能够实时检测到前方道路环境，可通过车辆辅助驾驶系统做出相关处理，优化辅助驾驶的道路感知功能，提高驾驶的舒适性和安全性。
20.在一种具体实施方式中，如图1所示，本发明所提供的基于双目立体相机的地形环境检测方法包括以下步骤：s1：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
21.也就是说，通过双目立体视觉传感器，获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
22.在该具体实施方式中，以双目立体相机坐标系为参考系，沿左目相机光轴方向是z轴距离方向，双目立相机基线方向为x轴横向方向，竖直方向为y轴纵向方向。
23.s2：基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息。具体地，以真实世界坐标系下的检测区域为基准截取在图像中的检测区域，将检测区域的图像区域转换为世界坐标系下的三维点云信息pts；图像区域信息依据双目立体视觉系统成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。
24.为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，步骤s2具体包括以下步骤：s21：基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；s22：以真实世界坐标系下的检测区域为基准，在所述稠密视差图中截取检测区域；s23：根据以下公式，将所述检测区域中的图像信息转换为三维点云信息：其中，b为双目立体视觉成像系统中左相机光心到右相机光心的间距；f为双目立体视觉成像系统中的相机焦距；cx与cy为双目立体视觉成像系统中相机主点的图像坐标；和是所述检测区域内的图像坐标点；disp为图像点坐标为（，）的视差值；x为世界坐标系下三维点距离相机的横向距离；y为世界坐标系下三维点距离相机的纵向距离；z为世界坐标系下三维点距离相机的深度距离。
25.s3：基于所述三维点云信息，拟合路面模型。
26.具体地，所述路面模型的方程为：其中，是路面法矢量与世界坐标系x坐标轴夹角的方向余弦；是路面法矢量与世界坐标系y坐标轴夹角的方向余弦；是路面法矢量与世界坐标系z坐标轴夹角的方向余弦；d是世界坐标系原点到路面平面的距离。
27.为获得准确的语义分割模型，可以先对道路中所可能出现的地形情况进行分析，对地形常见场景类别进行分类，然后对各类场景进行拍摄，得到多张训练图像，之后，针对每张训练图像，在感兴趣区域进行标注得到掩码图像。
28.具体地，基于前述准确性要求，训练所述语义分割模型包括以下步骤：s31：先对道路中所可能出现的地形情况进行分析，并对地形常见场景类别进行分类；s32：对各类场景进行拍摄，得到多张训练图像；
s33：针对每张训练图像，在目标区域进行标注得到掩码图像，且不同类型的目标区域对应不同的标注特征，以得到每张训练图像所唯一对应的掩码图像；s34：基于所有训练图像及其对应的掩码图像进行训练，以得到语义分割模型。
29.例如，在一个具体使用场景中，桥梁接缝的像素值标注为0，普通路面的像素值标注为1，路面标识的像素值标注为2，减速带的像素值标注为3，井盖的像素值标注为4，积水的像素值标注为5，由此可得到每张训练图像所唯一对应的掩码图像。
30.s4：将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果。
31.其中，根据路面标识识别结果，在辅助驾驶系统中，将当前路面信息及时反馈给系统和驾驶人员，提前做好行车判断，提高驾驶安全性。例如，传统双目系统，在积水场景，由倒影成像导致的视差错误问题无法解决，采用语义分割模型对积水场景的识别，可以有效修正积水处的错误检测结果，除此之外，对积水场景的实时感知，可为车辆行车提供实时的预警信息，保障道路安全运营和驾驶者人身安全。
32.s5：根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。
33.也就是说，对语义分割模型的分割结果，不同像素值，采取不同处理：具体的：分割图像像素值为1、2和5的，认为地形平坦，不计算高度起伏。分割图像像素值为其他情况时，计算该像素值对应的三维点信息到上述路面模型所在平面的距离。
34.因此，步骤s5具体包括：s51：根据分割结果判定所述检测区域为非平坦区域，则将三维点投影至俯视平面，并基于分割结果中离散点的高度信息，生成俯视平面上的高程图；具体地，根据所述语义分割模型的分割结果，若分割图像像素值为为1、2和5之外的数值，则判定所述检测区域为非平坦区域；根据以下公式，计算非平坦区域中分割图像像素值对应的三维点信息到所述路面模型所在平面的距离：其中， 、、和d是路面模型方程的参数；是离散三维点在世界坐标系下的位置信息；h是坐标为的离散三维点距离路面的高度；将三维点投影至俯视平面（即xoz平面），并将分割图像像素值不为1、2和5的离散点的高度信息存储在相应位置，以生成俯视平面上的高程图。
35.s52：基于所述高程图计算车轮区域的高程信息。
36.具体包括：s521：依据真实世界坐标系下的车轮宽度和两车轮间距，基于双目立体视觉系统成像模型和小孔成像模型完成世界坐标系向图像坐标系的转换，以获得车轮区域在俯视平面上的位置；s522：在俯视平面的高程图上，对车轮区域内的数据进行统计分析，获得车轮区域的高程信息；s523：所述高程信息包括高程变化区域距离相机的距离，以及高程变化区域距离地点的起伏高度。
37.在上述具体实施方式中，本发明所提供的基于双目立体相机的地形环境检测方法，通过基于稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；基于所述三维点云信息，拟合路面模型；将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。这样，通过分割模型得到不同的地形信息，并把地形信息及时反馈给车辆辅助驾驶系统，以便车辆辅助驾驶系统根据各种地形信息的特点制定相应的策略，为辅助驾驶提供准确的数据支撑。通过监测前方道路的地形情况，判断其是否存在高低起伏以及起伏高度，从而根据实时检测到的前方道路环境，反馈给汽车控制系统使其做出相关处理，提高了自动驾驶车辆的行驶稳定性和舒适性。
38.除了上述方法，本发明还提供一种基于双目立体相机的地形环境检测系统，如图2所示，所述系统包括：视差图获取单元100，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；坐标转换单元200，用于基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，坐标转换单元200具体用于：基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；以真实世界坐标系下的检测区域为基准，在所述稠密视差图中截取检测区域；根据以下公式，将所述检测区域中的图像信息转换为三维点云信息：其中，b为双目立体视觉成像系统中左相机光心到右相机光心的间距；f为双目立体视觉成像系统中的相机焦距；cx与cy为双目立体视觉成像系统中相机主点的图像坐标；和是所述检测区域内的图像坐标点；
disp为图像点坐标为（，）的视差值；x为世界坐标系下三维点距离相机的横向距离；y为世界坐标系下三维点距离相机的纵向距离；z为世界坐标系下三维点距离相机的深度距离。
39.路面模型获取单元300，用于基于所述三维点云信息，拟合路面模型。
40.所述路面模型的方程为：其中，是路面法矢量与世界坐标系x坐标轴夹角的方向余弦；是路面法矢量与世界坐标系y坐标轴夹角的方向余弦；是路面法矢量与世界坐标系z坐标轴夹角的方向余弦；d是世界坐标系原点到路面平面的距离。
41.为获得准确的语义分割模型，可以先对道路中所可能出现的地形情况进行分析，对地形常见场景类别进行分类，然后对各类场景进行拍摄，得到多张训练图像，之后，针对每张训练图像，在感兴趣区域进行标注得到掩码图像。
42.具体地，路面模型获取单元300具体用于：先对道路中所可能出现的地形情况进行分析，并对地形常见场景类别进行分类；对各类场景进行拍摄，得到多张训练图像；针对每张训练图像，在目标区域进行标注得到掩码图像，且不同类型的目标区域对应不同的标注特征，以得到每张训练图像所唯一对应的掩码图像；基于所有训练图像及其对应的掩码图像进行训练，以得到语义分割模型。
43.例如，在一个具体使用场景中，桥梁接缝的像素值标注为0，普通路面的像素值标注为1，路面标识的像素值标注为2，减速带的像素值标注为3，井盖的像素值标注为4，积水的像素值标注为5，由此可得到每张训练图像所唯一对应的掩码图像。
44.图形分割单元400，用于将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；其中，根据路面标识识别结果，在辅助驾驶系统中，将当前路面信息及时反馈给系统和驾驶人员，提前做好行车判断，提高驾驶安全性。例如，传统双目系统，在积水场景，由倒影成像导致的视差错误问题无法解决，采用语义分割模型对积水场景的识别，可以有效修正积水处的错误检测结果，除此之外，对积水场景的实时感知，可为车辆行车提供实时的预警信息，保障道路安全运营和驾驶者人身安全。
45.结果输出单元500，用于根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。
46.也就是说，对语义分割模型的分割结果，不同像素值，采取不同处理：具体的：分割图像像素值为1、2和5的，认为地形平坦，不计算高度起伏。分割图像像素值为其他情况时，计算该像素值对应的三维点信息到上述路面模型所在平面的距离。
47.因此，结果输出单元500具体用于：
根据分割结果判定所述检测区域为非平坦区域，则将三维点投影至俯视平面，并基于分割结果中离散点的高度信息，生成俯视平面上的高程图；具体地，根据所述语义分割模型的分割结果，若分割图像像素值为为1、2和5之外的数值，则判定所述检测区域为非平坦区域；根据以下公式，计算非平坦区域中分割图像像素值对应的三维点信息到所述路面模型所在平面的距离：其中， 、、和d是路面模型方程的参数；是离散三维点在世界坐标系下的位置信息；h是坐标为的离散三维点距离路面的高度；将三维点投影至俯视平面（即xoz平面），并将分割图像像素值不为1、2和5的离散点的高度信息存储在相应位置，以生成俯视平面上的高程图。
48.基于所述高程图计算车轮区域的高程信息。
49.结果输出单元500具体用于：依据真实世界坐标系下的车轮宽度和两车轮间距，基于双目立体视觉系统成像模型和小孔成像模型完成世界坐标系向图像坐标系的转换，以获得车轮区域在俯视平面上的位置；在俯视平面的高程图上，对车轮区域内的数据进行统计分析，获得车轮区域的高程信息；所述高程信息包括高程变化区域距离相机的距离，以及高程变化区域距离地点的起伏高度。
50.在上述具体实施方式中，本发明所提供的基于双目立体相机的地形环境检测系统，通过基于稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；基于所述三维点云信息，拟合路面模型；将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。这样，通过分割模型得到不同的地形信息，并把地形信息及时反馈给车辆辅助驾驶系统，以便车辆辅助驾驶系统根据各种地形信息的特点制定相应的策略，为辅助驾驶提供准确的数据支撑。通过监测前方道路的地形情况，判断其是否存在高低起伏以及起伏高度，从而根据实时检测到的前方道路环境，反馈给汽车控制系统使其做出相关处理，提高了自动驾驶车辆的行驶稳定性和舒适性。
51.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储
器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
52.与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
53.在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（digital signal processor，简称dsp）、专用集成电路（application specific工ntegrated circuit，简称asic）、现场可编程门阵列（fieldprogrammable gate array，简称fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
54.可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
55.存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
56.其中，非易失性存储器可以是只读存储器（read
‑
only memory，简称rom）、可编程只读存储器（programmable rom，简称prom）、可擦除可编程只读存储器（erasable prom，简称eprom）、电可擦除可编程只读存储器（electrically eprom，简称eeprom）或闪存。
57.易失性存储器可以是随机存取存储器（random access memory，简称ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（static ram，简称sram）、动态随机存取存储器（dynamic ram，简称dram）、同步动态随机存取存储器（synchronous dram，简称sdram）、双倍数据速率同步动态随机存取存储器（double data ratesdram，简称ddrsdram）、增强型同步动态随机存取存储器（enhanced sdram，简称esdram）、同步连接动态随机存取存储器（synchlink dram，简称sldram）和直接内存总线随机存取存储器（directrambus ram，简称drram）。
58.本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
59.本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
60.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本
发明的保护范围之内。