基于双目立体相机的地形环境检测方法、系统和智能终端与流程

技术特征：
1.一种基于双目立体相机的地形环境检测方法，其特征在于，所述方法包括：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；基于所述三维点云信息，拟合路面模型；将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。2.根据权利要求1所述的地形环境检测方法，其特征在于，所述基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：基于双目立体视觉系统成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；以真实世界坐标系下的检测区域为基准，在所述稠密视差图中截取检测区域；根据以下公式，将所述检测区域中的图像信息转换为三维点云信息：其中，b为双目立体视觉成像系统中左相机光心到右相机光心的间距；f为双目立体视觉成像系统中的相机焦距；cx与cy为双目立体视觉成像系统中相机主点的图像坐标；和是所述检测区域内的图像坐标点；disp为图像点坐标为（，）的视差值；x为世界坐标系下三维点距离相机的横向距离；y为世界坐标系下三维点距离相机的纵向距离；z为世界坐标系下三维点距离相机的深度距离。3.根据权利要求1所述的地形环境检测方法，其特征在于，所述路面模型的方程为：其中，是路面法矢量与世界坐标系x坐标轴夹角的方向余弦；是路面法矢量与世界坐标系y坐标轴夹角的方向余弦；是路面法矢量与世界坐标系z坐标轴夹角的方向余弦；d是世界坐标系原点到路面平面的距离。4.根据权利要求1所述的地形环境检测方法，其特征在于，训练所述语义分割模型包括以下步骤：先对道路中所可能出现的地形情况进行分析，并对地形常见场景类别进行分类；对各类场景进行拍摄，得到多张训练图像；针对每张训练图像，在目标区域进行标注得到掩码图像，且不同类型的目标区域对应
不同的标注特征，以得到每张训练图像所唯一对应的掩码图像；基于所有训练图像及其对应的掩码图像进行训练，以得到语义分割模型。5.根据权利要求1所述的地形环境检测方法，其特征在于，根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息，具体包括：根据分割结果判定所述检测区域为非平坦区域，则将三维点投影至俯视平面，并基于分割结果中离散点的高度信息，生成俯视平面上的高程图；基于所述高程图计算车轮区域的高程信息。6.根据权利要求5所述的地形环境检测方法，其特征在于，所述根据分割结果判定所述检测区域为非平坦区域，则将三维点投影至俯视平面，并基于分割结果中离散点的高度信息，生成俯视平面上的高程图，具体包括：根据所述语义分割模型的分割结果，若分割图像像素值为为1、2和5之外的数值，则判定所述检测区域为非平坦区域；根据以下公式，计算非平坦区域中分割图像像素值对应的三维点信息到所述路面模型所在平面的距离：其中，、、和d是路面模型方程的参数；是离散三维点在世界坐标系下的位置信息；h是坐标为的离散三维点距离路面的高度；将三维点投影至俯视平面，并将分割图像像素值不为1、2和5的离散点的高度信息存储在相应位置，以生成俯视平面上的高程图。7.根据权利要求5所述的地形环境检测方法，其特征在于，所述基于所述高程图计算车轮区域的高程信息，具体包括：依据真实世界坐标系下的车轮宽度和两车轮间距，基于双目立体视觉系统成像模型和小孔成像模型完成世界坐标系向图像坐标系的转换，以获得车轮区域在俯视平面上的位置；在俯视平面的高程图上，对车轮区域内的数据进行统计分析，获得车轮区域的高程信息；所述高程信息包括高程变化区域距离相机的距离，以及高程变化区域距离地点的起伏高度。8.一种基于双目立体相机的地形环境检测系统，其特征在于，所述系统包括：视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得
到所述道路场景的稠密视差图；坐标转换单元，用于基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；路面模型获取单元，用于基于所述三维点云信息，拟合路面模型；图形分割单元，用于将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；结果输出单元，用于根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1
‑
7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1
‑
7任一项所述的方法。

技术总结
本发明公开了一种基于双目立体相机的地形环境检测方法、系统和智能终端，所述方法包括：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；基于所述稠密视差图，将检测区域的图像信息转换为世界坐标系下的三维点云信息；基于所述三维点云信息，拟合路面模型；将检测区域的图像输入已训练的语义分割模型，并获得语义分割模型的分割结果；根据所述分割结果获取所述检测区域的地形信息，并将所述地形信息反馈给车辆辅助驾驶系统，以便所述车辆辅助驾驶系统基于所述地形信息发出行驶指令和/或预警信息。其通过监测前方道路的地形情况，提高了自动驾驶车辆的行驶稳定性和舒适性。动驾驶车辆的行驶稳定性和舒适性。动驾驶车辆的行驶稳定性和舒适性。


技术研发人员：裴姗姗 王欣亮 孙钊 肖志鹏
受保护的技术使用者：北京中科慧眼科技有限公司
技术研发日：2021.11.10
技术公布日：2021/12/13