障碍物的检测方法、检测系统、存储介质和电子设备与流程

本发明涉及智能交通，具体而言，涉及一种障碍物的检测方法、检测系统、存储介质和电子设备。

背景技术：

1、在自动驾驶领域中，障碍物感知的性能和精度影响着自动驾驶的效率和安全。现有的障碍物检测技术可大致分为两类，即基于传统点云处理的障碍物聚类算法和基于神经网络的深度学习算法。但是对于道路环境崎岖不平的情况，容易造成地面障碍误检测引发的无故停车等问题，并且传统的聚类算法无法给出障碍物的类别和航向，不利于车辆的自动驾驶。神经网络的深度学习方法可以输出每个障碍物的类别，但深度学习方法存在数据处理繁杂、计算量庞大和时效性差的问题。

2、因此，如何提出一种根据神经网络模型快速检测出障碍物的方法就成为目前亟待解决的问题。

技术实现思路

1、本发明提出了一种障碍物的检测方法、检测系统、存储介质和电子设备，解决了相关技术中神经网络模型数据处理繁杂、计算量庞大和检测时效性差的问题。

2、为此，本发明的第一个目的在于提供一种障碍物的检测方法。

3、本发明的第二个目的在于提供一种障碍物的检测系统。

4、本发明的第三个目的在于提供一种存储介质。

5、本发明的第四个目的在于提供一种电子介质。

6、有鉴于此，本发明第一方面的技术方案提供了一种障碍物的检测方法，用于车辆，检测方法包括：获取车辆周围环境的点云数据；根据点云数据构建3d模型，并确定点云数据的第一特征数据；沿第一方向将3d模型进行划分得到多个空间子模型；根据每个空间子模型中任意两个点云数据的欧式距离和相对坐标值确定每个点云数据的第二特征数据；将每个空间子模型中的第一特征数据和第二特征数据融合成第三特征数据；将第三特征数据输入至已训练的深度神经网络模型确定出障碍物的检测结果；其中，点云数据的第一特征数据包括直角坐标系下的x轴、y轴和z轴的坐标值以及反射强度，反射强度的数值范围小于等于255，且大于等于0。

7、根据本发明提供的障碍物的检测方法，用于车辆，并且车辆上装有毫米波雷达、激光雷达和摄像机。首先，获取车辆周围环境的点云数据，也即获取车辆周围环境的点云数据。然后，根据点云数据构建3d模型，并确定点云数据的第一特征数据，点云数据的第一特征数据包括直角坐标系下的x轴、y轴和z轴的坐标值以及反射强度，反射强度的数值范围小于等于255，且大于等于0。根据坐标值能够确定障碍物的位置和尺寸，发射强度用于确定障碍物的类型，不同障碍物的反射强度不同，也即不同材料的发射强度均不相同，因此，可以根据反射强度确定障碍物的类型。之后，沿第一方向将3d模型进行划分得到多个空间子模型，第一方向可以是水平方向，也可以是竖直方向，本技术仅从第一方向上对3d模型进行划分，空间子模型内的数据则是二维的。相关技术中将3d模型既沿水平方向划分，又同时沿竖直方向划分，空间子模型内的数据仍然是三维的。因此，本技术相比于现有技术的划分方式，能够减少一个维度，大大降低了数据量的计算。然后，根据每个空间子模型中任意两个点云数据的欧式距离和相对坐标值确定每个点云数据的第二特征数据，也即在每个空间子模型中，根据任意两个点云数据的欧式距离和相对坐标值确定出扩展特征数据，从而在绝对坐标值和反射强度的基础上，增加其他的特征数据，以扩充点云数据，保证后续预测的准确性。将每个空间子模型中的第一特征数据和第二特征数据融合成第三特征数据，也即，将每个空间子模型中可能具有多个第一特征数据和多个第二特征数据，将一个空间子模型中的所有第一特征数据和所有第二特征数据进行融合，能够得到第三特征数据，即广域特征数据，广域特征数据能够代表该空间子模型的点云数据，从而降低了数据的计算量，同时又保证了预测结果的准确性。最后，将第三特征数据输入至已训练的深度神经网络模型确定出障碍物的检测结果。也就是说，本技术仅沿第一方向划分的多个空间子模型，配合后续的数据融合处理，既能够减少一个维度的数据计算量，大大降低了计算量，能够快速输出计算结果，且对算力要求低，同时，广域特征数据能够代表该空间子模型的特点，保证了障碍物检测的准确性。另外，利用已训练的深度神经网络模型确定检测结果，能够确定出障碍物的类型、尺寸、位置和运动状态，因此，本技术解决了相关技术中利用神经网络模型检测障碍物计算量大且时效性差的问题。

8、在一些技术方案中，可选地，车辆包括传感器，根据获取车辆周围环境的点云数据的步骤包括：根据传感器获取车辆周围环境的原始点云数据；对原始点云数据进行裁剪，得到预处理点云数据；对预处理点云数据进行随机采样、均匀采样或聚类采样得到采样数据，并根据采样数据确定点云数据的第一特征数据。

9、在该技术方案中，在获取车辆周围环境的点云数据时，首先，根据传感器获取车辆周围环境的原始点云数据，然后对原始点云数据进行裁剪得到预处理点云数据，可以通过设置裁剪区域阈值，以确定出预处理点云数据，也即原始点云数据可以获取到车辆前方200m以内的点云数据，然后实际应用中并不需要距离较远的点云数据，因此，可以通过裁剪区域(裁剪数据)，删除一些距离远的数据以降低数据处理的难度。最后对预处理点云数据进行随机采样、均匀采样或聚类采样得到采样数据，并根据采样数据确定点云数据的第一特征数据。也就是说，获取的原始点云数据经过裁剪和采样得到第一特征数据，减少了点云数据中聚集点的数量，大大降低了数据的计算量，提高了障碍物检测的时效性。

10、在一些技术方案中，可选地，根据每个空间子模型中任意两个点云数据的欧式距离和相对坐标值确定每个点云数据的第二特征数据的步骤包括：将任意一个空间子模型作为目标空间子模型；计算目标空间子模型中的任意两个点云数据之间的欧式距离和相对坐标值；根据欧式距离和相对坐标值确定目标空间子模型内每个点云数据的第二特征数据；将3d模型内的所有空间子模型作为目标空间子模型，计算出每个空间子模型内的每个点云数据的第二特征数据。

11、在该技术方案中，在确定每个点云数据的第二特征数据时，需要依次计算出每个空间子模型内的点云数据的第二特征数据。具体地，首先，将任意一个空间子模型作为目标空间子模型，然后计算目标空间子模型中的任意两个点云数据之间的欧式距离和相对坐标值，也即计算每个目标空间子模型内的点云数据与该空间子模型内的其他点云数据的欧式距离和相对坐标值，这样就可以得到该点云数据的第二特征数据。依次将3d模型内的所有空间子模型作为目标空间子模型，计算出每个空间子模型内的每个点云数据的第二特征数据，从而获得点云数据的扩展特征数据，有利于提高障碍物预测的准确性。

12、在一些技术方案中，可选地，将每个空间子模型中的第一特征数据和第二特征数据融合成第三特征数据的步骤包括：提取每个空间子模型内的每个点云数据的第一特征数据和第二特征数据；将每个空间子模型内的每个点云数据的第一特征数据和第二特征数据进行融合，得到每个空间子模型的第三特征数据。

13、在该技术方案中，在确定广域特征数据时，提取每个空间子模型内的每个点云数据的第一特征数据和第二特征数据，然后将每个空间子模型内的每个点云数据的第一特征数据和第二特征数据进行融合，得到每个空间子模型的第三特征数据。其中，第一特征数据是点云数据的基础特征数据，包括点云数据的绝对坐标值和反射强度。第二特征数据是点云数据的扩展特征数据，包括空间子模型内的任意相隔点云数据的相对坐标值和欧式距离，将第一特征数据和第二特征数据融合得到的第三特征数据，第三特征数据也即广域特征数据，能够代表该空间子模型内所有点云数据的特征，既保留了该空间子模型内点云数据的特点，又降低了点云数据在深度神经网络模型内的计算量，提高了障碍物检测的时效性。

14、在一些技术方案中，可选地，将第三特征数据输入至已训练的深度神经网络模型确定出障碍物的检测结果的步骤包括：将第三特征数据输入至多个分类器和多个回归器；根据多个分类器确定障碍物的类型；根据障碍物的类型从多个回归器中确定出目标回归器，并根据目标回归器确定障碍物的尺寸、位置和运动状态；其中，每个回归器中卷积层的数量不同。

15、在该技术方案中，将第三特征数据输入至已训练的深度神经网络模型确定出障碍物的检测结果的步骤中，具体地，根据卷积核对第三特征数据进行处理，将卷积处理后的结果输入至多个分类器和多个回归器。根据多个分类器确定障碍物的类型，也即分类器用于检测障碍物的类型，多个分类器能够得到多个分类处理结果，可以从多个结果中选择可信度最高，并且多个分类器也能够提高障碍物判断的准确度。然后根据障碍物的类型从多个回归器中确定出目标回归器，并根据目标回归器确定障碍物的尺寸、位置和运动状态。需要说明的是，多个回归器中的卷积层数量不同，可以根据障碍物的类型判断采用哪一种回归器确定障碍物的尺寸、位置和运动状态。回归器中卷积层数量越多，障碍物的视角就更广阔，根据障碍物的类型对障碍物的尺寸进行初步了解，对于尺寸较大的障碍物，可以采用卷积层数量较多的回归器确定障碍物的检测结果，从而检测到障碍物的全貌；对于尺寸较小的障碍物，可以采用卷积层数量较少的回归器确定检测结果，一方面减少数据的损失量，另一方面能够提高检测的时效性。

16、在一些技术方案中，可选地，传感器的种类至少包括两种，检测方法还包括：获取每个传感器从同一位置回归的障碍物数据，形成多组障碍物的检测数据；从多组障碍物的检测数据中确定出置信度最大的检测数据，作为目标检测数据，并输出目标检测数据。

17、在该技术方案中，传感器的种类至少包括两种，检测方法还包括获取每个传感器从同一位置回归的障碍物数据，形成多组障碍物的检测数据。当多组检测数据存在冲突时，从多组障碍物的检测数据中确定出置信度最大的检测数据，作为目标检测数据。传感器包括毫米波雷达、激光雷达和摄像机中的至少两个，比如：当激光雷达和摄像机在同一位置处，回归的障碍物数据存在冲突时，也即回归的障碍物尺寸或位置不同，此时，从激光雷达和摄像机中确定出置信度较大的一组检测数据作为目标检测数据，提高了多种传感器之间的兼容性。

18、在一些技术方案中，可选地，检测方法还包括：获取传感器获取的历史点云数据，将历史点云数据作为训练样本；根据训练样本训练深度神经网络模型，得到已训练的深度神经网络模型。

19、在该技术方案中，检测方法还包括深度神经网络模型的训练，具体地，获取传感器获取的历史点云数据，将历史点云数据作为训练样本，通过训练样本不断对深度神经网络模型进行训练，训练的次数越多，输出的障碍物检测结果越准确。同时，每一次输出障碍物结果都是对深度神经网络模型的训练，通过不断训练提高障碍物检测的准确性。

20、本发明第二方面的技术方案提供了一种障碍物的检测系统，用于车辆，检测系统包括：获取模块，用于获取车辆周围环境的点云数据；构建模块，用于根据点云数据构建3d模型，并确定点云数据的第一特征数据；划分模块，用于沿第一方向将3d模型进行划分得到多个空间子模型；确定模块，用于根据每个空间子模型中任意两个点云数据的欧式距离和相对坐标值确定每个点云数据的第二特征数据；融合模块，用于将每个空间子模型中的第一特征数据和第二特征数据融合成第三特征数据；确定模块，还用于将第三特征数据输入至已训练的深度神经网络模型确定出障碍物的检测结果；其中，点云数据的第一特征数据包括直角坐标系下的x轴、y轴和z轴的坐标值以及反射强度，反射强度的数值范围小于等于255，且大于等于0。

21、根据本发明提供的障碍物的检测系统，用于车辆，并且车辆上装有毫米波雷达、激光雷达和摄像机。首先，获取模块获取车辆周围环境的点云数据，也即获取车辆周围环境的点云数据。然后，构建模块根据点云数据构建3d模型，并确定点云数据的第一特征数据，点云数据的第一特征数据包括直角坐标系下的x轴、y轴和z轴的坐标值以及反射强度，反射强度的数值范围小于等于255，且大于等于0。根据坐标值能够确定障碍物的位置和尺寸，发射强度用于确定障碍物的类型，不同障碍物的反射强度不同，也即不同材料的发射强度均不相同，因此，可以根据反射强度确定障碍物的类型。之后，划分模块沿第一方向将3d模型进行划分得到多个空间子模型，第一方向可以是水平方向，也可以是竖直方向，本技术仅从第一方向上对3d模型进行划分，空间子模型内的数据则是二维的。而相关技术中将3d模型既沿水平方向划分，又同时沿竖直方向划分，空间子模型内的数据仍然是三维的。因此，本技术相比于现有技术的划分方式，能够减少一个维度，大大降低了数据量的计算。然后，确定模块根据每个空间子模型中任意两个点云数据的欧式距离和相对坐标值确定每个点云数据的第二特征数据，也即在每个空间子模型中，根据任意两个点云数据的欧式距离和相对坐标值确定出扩展特征数据，从而在绝对坐标值和反射强度的基础上，增加其他的特征数据，以扩充点云数据，保证后续预测的准确性。融合模块将每个空间子模型中的第一特征数据和第二特征数据融合成第三特征数据，也即，将每个空间子模型中可能具有多个第一特征数据和多个第二特征数据，将一个空间子模型中的所有第一特征数据和所有第二特征数据进行融合，能够得到第三特征数据，即广域特征数据，广域特征数据能够代表该空间子模型的点云数据，从而降低了数据的计算量，同时又保证了预测结果的准确性。最后，确定模块将第三特征数据输入至已训练的深度神经网络模型确定出障碍物的检测结果。也就是说，本技术仅沿第一方向划分的多个空间子模型，配合后续的数据融合处理，既能够减少一个维度的数据计算量，大大降低了计算量，能够快速输出计算结果，且对算力要求低，同时，广域特征数据能够代表该空间子模型的特点，保证了障碍物检测的准确性。另外，利用已训练的深度神经网络模型确定检测结果，能够确定出障碍物的类型、尺寸、位置和运动状态，因此，本技术解决了相关技术中利用神经网络模型检测障碍物计算量大且时效性差的问题。

22、本发明第三方面的技术方案提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面技术方案提出的障碍物的检测方法的步骤。

23、根据本技术提出的存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面技术方案提出的障碍物的检测方法的步骤。因此，存储介质具有第一方面技术方案提出的障碍物的检测方法的全部有益效果。

24、本发明第四方面的技术方案提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面技术方案提出的障碍物的检测方法的步骤。

25、根据本技术提出的电子设备，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面技术方案提出的障碍物的检测方法的步骤。因此，电子设备具有第一方面技术方案提出的障碍物的检测方法的全部有益效果。

26、本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。