一种基于深度学习的激光点云目标检测识别装置及方法与流程

1.本发明属于汽车智能化的技术领域，具体涉及一种基于深度学习的激光点云目标检测识别装置及方法。


背景技术：

2.随着汽车智能化的快速发展，越来越多的汽车上搭载了自动驾驶系统。自动驾驶系统利用各种传感器感知车辆周围的环境情况，激光雷达不仅测距远、精度高，还能获取三维立体的激光点云数据，激光点云数据包括被测物体的三维结构信息、强度信息、rgb信息以及扫描方向信息等，自动驾驶系统可基于激光点云数据作出更为准确的判断和控制。
3.自动驾驶系统利用激光点云数据时需要进行目标检测识别，激光点云目标检测识别的传统方法主要包括如下流程：分割地面、点云聚类、特征提取和检测识别，如中国专利cn201710188951.x一种基于激光点云的动静态目标物识别方法及装置，这种传统方法存在如下问题：一是分割地面通常依赖于人为设计的特征和规则，如设置一些阈值、表面法线等，泛化能力较差；二是多阶段的处理流程可能产生复合型错误，如聚类和分类并没有建立在一定上下基础上，可能出现目标周围的环境信息缺失；三是对于单帧激光雷达扫描的计算时间和精度的稳定性较差，难以满足自动驾驶的安全性要求。因此，近年来不少基于深度神经网络摸的激光点云目标检测识别方法被提出，如中国专利cn201611187597.0一种车载激光点云目标分类方法和系统，该方案采用深度神经网络模型对激光点云进行自动检测识别，稳定性和准确性较好，但由于激光点云为三维立体数据，其分析处理所需算力较大，时间较长，难以满足自动驾驶对于实时性的要求。
4.因此，提高激光点云目标检测识别的准确性和实时性是目前点云数据处理面临的重要问题，同时也是自动驾驶向更高水平发展的主要瓶颈。


技术实现要素：

5.针对现有技术的上述不足，本发明要解决的技术问题是提供一种基于深度学习的激光点云目标检测识别装置及方法，解决目前激光点云目标检测识别方法存在准确性和实时性较差的问题，取得提高激光点云处理能力和自动驾驶水平的效果。
6.为解决上述技术问题，本发明采用如下技术方案：
7.一种基于深度学习的激光点云目标检测识别装置，包括数据采集模块、数据标注模块、深度学习模块和预测模块；
8.数据采集模块用于采集激光点云数据，数据标注模块用于对激光点云数据进行自动标注，深度学习模块用于对标注后的激光点云数据进行特征提取和用于训练深度神经网络模型，预测模块用于根据提取的特征基于深度神经网络模型进行目标的实时预测。
9.进一步地，数据采集模块还用于采集与激光点云数据时空同步的图像数据。
10.进一步地，数据标注模块还用于对图像数据进行自动标注。
11.本发明还包括一种基于深度学习的激光点云目标检测识别方法，使用如上所述一
种基于深度学习的激光点云目标检测识别装置，包括如下步骤：
12.1)数据采集模块采集激光点云数据；
13.2)数据标注模块对激光点云数据进行自动标注；
14.3)深度学习模块对标注后的激光点云数据进行特征提取；
15.4)预测模块根据提取的特征基于深度神经网络模型进行目标的实时预测。
16.进一步地，步骤1)中数据采集模块还采集与激光点云数据时空同步的图像数据；步骤2)中数据标注模块还对图像数据进行自动标注，并将标注后的图像数据作为参考对标注后的激光点云数据进行校验和修正。
17.进一步地，步骤2)中自动标注的标注类别有行人、自行车、小型车、中型车和大型车。
18.进一步地，步骤3)包括如下子步骤：
19.31)设置点云范围pc，表达式如下：
20.pc＝[x
min
，y
min
，z
min
，x
max
，y
max
，z
max
]
[0021]
其中，x
min
和x
max
分别表示一帧激光点云数据在三维空间中x方向的最小值和最大值，y
min
和y
max
分别表示一帧激光点云数据在三维空间中y方向的最小值和最大值，z
min
和z
max
分别表示一帧激光点云数据在三维空间中z方向的最小值和最大值；
[0022]
32)设置柱子的尺寸pi，表达式如下：
[0023]
pi＝[x
l
，y
l
，z
l
]
[0024]
其中，x
l
、y
l
和z
l
分别表示柱子在三维空间中x、y和z方向的尺寸，z1＝z
max-z
min
；
[0025]
33)计算柱子的数量，表达式如下：
[0026]h×
w＝[[(x
max-x
min
)/xl]，[(y
max-y
min
)/y
l
]]
[0027]
其中，h表示x方向上柱子的数量，w表示y方向上柱子的数量。
[0028]
34)将激光点云数据中的点划分到对应的柱子中，并计算每个柱子的中心点；
[0029]
35)获取柱子中每个点的特征构成特征集合，表达式如下：
[0030]
t＝(x，y，z，r，xc，yc，zc，x
p
，y
p
)
[0031]
其中，x、y和z为点在三维空间中x、y和z三个方向的坐标值，r为点的反射强度，xc、yc和zc分别表示点与所属柱子中所有点在x、y和z三个方向的差值的平均值，x
p
和y
p
分别表示点与所属柱子的中心点在x和y两个方向的差值；
[0032]
36)基于特征集合t将一帧激光点云数据的特征用为n
×
9维的特征向量a表示，其中，n为激光点云数据中点的数量，9表示特征对应点的维度；
[0033]
37)对特征向量a进行稀疏化处理，生成(h
×
w)
×
n维的稀疏向量b。
[0034]
相比现有技术，本发明的有益效果如下：
[0035]
1、本发明所述一种基于深度学习的激光点云目标检测识别方法中，先对单帧点云数据进行特征提取，然后将提取的特征进行稀疏化处理，转化为可以供rpn卷积神经网络计算的数据结构，将用于图像领域的卷积神经网络移植到三维的激光点云领域，从而提高对激光点云数据中目标检测识别的准确性。
[0036]
2、本发明所述一种基于深度学习的激光点云目标检测识别方法中，对激光点云数据进行标注时，采用自动标注与人工校准相结合的方式，同时人工校准时参考标注后的图像数据，可有效提升激光点云数据标注的准确度和效率。
附图说明
[0037]
图1为实施例的一种基于深度学习的激光点云目标检测识别装置的组成框图；
[0038]
图2为实施例的一种基于深度学习的激光点云目标检测识别方法的流程图；
[0039]
图3为实施例所述对标注后的激光点云数据进行特征提取的流程图。
具体实施方式
[0040]
下面结合附图对本发明的具体实施方式作进一步的详细说明。
[0041]
实施例：
[0042]
请参见图1，一种基于深度学习的激光点云目标检测识别装置，包括数据采集模块、数据标注模块、深度学习模块和预测模块；
[0043]
数据采集模块用于采集激光点云数据，数据标注模块用于对激光点云数据进行自动标注，深度学习模块用于对标注后的激光点云数据进行特征提取和用于训练深度神经网络模型，预测模块用于根据提取的特征基于深度神经网络模型进行目标的实时预测。
[0044]
本实施例中，数据采集模块还用于采集与激光点云数据时空同步的图像数据，同时数据采集模块还具备数据解析和格式转换的能力，以满足数据标注模块对于激光点云数据和图像数据的要求；数据标注模块还用于对图像数据进行自动标注；深度学习模块采用gpu运算以提高训练速度，同时还部署有深度学习框架pytorch的深度学习服务器来训练深度神经网络模型。
[0045]
请参见图2，本发明还包括一种基于深度学习的激光点云目标检测识别方法，使用如上所述一种基于深度学习的激光点云目标检测识别装置，包括如下步骤：
[0046]
1)数据采集模块采集激光点云数据；
[0047]
2)数据标注模块对激光点云数据进行自动标注；自动标注的标注类别有行人、自行车、小型车、中型车和大型车；
[0048]
3)深度学习模块对标注后的激光点云数据进行特征提取；
[0049]
4)预测模块根据提取的特征基于深度神经网络模型进行目标的实时预测。
[0050]
本实施例中，步骤1)中数据采集模块还采集与激光点云数据时空同步的图像数据；步骤2)中数据标注模块还对图像数据进行自动标注，并将标注后的图像数据作为参考对标注后的激光点云数据进行校验和修正；
[0051]
这是由于对激光点云数据的自动标注技术还未完全成熟，标注容易出现误差，因此需要进行人工校验，又由于激光点云数据的稀疏性和不规则性，人工直接校验较为困难，因此需要将标注后的图像数据作为参考，将激光点云数据中标注不合格的位置进行重新标注，从而提高标注的准确性。
[0052]
请参见图3，步骤3)对标注后的激光点云数据进行特征提取包括如下子步骤：
[0053]
31)设置点云范围pc，表达式如下：
[0054]
pc＝[x
min
，y
min
，z
min
，x
max
，y
max
，z
max
]
[0055]
其中，x
min
和x
max
分别表示一帧激光点云数据在三维空间中x方向的最小值和最大值，y
min
和y
max
分别表示一帧激光点云数据在三维空间中y方向的最小值和最大值，z
min
和z
max
分别表示一帧激光点云数据在三维空间中z方向的最小值和最大值；
[0056]
32)设置柱子(pillar)的尺寸pi，表达式如下：
[0057]
pi＝[x
l
，y
l
，z
l
]
[0058]
其中，x
l
、y
l
和z
l
分别表示柱子在三维空间中x、y和z方向的尺寸，z1＝z
max-z
min
；
[0059]
33)计算柱子的数量，表达式如下：
[0060]h×
w＝[[(x
max-x
min
)/xl]，[(y
max-y
min
)/y
l
]]
[0061]
其中，h表示x方向上柱子的数量，w表示y方向上柱子的数量。
[0062]
34)将激光点云数据中的点划分到对应的柱子中，并计算每个柱子的中心点；
[0063]
35)获取柱子中每个点的特征构成特征集合，表达式如下：
[0064]
t＝(x，y，z，r，xc，yc，zc，x
p
，y
p
)
[0065]
其中，x、y和z为点在三维空间中x、y和z三个方向的坐标值，r为点的反射强度(intensity)，xc、yc和zc分别表示点与所属柱子中所有点在x、y和z三个方向的差值的平均值，x
p
和y
p
分别表示点与所属柱子的中心点在x和y两个方向的差值；
[0066]
36)基于特征集合t将一帧激光点云数据的特征用为n
×
9维的特征向量a表示，其中，n为激光点云数据中点的数量，9表示特征对应点的维度；
[0067]
37)对特征向量a进行稀疏化处理，生成(h
×
w)
×
n维的稀疏向量b。
[0068]
38)对稀疏向量b及对应的标注使用rpn卷积神经网络进行目标检测和识别。
[0069]
由于激光点云数据表示的是三维空间的信息，目标检测和识别较为困难，二维卷积对于分类和检测的效果较好，因此在特征提取时将激光点云数据变换成满足二维卷积的数据，从而提高对激光点云数据中目标检测识别的准确性。
[0070]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。