一种基于深度感知的新能源汽车目标检测方法

本发明属于汽车目标检测，尤其涉及一种基于深度感知的新能源汽车目标检测方法。

背景技术：

1、新能源汽车发展的当下，由于续航性能的不断提升，车身搭载的智能设备越来越多。其中，安全性设备引起了新能源汽车开发行业的重视。如何使得安全设备快速实时的处理道路紧急事件成为了发展的主流。然而，新能源汽车的安全性保护受到多种因素的影响，主要来源于复杂的路况，道路上的车辆行人以及特殊的交通场景，这对新能源汽车安全性的发展以及安全性设备的研究带来了巨大的挑战。

2、在这样复杂多变的场景下，人工智能技术，尤其是机器学习和深度学习技术，因为其复杂数据处理能力的强大特点，现如今被广泛搭载到新能源汽车的安全设备系统上。在独特的训练数据和训练模型下，从复杂的历史数据进行深度分析，完善一套训练模型，帮助开发行业制定更加经济有效的方案，越发的引起关注。其中，目标检测技术是安全性保护的第一道屏障，快速有效的识别路面突发的，复杂的场景信息，为后续的安全预案，如防撞检测，紧急避险预留出更多的时间，是减少交通事故，避免人员伤亡的关键一环。

3、现有技术中，一种自动驾驶场景中目标检测的方法和系统，提出了采集自动驾驶场景中人脸和车牌在不同环境下各个视角的照片，并进行标注，生成专有数据集；搭建yolov5模型结构，然后利用该专有数据集对预训练模型进行训练，并根据训练结果对预训练模型进行超参数微调，从而得到目标检测模型；最后，利用该目标检测模型对待检测图像进行识别分类，以获取准确的检测目标。

4、一种用于自动驾驶的目标检测方法、装置及设备，提出了获取待检测图像；将待检测图像输入预设目标检测模型中，得到预设目标检测模型输出的检测结果；利用预设目标分类模型对检测结果中的小目标物体所在的图像区域进行分类，得到小目标物体的分类结果；利用分类结果对检测结果中小目标物体的类别信息进行校正，得到经分类结果校正后的检测结果。

5、一种基于图像与激光数据的自动驾驶场景下的目标检测系统，包括激光雷达数据和相机数据，提出了激光雷达数据的输出端连接有传统点云处理算法模块和点云处理神经网络，两类数据的输出端连接有融合模块。融合模块的输出端连接有多传感器融合模块。

6、上述现有技术存在以下缺陷：

7、三维目标检测在自动驾驶中取得了良好的检测性能，然而，它需要大量的计算资源，这阻碍了它的实际应用。二维目标检测的计算负担较小，但缺乏深度嵌入的空间和几何信息，在现实场景多变复杂的情况下，检测精度对于安全性的影响需要评估。普遍的多阶段目标检测技术对于资源时间的消耗难以承担，在降低交通成本和提高车辆效率方面的应用前景也应当成为技术开发的重要考量。

8、针对上述技术问题，亟需提出一种基于深度感知的新能源汽车目标检测方法。

技术实现思路

1、为解决上述技术问题，本发明提出了一种基于深度感知的新能源汽车目标检测方法，用于提升新能源汽车目标检测的精度，达到提升新能源汽车安全性的目的，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种基于深度感知的新能源汽车目标检测方法，包括以下步骤：

3、获取新能源汽车的rgb图像和深度图像；

4、构建高效下采样模块、特征提取模块和特征融合模块，基于一个高效下采样模块、三个连续的特征提取模块以及一个特征融合模块构建骨干网络；

5、构建轻量残差模块，基于三个连续的轻量残差模块以及特征金字塔网络构建颈部网络；

6、构建检测头，基于骨干网络、颈部网络和检测头，构建深度感知检测模型；

7、将rgb图像和深度图像输入所述深度感知检测模型中，进行特征提取、特征融合、特征增强和特征分类的操作，实现目标检测。

8、可选地，获取rgb图像和深度图像的过程包括：在汽车顶部和周围的任一位置安装激光雷达，基于激光雷达获取汽车周围环境的3d点云数据，并对所述3d点云数据进行处理，获得对应的深度图像；在汽车的前后以及侧面安装摄像头，基于摄像头获取汽车周围环境的rgb图像。

9、可选地，所述高效下采样的结构包括一个4×4的卷积层和两个3×3的卷积层。

10、可选地，基于三个连续的特征提取模块提取特征的过程包括：输入下采样卷积操作后的图像数据，基于左分支对输入的图像数据执行1×1标准卷积和5×5的深度感知卷积操作，基于右分支对输入的图像数据执行深度感知平均池化和1×1标准卷积操作，然后将两个分支的输出连接起来，进行通道打乱操作，最后对通道打乱后的输出特征执行1×1标准卷积操作，从而获取图像数据中不同尺度的特征；所述图像数据包括rgb图像和深度图像。

11、可选地，基于特征融合模块进行特征融合的过程包括：将特征提取模块的输出作为输入，采用两个融合单元以成对的方式进行特征融合。

12、可选地，基于轻量残差模块进行特征增强的过程包括：输入特征融合模块的输出特征，基于左分支执行1×1标准卷积和5×5深度感知卷积操作，并对1×1标准卷积和5×5深度感知卷积的输出特征进行相加融合，基于右分支执行1×1标准卷积操作，将左分支和右分支的输出特征进行连接和通道打乱的操作，最后基于1×1标准卷积进行特征增强。

13、可选地，基于检测头进行特征分类的过程包括：基于对象是否存在的预测结果、边界框的预测位置以及对象类别的预测概率构建输出通道，基于检测头对输出通道进行标准卷积操作，输出目标检测结果。

14、可选地，深度感知卷积的公式表述如下：

15、，

16、，

17、其中，表示当前卷积窗口的中心位置，表示当前卷积窗口内的特定位置，w表示卷积核的权重，x表示卷积核，和表示位置，表示深度相似性，表示常数，表示深度图。

18、可选地，深度感知平均池化的公式表述如下：

19、。

20、可选地，深度感知检测模型采用的整体损失函数如下式所示：

21、，

22、其中，，，和分别表示置信度损失、分类损失、边界框回归损失和深度引导损失，、、和分别表示平衡置信度损失、分类损失、边界框回归损失和深度引导损失的超参数。

23、与现有技术相比，本发明具有如下优点和技术效果：

24、现有新能源汽车搭载的目标检测装置往往单独基于二维数据或者三维数据，基于二维数据的方法因为其检测精度会带来一定的风险，而基于三维数据的方法需要较大的资源开销。本发明利用深度信息来帮助二维目标检测，并提出了一种有效的基于深度感知学习的目标检测方法，设计了下采样模块对输入图像进行下采样，解决特征提取的资源开销，达到缩短处理时间的目的；同时利用深度感知卷积和深度感知平均池化来增强对三维空间感知，使设计的检测头在框架下能够学习空间感知特征；进一步提出轻量级残差模块，然后采用特征金字塔网络来增强信息，使得轻量级残差块在使用较少的计算和参数的同时实现了高性能；最后提出了一种新的深度引导损失函数，显著提高了深度感知检测模型的定位能力。