一种基于轻量化神经网络的目标检测及跟踪方法与流程

本发明涉及先进辅助驾驶，尤其涉及一种基于轻量化神经网络的目标检测及跟踪方法。

背景技术：

1、随着现代社会道路交通的迅猛发展，汽车的保有量在不断增长，在为人们生活提供便利的同时也带来了巨大的交通安全隐患，尤其在夜间、大雾等能见度较低的恶劣条件下发生的交通事故占到了相当大的比重。因此提升汽车夜间驾驶的安全性能也尤为重要。现今大部分的车辆都具备辅助驾驶系统，一般采用摄像头、激光雷达、超声波雷达等传感器感知车身周围环境和道路前方路况，帮助驾驶员避开障碍物，提升驾驶员的主动安全性。这些辅助驾驶系统通常在白天有良好的辅助效果，在夜间的效果却大大减弱，车辆的夜间事故依然频发。因此研究夜间的辅助驾驶系统迫在眉睫。

2、辅助驾驶系统常用的视觉传感器分为可见光摄像头和红外摄像头。可见光摄像头的成像原理是接收外界反射的白光光源成像，在光照充足的条件下能清晰显示目标物体的形状大小等外观特征。但若光照条件差，可见光摄像头就难以发挥作用。红外摄像头分为近红外线摄像头和远红外线摄像头，近红外摄像头通过发射红外线光源到目标上，然后通过捕捉反射的红外线光源成像，它的有效距离比较短；由于自然界所有温度在绝对零度以上的物体都会辐射红外线(即热辐射)，近红外线会被大气、烟云等吸收，而远红外线则能透过，因此远红外摄像头即红外热成像摄像头可以测定目标和背景之间的红外线差映射得到红外图像，也就是热图像。在光照不足、强光眩光、高速团雾、风沙扬尘等长尾场景中，红外热成像摄像头均可清晰成像，而且普通民用的红外热成像摄像头就能探测到数百米远的场景，很适合应用于夜视辅助驾驶系统。但与正常光照下的可见光成像相比，红外图像成像的目标边缘模糊、纹理细节信息丢失，远距离的目标可能会难以凭肉眼分辨。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种基于轻量化神经网络的目标检测及跟踪方法，用以解决现有技术中红外图像成像的目标边缘模糊，纹理细节信息丢失，远距离的目标可能会难以凭肉眼分辨的问题。

2、一方面，本发明实施例提供了一种基于轻量化神经网络的目标检测及跟踪方法，所述方法包括如下步骤：

3、获取目标所在区域的连续多帧红外图像；

4、构建基于轻量化神经网络的目标检测模型，并对其训练得到训练好的目标检测模型；

5、依次将多帧红外图像输入至训练好的目标检测模型中，并对目标检测模型的输出进行张量解析，得到目标的类别和位置；

6、通过卡尔曼滤波算法对目标位置进行跟踪，卡尔曼滤波算法得到的目标位置与目标检测模型输出的目标位置加权得到一个最佳位置作为目标的最终位置。

7、进一步的，所述卡尔曼滤波算法对目标位置进行跟踪，具体包括：所述卡尔曼滤波预测目标位置，估算本帧目标的位置；将上一帧的目标位置与本帧目标检测模型检测出的目标位置一起送入级联匹配器进行匹配，产生三种状态的目标，分别是已匹配的目标、未匹配的上一帧目标和未匹配的本帧目标；

8、未匹配的上一帧目标和本帧目标再经iou match匹配，删除还是未匹配的上一帧目标；

9、将两次匹配后的已匹配的目标合并，进行卡尔曼滤波的更新，输出为下一帧的目标；

10、未匹配的本帧目标加入到下一帧目标中；整个目标跟踪过程持续预测-匹配-更新的状态。

11、进一步的，所述目标检测及跟踪方法还包括目标距离检测，通过三角形原理和/或基于标定计算相机俯仰角的测距方法检测目标距离。

12、进一步的，所述基于标定计算相机俯仰角的测距方法包括：

13、h1＝δy1×μ

14、h2＝δy2×μ

15、

16、

17、β＝α+γ

18、

19、其中，δy1为标定线中心与图像中心点的纵坐标像素差，δy2为目标像点与图像中心点的纵坐标像素差，h1为标定线到图像中心点的距离，h2为目标像点到图像中心点的距离，标定线为经过摄像机光心的水平面与成像平面的交线，μ为摄像头像元尺寸，α为摄像机俯仰角，γ为目标像点到图像中心点的距离转换得到的角度，f为摄像头焦距，β＝α+γ，d为目标实际距离，h为摄像头高度。

20、进一步的，所述方法还包括：对检测出的目标类型、位置和距离进行显示；图像中目标所在位置以预测框的形式将目标框出，并在旁边标注目标类型和目标距离。

21、进一步的，所述目标检测模型包括：输入端，主干网络，瓶颈层和预测层；

22、所述输入端，采用mosaic方式对红外图像做数据增强，并将增强后的数据传输至主干网络；

23、所述主干网络，对所述增强后的数据进行图像特征提取，生成第一级特征图像和第二级特征图像并传输至瓶颈层；

24、所述瓶颈层，采用fpn特征金字塔结构，对所述第一级特征图像和第二级特征图像进行逐点卷积、上采样、特征拼接生成第一级卷积特征图像和第二级卷积特征图像；

25、所述预测层，接收第一级卷积特征图像和第二级卷积特征图像，采用基于anchorbased的目标检测算法分别对两级卷积特征图像进行目标位置检测和目标识别，输出目标的位置和类别。

26、进一步的，所述主干网络包括依次连接的卷积神经网络组件、多级倒残差结构和spp模块。

27、进一步的，所述多级倒残差结构的级数为五级；

28、所述第四级倒残差结构的输出为第二级特征图像；所述spp模块的输出为第一级特征图像。

29、进一步的，所述瓶颈层包括：第一支路和第二支路；

30、所述第一支路包括第一逐点卷积模块，用于接收所述第一级特征图像，经逐点卷积生成第一级卷积特征图像；

31、所述第二支路包括上采样模块、特征拼接模块和第二逐点卷积模块，上采样模块接收所述第一级卷积特征图像，经上采样后传输至特征拼接模块，特征拼接模块同时接收第二级特征图像，将第二级特征图像和第一级卷积特征图像进行特征拼接后输出至第二逐点卷积模块，经逐点卷积后生成第二级卷积特征图像。

32、进一步的，所述预测层包括两个预测通道，每个预测通道均包括依次连接的第三逐点卷积模块、逐通道卷积模块、第四逐点卷积模块、标准卷积层和linear激活函数；

33、两个预测通道分别对第一级卷积特征图像和第二级卷积特征图像进行逐点卷积、逐通道卷积、逐点卷积、标准卷积和linear激活后，识别出目标位置和目标类别。

34、与现有技术相比，本发明至少可实现如下有益效果之一：

35、本技术构建基于轻量化神经网络的目标检测模型，该模型具有准确率高，误报少，实时性好的优势，解决了红外图像图像成像的目标边缘模糊，纹理细节信息丢失，远距离的目标可能会难以凭肉眼分辨的问题，使红外图像在能见度低的夜晚依然能够较为清晰得显示道路情况，使驾驶员清楚分辨前方道路存在的目标类别。

36、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。