一种轻量化目标检测模型的训练方法与流程

本发明涉及先进辅助驾驶，尤其涉及一种轻量化目标检测模型的训练方法。

背景技术：

1、目标检测是机器视觉应用的热门研究方向，正广泛应用于安防监控、工业检测、航天航空等诸多领域，通过机器视觉可以减少人力资本的消耗，提升产业生产效率及准确性。目标检测主要采用卷积神经网络构建模型，而由于卷积神经网络的性质，为了获得更好的网络性能，网络层数不断增加，从最初7层的alexnet增长到如今上百上千层的网络。虽然网络的性能确实提升了，但随之带来的是效率问题，更多的网络模型只能停留在学术研究里，工业上难以应用。效率问题主要指存储问题和模型预测时的速度问题。存储问题是由于数百层神经网络有大量的权值参数，保存大量参数对设备的要求较高；而在实际应用中往往会要求实时性，因此对模型预测时的速度也有要求，为了达到实时性需要提升处理器性能或者减少计算量。提升设备性能就是提升生产成本，就会限制产品普及到人们的日常生活中。

2、为了解决效率问题，让卷积神经网络更广泛地应用于移动端，常用的方法有压缩模型，就是对训练好的模型进行压缩，减少模型的权重参数，既可以解决存储问题，也可以解决速度问题，但也可能会造成一些性能损失。另外还可以设计轻量化模型，轻量化模型的思想是对卷积方式进行改造，设计更高效的计算方式，使网络参数减少的同时不损失网络性能。

3、yolo算法家族自yolov1发布以来，整个系列一直是目标检测领域最活跃的开源算法，其中yolov3发布时当时速度最快的目标检测算法之一，同时还拥有极高的精度，后来火爆的yolov4，yolov5都是在yolov3的基础上发展而来，后续经不断改进又出现了各种yolo算法。但是这些算法动辄上百层，权重参数较多，在pc端借助高性能gpu运行没有问题，在算力有限的边缘端就难以应用。因此本发明在yolov3算法的基础上提出了一种适用于边缘端的高性能的轻量化目标检测模型及其训练方法。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种轻量化目标检测模型的训练方法，用以解决现有深层网络模型预测时速度慢，性能损失的问题。

2、一方面，本发明实施例提供了一种轻量化目标检测模型的训练方法，所述方法包括如下步骤：

3、获取具有预设目标的图像，并对图像中的目标进行标注，图像和标注信息形成数据集；

4、构建基于轻量化神经网络的目标检测模型；

5、利用数据集对目标检测模型进行训练，训练过程中通过小批量随机梯度下降法优化损失函数，直至损失函数收敛或达到最大迭代次数，得到训练好的目标检测模型。

6、进一步的，所述损失函数包括：分类损失函数、置信度损失函数和边框回归损失函数；

7、分类损失函数和置信度函数使用二元交叉熵bce计算；

8、边框回归损失函数使用ciou_loss损失函数计算。

9、进一步的，在计算损失函数前，先划分正负样本，设置忽略阈值ignore_thresh，真实目标框为gt；

10、计算所有预测框与同一个gt的交并比iou，取最大交并比iou对应的预测框作为正样本，遍历所有gt，得到全部的正样本；

11、若预测框与任意一个gt的交并比iou均小于忽略阈值ignore_thresh，则将该预测框划为负样本；

12、将其他预测框划分为忽略样本。

13、进一步的，所述ciou_loss损失函数表示交并比计算公式如下：

14、

15、其中，a和b表示预测框a与真实框b，ρ2(a，b)表示预测框a和真实框b的方框中心点的欧式距离，c表示两个方框最小外接矩形框的对角线长度，α是权重函数，v是用来度量宽高比的一致性；

16、v的计算表达式为：

17、

18、α的计算表达式为：

19、

20、其中，w和h表示预测框的宽和高，wgt和hgt表示真实框的宽和高。

21、进一步的，所述分类损失函数、置信度损失函数和边框回归损失函数的计算公式为：

22、

23、

24、

25、其中，lbox为边框回归损失函数，lcls为分类损失函数，lobj为置信度损失函数，λcoord为边框损失函数权重系数，λclass为分类损失函数权重系数，λnoobj为负样本的置信度损失函数权重系数，λobj为正样本的置信度损失函数权重系数，s为特征图尺寸，d表示anchor的尺度数量，表示在i个网格第j个anchor若是正样本，则值为1，否则为0；表示在i个网格第j个anchor若是负样本，则值为1，否则为0；和表示真实值的分类得分和置信度，若是正样本，则值均为1，否则均为0；和表示预测层输出的预测值的分类得分和置信度，其值均在0～1之间。

26、进一步的，所述目标检测模型包括：输入端，主干网络，瓶颈层和预测层；

27、所述输入端，采用mosaic方式对红外图像做数据增强，并将增强后的数据传输至主干网络；

28、所述主干网络，对所述增强后的数据进行图像特征提取，生成第一级特征图像和第二级特征图像并传输至瓶颈层；

29、所述瓶颈层，采用fpn特征金字塔结构，对所述第一级特征图像和第二级特征图像进行逐点卷积、上采样、特征拼接生成第一级卷积特征图像和第二级卷积特征图像；

30、所述预测层，接收第一级卷积特征图像和第二级卷积特征图像，采用基于anchorbased的目标检测算法分别对两级卷积特征图像进行目标位置检测和目标识别，输出目标的位置和类别。

31、进一步的，所述主干网络包括依次连接的卷积神经网络组件、多级倒残差结构和spp模块。

32、进一步的，所述多级倒残差结构的级数为五级；

33、所述第四级倒残差结构的输出为第二级特征图像；所述spp模块的输出为第一级特征图像。

34、进一步的，所述瓶颈层包括：第一支路和第二支路；

35、所述第一支路包括第一逐点卷积模块，用于接收所述第一级特征图像，经逐点卷积生成第一级卷积特征图像；

36、所述第二支路包括上采样模块、特征拼接模块和第二逐点卷积模块，上采样模块接收所述第一级卷积特征图像，经上采样后传输至特征拼接模块，特征拼接模块同时接收第二级特征图像，将第二级特征图像和第一级卷积特征图像进行特征拼接后输出至第二逐点卷积模块，经逐点卷积后生成第二级卷积特征图像。

37、进一步的，所述预测层包括两个预测通道，每个预测通道均包括依次连接的第三逐点卷积模块、逐通道卷积模块、第四逐点卷积模块、标准卷积层和linear激活函数；

38、两个预测通道分别对第一级卷积特征图像和第二级卷积特征图像进行逐点卷积、逐通道卷积、逐点卷积、标准卷积和linear激活后，预测目标位置和目标类别。

39、与现有技术相比，本发明至少可实现如下有益效果之一：

40、1、本技术构建基于轻量化神经网络的目标检测模型，该模型使用倒残差网络结构，在构建深层网络的同时减少了参数量及其计算量，能在算力有限的边缘端实现高性能，高速度的目标检测任务。

41、2、本技术训练模型时使用的损失函数，使得训练时边框回归的效率和精度更高，最终得到的目标位置更准确。通过小批量随机梯度下降法优化损失函数，减少了损失函数的迭代次数，提高了模型的训练效率。

42、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。