基于深度学习轻量化网络的水面漂浮物检测方法

本发明属于人工智能、计算机视觉领域，涉及一种深度学习轻量化网络的水面漂浮物检测方法。

背景技术：

1、河流给人们带来了便捷的生活和一些经济来源，但如果处理不当也会带来一些灾难。除了洪涝等自然灾害，河流的污染是目前亟待解决的一个问题，河流水面漂浮物目标检测与识别是解决污染的前提条件。因此，为建设生态文明城市，实现发展目标，对水环境的保护刻不容缓，对水面漂浮物的检测和清理至关重要。

2、已有的水面目标检测算法包括传统目标检测算法和基于深度学习的目标检测算法。前者主要基于手工提取特征，在受到大量噪声或其他因素干扰等情况下，很难被较好地提取，分类器的实现效果会受到影响，从而无法很好地分类、识别目标。基于深度学习的目标检测技术解决了传统目标检测滑动窗口选择和手动提取特征的缺点，提高了目标检测准确度和实时性。虽然检测精度有所提高，但模型的计算量较大导致检测精度有所下降，并且在进行模型移植的过程需要减小模型尺寸。因此，如何在保证不损失检测精度的前提下实行模型的轻量化，是本专利所考虑的关键问题。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，本发明的目的是提供一种基于轻量化网络的河流水面漂浮物目标物检测方法，以克服传统目标检测算法中检测精度低和泛化能力差的问题；针对样本数据不足和目标过少的问题进行数据预处理，提高检测精度；基于目标物尺寸大小对网络模型进行改进，实现模型的小型化、计算的轻量化，有利于检测模型在实际应用中的硬件移植。

2、技术方案：为实现上述目的，本发明提供一种深度学习轻量化网络的水面漂浮物检测方法，包括如下步骤：

3、s1：通过视频监控系统的摄像头采集河道监控场景视频图像，按照不同光照条件对图像进行筛选；

4、s2：对图像中的水面漂浮物进行分类和标注，并对样本较少的目标采用mixup+线性插值的方式增强样本数量，达到每类目标的样本数量至少300张，构建完成网络模型训练所需要的目标检测数据集，目标类别包括秸秆、瓶子、树枝、塑料袋、船、鸟、水草、垃圾，共8类；

5、s3：面向水面漂浮物数据集对yolov5s进行模型设计及预训练，检测输入图像中所含目标并预测目标边界框位置、大小、定位置信度以及类别概率；预测每个边界框的类别计算每个预测边界模型与其真实值的交并比；

6、s4：通过预训练得到的网络权重值，对改进的yolo模型进行稀疏训练和模型剪枝，完成模型压缩，实现模型轻量化，模型大小为6.8m；

7、s5：将视频帧图像输入轻量化模型实现河道漂浮物的智能实时监测。

8、进一步地，所述步骤s2针对河道水面漂浮物数据集的样本增强，具体算法如下：

9、由于样本中包含秸秆、树枝、船、鸟四类目标数量较少，随机选择两个样本进行融合，扩充训练数据集，并增加原始图像目标的多样性；假设batchx1是一个batch样本，batchy1是该batch样本对应的标签；batchx2是另一个batch样本，batchy2是该batch样本对应的标签，基于mixup原理的数据增强计算步骤为：

10、λ＝beta(α，β)               (1)

11、mixed_batchx＝λ*batchx1+(1-λ)*batchx2       (2)

12、mixed_batchy＝λ*batchy1+(1-λ)*batchy2         (3)

13、其中beta(α，β)指的是贝塔分布函数，mixed_batchx为混合后的batch样本，mixed_batchy为混合后的batch样本对应的标签，其中α，β的取值，通过测试不同取值下合成的图像的信息损失变化最小值确定。

14、1、进一步地，所述步骤s3中面向水面漂浮物数据集的yolov5s模型及训练过程包括：

15、s3.1：输入层实现基于在线图像增强，同时输入四张图像，并进行随机缩放、裁剪和排布，拼接为一张图像，丰富检测数据集，增加鲁棒性；

16、s3.2：backbone包含focus结构和csp结构；其中focus结构采用切片操作和卷积操作，得到304*304*32的特征图；csp模块在减少计算量的同时能保证高准确率；

17、s3.3：neck采用fpn+pan结构，加强网络特征融合的能力；

18、s3.4：输出层采用clou_loss作为bounding box的损失函数，其公式如下所示：

19、

20、并采用加权非极大值抑制加强对目标框的筛选；

21、s3.5：使用adam梯度下降和自适应学习率对模型进行预训练，获取网络模型参数，得到输入图像中所含目标并预测目标边界框位置、大小、定位置信度以及类别概率；预测每个边界框的类别计算每个预测边界模型与其真实值的交并比，作为网络轻量化的基础参数。

22、进一步地，所述步骤s4中模型压缩过程为：

23、s4.1：对通道进行稀疏化训练；引入尺度因子γ，将其与网络权重值共同训练，并添加正则约束实现尺度因子γ的稀疏正则化，使得不重要的通道尺度因子尽可能接近于0；其中尺度因子及相关惩罚项的损失函数公式如下所示

24、l＝∑(x，y)l(f(x，w)，y)+λ∑γ∈γg(γ)         (5)

25、式中，x表示训练的输入图像，y表示目标输出，w是模型的可训练权重值，λ是惩罚系数，用于调节损失与惩罚项在总损失值中的比重；式中第一项表示网络损失函数，是模型正常训练时产生的损失；第二项表示尺度因子的正则化，g(γ)表示由稀疏性导致的惩罚；在稀疏化训练过程中基于系数λ进行模型训练梯度，平衡检测精度和剪枝力度，当检测精度严重下降时，适当降低λ；

26、s4.2：用稀疏化之后模型中批量正则化(bn)层的权重评估通道的重要程度，并设定通道剪枝阈值，根据阈值不能大于任何通道bn的最大权重的原则对bn层进行通道剪枝，其中批量正则化层的权重公式如下所示：

27、

28、其中，x表示卷积层的某个输出通道，y是bn层在该通道上的对应输出，μ为bn层的均值参数，σ表示bn层的方差参数，∈一般取值为1e-16，目的是为了防止分母为0：

29、s4.3剪掉一个bn层时，需要将对应上一层的卷积核和下一层卷积核对应的通道也一并进行裁剪，即删除传入和传出连接以及相对应的部分；

30、s4.4：根据数据集在模型训练中表现出的检测精度对模型稀疏和模型通道剪枝的网络结构和参数进行微调，反复迭代，多次剪枝，直至模型检测精度下降较多前终止。

技术特征：

1.一种基于深度学习轻量化网络的水面漂浮物检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于深度学习轻量化网络的水面漂浮物检测方法，其特征在于，所述步骤s2针对河道水面漂浮物数据集的样本增强，具体算法如下：

3.根据权利要求1所述的一种基于深度学习轻量化网络的水面漂浮物检测方法，其特征在于，步骤s3中面向水面漂浮物数据集的yolov5s模型及训练过程包括：

4.根据权利要求1所述的一种基于深度学习轻量化网络的水面漂浮物检测方法，其特征在于，所述步骤s4中模型压缩过程为：

技术总结本发明公开了一种基于深度学习轻量化网络的水面漂浮物检测方法，方法包括：首先通过视频监控系统的摄像头采集河道监控场景视频帧图像，按照不同光照条件对图像进行筛选，并在筛选后的图像中对不同目标分类标注，目标类别包括秸秆、瓶子、树枝、塑料袋、船、鸟、水草、垃圾，共8类；对秸秆、树枝、船、鸟四类样本较少的目标采用mixup原理增强样本数量，达到每类目标的样本数量至少300张，构建完成水面多目标检测样本数据集；其次，面向水面漂浮物数据集对YOLOv5s进行模型设计及预训练；再次，对YOLOv5s模型进行稀疏训练，模型剪枝，完成模型压缩，实现模型轻量化，模型大小为6.8M；最后，将视频帧图像输入轻量化模型实现河道漂浮物的智能实时监测。技术研发人员：张丽丽,熊伟,王婷受保护的技术使用者：河海大学技术研发日：技术公布日：2024/7/29