一种适用于嵌入式设备的数据增强与轻量化目标检测算法的制作方法

本发明涉及电力巡检，特别涉及1、一种适用于嵌入式设备的数据增强与轻量化目标检测算法。

背景技术：

1、现有的电力巡检方法包括线路攀爬机器人巡检、直升机巡检等多种形式。然而，在实际的巡检操作中发现，机器人巡检方式仅适用于输电线路，而对电力杆塔的巡检存在操控难度大的问题。虽然直升机巡检方式具有灵活性和强大的抗干扰能力，但培训驾驶员及取得飞行资格的成本巨大。随着多旋翼无人机技术的不断成熟和机载设备的多样化发展，多旋翼无人机因其高效性和低成本等特点引起了相关巡检部门的关注，无人机巡检在电力巡检中已经开始试运行。目前的无人机巡检大多仍需雇佣专业飞手，手动操控无人机到达指定航点，对杆塔部件或高压输电线路进行拍照。在这种巡检方式下，巡检员对无人机操作的熟练程度直接影响了巡检效果和效率。因此急需推出与无人机自动机场相配套的轻量化目标检测模型。

2、近年来，研究人员提出了多种新型的网络模型，例如，googlene t提出了inception结构，通过提取多尺度的特征，增加了网络的宽度，相比于vgg这样的堆叠式的模型，降低了计算的复杂度；轻量级的卷积神经网络架构squeezenet主要使用了squeeze模块层，首先使用1×1的卷积进行降维，再连接1×1与3×3的卷积层进行特征的融合，构建出一个特征融合的模块，大大减少了参数量，起到了模型压缩的作用；因此，轻量化的cnn卷积神经网络可以有效地提高模型运算的速度，降低模型的大小和参数量，为模型嵌入到移动端进行实时分类问题的应用提供了一种极其有效的方法。但是轻量级的卷积神经网络架构squeezenet通过更深的网络置换更多的参数，虽然有更低的参数量，但是网络的测试时间会加长。

技术实现思路

1、为解决上述问题，考虑到轻量级模型倾向于应用在嵌入式场景，本发明提出一种适用于嵌入式设备的数据增强与轻量化目标检测算法。

2、本发明采用的技术方案为：

3、一种适用于嵌入式设备的数据增强与轻量化目标检测算法，包括以下步骤：

4、步骤1，对输电线路缺陷识别数据集进行标注与分拣，对分拣后的训练集、验证集和测试集进行自适应伽马变换增强图像效果；步骤2，使用深度可分离卷积和倒置残差模块对yolov5s的主干网络进行重构，建立did-yolo轻量型目标检测模型；步骤3，利用特征层和输出层结合的知识蒸馏训练提高重构后目标检测网络的精度，得到优化后的did-yolo轻量型目标检测模型；步骤4，使用步骤1中的训练集、验证集和测试集对步骤3优化后的did-yolo轻量型目标检测模型进行模型训练、参数择优、早停控制和模型测试，最后将模型部署到嵌入式设备，执行自主巡检任务。

5、进一步的，步骤1中，标注过程为对输电线路缺陷识别数据集进行标注图片中的设备缺陷类型，分拣过程为按照3∶1∶1的比例划分出训练集、验证集和测试集。

6、进一步的，步骤1中，自适应伽马变换包括以下步骤：

7、步骤1.1，首先将训练集、验证集和测试集中的rgb图像转换为灰度图像；步骤1.2，使用灰度反转对图像灰度范围进行线性或非线性取反；步骤1.3，引入灰度直方图直观反映图像校正效果；

8、自适应伽马变换的运算如下：

9、

10、式中，f(x，y)为输入图像，o(x，y)为输出图像；γ是灰度缩放因子，由输入图片的像素值确定；x为像素归一化后的平均值。

11、进一步的，步骤2中，深度可分离卷积包括逐通道卷积和逐点卷积两个过程；在逐通道卷积中，一张彩色图片被分成了r、g、b三个通道，每个通道与一个卷积核进行卷积，得到与输入图片通道数相同的特征图；在逐点卷积中，采用了1×1卷积的方式，将未经卷积的特征图在深度上进行加权组合，生成新的特征图；

12、当卷积核大小为3时，根据公式：

13、pn1＝3*3*3+1*1*3*m＝27+3m

14、则生成m个特征图所需的参数量pn1；

15、普通卷积，则根据公式：

16、pn2＝3*3*3*m＝27m

17、则生成m个特征图所需的参数量pn2；

18、当m>1时，生成同数量的特征图深度可分离卷积所需参数量小于普通卷积所需参数量。

19、进一步的，步骤2中，在在主干网络中引入倒置残差结构还原损失的信息；倒置残差结构先升维后降维，并采用3x3的深度可分离卷积，步骤如下：

20、当步长为1时：

21、a.通过1x1卷积对特征图进行升维，扩展通道数为原来的6倍；

22、b.使用3x3的深度可分离卷积进行特征信息提取；

23、c.通过1x1卷积对特征图进行降维，恢复至原通道数量；

24、当步长为2时：

25、a.不进行拼接融合。

26、进一步的，步骤2中，did-yolo轻量型目标检测算法，其网络结构包括输入端处理模块、backbone网络、neck网络和输出端处理模块；

27、在输入端处理模块中，引入了mosaic数据增强的方法，将四张图片以随机缩放、随机裁剪、随机排布的方式拼接成训练图片；引入了自适应锚框计算，每次训练时自动计算出最佳的初始锚框值；在推理过程中，还引入了自适应图片缩放，以适应不同尺寸的输入图片，通过添加最少的黑边来减少计算量；

28、backbone网络由dbl、pdp和irlb作为基础模块构成，负责提取图像中的特征信息；dbl为卷积+batchnormalization+relu6，pd p为stride＝2的倒置残差结构块，irlb为stride＝1的倒置残差结构块；

29、neck网络采用panet结构用于处理特征图生成特征金字塔；pa net结构在fpn的基础上增加了自底向上方向的增强，使得顶层特征图能够融合底层特征图的位置信息；

30、输出端处理模块选用ciou_loss函数作为bounding box的损失函数，其计算公式为：

31、

32、式中，υ是用来衡量长宽比一致性的参数，用于进一步调整损失函数ciou_loss；π为圆周率；wgt表示向量w上的重力作用分量的水平向量；hgt表示向量w上的重力作用分量的垂直向量；wp表示向量w上斜面的水平分量；hp表示向量w上斜面的垂直分量；

33、

34、式中，ciou表示clou算法中的聚类目标函数；iou表示交并比；distance2表示两个目标框中心点之间的欧氏距离；distance_c表示两个目标框的闭包区域的对角线的距离；

35、ciou_loss函数考虑了预测框和真实框的重叠面积、长宽比以及中心点的距离，采用了nms非极大值抑制的方法，保留检测效果最好的预测框，去除冗余的预测框。

36、进一步的，步骤3中，引入了converter模块，将did-yolo轻量型目标检测模型的backbone网络输出维度升至与教师网络匹配；converter模块由卷积层conv、批量归一化bn和relu6函数组成，并通过relu6函数保持激活函数一致；知识蒸馏结构是在保证了输出层蒸馏的基础上对特征提取进行蒸馏，提高学生网络的backbone在特征提取上的表征能力，提高基于yolov5s轻量化网络的识别精度。

37、本发明的有益效果是：

38、该适用于嵌入式设备的数据增强与轻量化目标检测算法使用深度可分离卷积和倒置残差模块对yolov5s的主干网络进行重构，降低了模型的复杂度和计算量，达到了模型轻量化的目的；利用特征层和输出层结合的知识蒸馏训练重构后的目标检测网络的精度，降低了重构主干网路对模型的精度的影响；采用自适应伽马变换，自动调节图像局部的亮度值，图像细节效果最佳、降噪效果最明显，最符合正常图。当前主流目标检测算法大多未考虑气象条件的影响在实际情况下，由于环境复杂、光照不均等因素的影响，降低了图像的视觉效果。虽然moasic等数据增强方法扩充了数据集的同时也提升了检测精度，但模型在检测暗光环境图片时容易丢失有用的细节信息，传统的伽马变换后的图像是整体变化的，缺乏局部像素的考虑，为减少光线因素对检测器检测效果的影响，增强视觉效果、降低噪声，采用自适应伽马变换，自动调节图像局部的亮度值，图像细节效果最佳、降噪效果最明显，最符合正常图。此外，为了进一步实现检测模型的轻量化，使用深度可分离卷积和倒置残差模块对yolov5s的主干网络进行重构，降低了模型的复杂度；最后还利用特征层和输出层结合的知识蒸馏训练重构后的目标检测网络的精度，降低了重构主干网路对模型的精度的影响；最终所得的模型适合部署到无人机的嵌入式设备中完成电力系统的自动化巡检任务。