基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法及系统与流程

本发明涉及深度学习，更具体的说是涉及一种基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法及系统。

背景技术：

1、定期检查对于智能电网中的电气设备维护和故障诊断至关重要，特别是对于架空输电线路，因其位于偏远地区，检查任务异常艰巨。传统上，工人们需手动检查，这费时费力。由于纯人工操作的复杂性，近年来基于视觉的自主检查系统逐渐被引入，利用无人机提高了检查效率和可访问性。无人机上通常装备了光学或热敏照相机，用于收集电线传输线图像，这些图像可由专家或基于视觉的传输线检测系统分析。同时在计算机视觉领域，传输线检测备受关注，使得无人机能够在恶劣条件下识别电线传输线，提高了效率，消除了对人类飞行员的需求。该技术主要依赖于显著目标检测，适用于各种目标识别任务。

2、深度学习在视觉任务中表现突出，因此被广泛应用于电线传输线检测。目前的卷积神经网络已经能够对电线传输线的背景和前景区域进行有效分类，而前景区域则通常采用基于规则的算法来进行电线传输线的检测。然而，早期的电线传输线检测网络在像素级的精度方面存在一定限制，因为它们往往受到预测区域单位被限制在子区域或网格大小的制约。近期的研究尝试通过利用显著目标检测网络来提高像素级的性能，但是很少有研究考虑到在复杂天气条件下电线传输线检测中红外图像的应用。在其他相关领域，如深度估计或城市场景分割，一些研究提出了网络级融合方法，但这些方法通常缺乏足够的灵活性，不能适用于不同类型的主干网络。为了提高电线传输线检测的准确性，当前的网络多采用编码结构，并结合多监督、注意力、金字塔、预训练等技术以增强检测能力。然而，这些技术的引入可能会导致网络模型的参数量增加，从而在嵌入到小型单片机并用于实际应用中产生负载过大等问题。因此，为了进一步提高电线传输线检测的性能和适用性，需要更加灵活和高效的方法来解决这些挑战。

3、目前，显著目标检测领域涌现了许多多模态融合网络。这些方法通常利用传统的注意机制或简单的元添加来融合不同的模态，但在特征未经适当对齐的情况下，可能导致特征噪音叠加，影响检测效果。当前的检测网络主要分为两类架构。第一种是编码-解码架构，编码层通过池化逐步减少空间维度信息，抽取抽象特征，解码层则逐步恢复对象细节和空间维度信息。在研究中，有效的融合模块被引入编码和解码层之间，以帮助解码层更好地恢复对象细节。第二种架构是扩张卷积/空洞卷积，去除了池化层，通过带孔卷积方式扩大感受野。近年来，这些技术的发展极大地促进了在电线传输线方面的研究成果。然而，在实际部署中，场景理解方法的改进受到限制，特别是在移动设备中，由于计算成本和内存消耗较高。目前的网络虽然可以集成彩色-热度图像(rgb-t)线索进行样本融合，但往往没有充分利用两种图像模式之间的复杂相关性。

4、因此，如何提高电线传输线检测的准确性和效率是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法及系统，以解决背景技术中的问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、一方面，本发明公开了基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法，其特征在于，具体步骤包括：

4、选取原始的电线传输线彩色图像和每幅原始的电线传输线彩色图像对应的热度图及所述彩色图像的显著性检测的最终结果图，构成训练集和验证集；

5、构建轻量级全局依赖网络，所述轻量级全局依赖网络包括学生全局依赖网络和教师全局依赖网络，分别利用全局信息产生器、依赖关系产生器，将网络特征分成编码、解码两部分，将所有的不同尺度的特征统一考虑，利用多尺度关系蒸馏、像素对比学习蒸馏和鸟视觉映射蒸馏进行知识蒸馏，其中教师全局依赖网络通过训练集得到最后的训练模型，再通过测试集进行测试来检测测试结果，得到最优教师训练模型之后，用所述最优教师训练模型去蒸馏学生模型，得到最优学生模型；

6、将待测数据集输入到最优学生模型和最优教师训练模型中，模型网络输出原始的电线传输线彩色图预测图，得到的预测图集。

7、优选的，在上述的基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法中，教师全局依赖网络和学生全局依赖网络均利用全局信息产生器来提取彩色图像的全局上下文信息，通过依赖关系产生器来提取热度图像中的像素之间的依赖关系和权重信息。

8、优选的，在上述的基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法中，所述教师全局依赖网络还包括矩阵交叉整合器将同一尺度的不同信息进行一系列有效的举证融合操作，将全局信息产生器和依赖关系产生器的多个输出融合成一个信息。

9、优选的，在上述的基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法中，所述教师全局依赖网络中，彩色图像依次经过教师主干网络一、教师主干网络二、教师主干网络三、教师主干网络四，热度图也依次经过教师主干网络一、教师主干网络二、教师主干网络三、教师主干网络四；彩色图和热度图通过分别通过教师主干网络得到不同尺度的特征图；垂直方向对应的彩色图通过教师主干网络得到的输出，进入全局信息产生器会得到两个输出，同理热度图通过依赖关系产生器也会得到两个输出，此时的四个输出会通过矩阵交叉整合器；按照这个步骤进行，四个矩阵交叉整合器会整合出各个相同特征尺度的彩色图和热度图的特征，用于之后的处理；由矩阵交叉整合器得到的四个输出，会按照通道数从大到小依次进入特征融合器中，最后的通过特征融合器的输出一会利用结果图进行一次有效的监督；特征融合器得到的三个输出又会经过解码器得到输出二、输出三和输出四，利用结果图进行有效的监督；最后，四次监督的损失相加就是最后教师主干网络的损失。

10、优选的，在上述的基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法中，全局信息产生器中，彩色图像的输出会通过贝叶斯处理将彩色图像进行一次降噪处理得到贝叶斯降噪彩色图rb，再将彩色图rb输入到卷积块一和激活函数一组中得到输出六rj，再将输出六rj输入到由自适应平均池化、卷积块和激活函数组成的通道处理组中得到通道处理彩色图rc，同样将彩色图rj输入到由卷积快四和激活函数三组成的空间处理中得到空间处理彩色图rs，还利用彩色图rb通过卷积块五简单处理之后与自身按照通道进行取最大值操作之后相乘得到彩色权重图像rm，最后将输出六rj、彩色权重图像rm和彩色图rc、彩色图rs相乘得到输出七。

11、优选的，在上述的基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法中，依赖关系产生器中用于提取热度图中的依赖关系，热度图通过主干网络得到的特征会输入到该模块中，首先经过贝叶斯进行降噪处理得到贝叶斯降噪热度图tb，热度图tb经过图卷积操作再输入到空洞卷组中，四个空洞卷积通过拼接操作得到输出八tk，输出八tk经过激活函数二后会利用残差连接输入到后续操作中得到热度权重图像ts，热度权重图像ts还需要按照空间维度进行求和得到热度权重平均值图像th，最后将热度权重图像ts/热度权重平均值图像th，得到输出九。

12、优选的，在上述的基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法中，全局信息产生器和依赖关系产生器产生的四个输出全部输入到矩阵交叉整合器中，输出七、输出九会先相乘再通过激活函数二得到全局权重图ws，输出六、输出八会通过矩阵操作一得到待处理彩色图l1、待处理热度图l2，待处理彩色图l1、待处理热度图l2再通过矩阵操作二和线性操作再相乘得到全局信息图全局信息图会再次通过矩阵操作二、三还原成输出七相同的维度与全局权重图ws进行相乘再与自己相加得到全局信息权重图全局信息权重图会通过激活函数三与待处理热度图l2相乘并且再次通过矩阵操作二和矩阵操作三还原回原始特征大小再通过激活函数二得到全局关系图全局关系图通过激活函数三需要与待处理彩色图l1相乘用于保留原始信息再通过矩阵操作二、三还原成原始特征大小最后和全局信息权重图相加再与全局关系图相乘得到输出十。

13、优选的，在上述的基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法中，利用多尺度关系蒸馏、像素对比学习蒸馏和鸟视觉映射蒸馏进行知识蒸馏具体步骤如下：首先利用多尺度蒸馏方式解决教师和学生编码特征之间的信息差；其次考虑到教师和学生的解码部分输出在像素级上存在差异，利用对比学习方法实现了像素级的对比学习知识蒸馏；最后为解决教师和学生主干网络的输出结果差异大的问题，采用鸟瞰视觉映射蒸馏进行最后的处理。

14、优选的，在上述的基于知识蒸馏的轻量级全局依赖网络的电线传输线检测方法中，多尺度蒸馏方式中，教师编码器输出一、输出二、输出三和输出四是教师主干网络的不同尺寸的矩阵交叉整合器的四个输出，学生编码器输出一、输出二、输出三和输出四是学生主干网络的不同尺度的四个由学生全局信息产生器和依赖关系产生器相加得到的，自适应平均池化和自适应最大池化是将特征的空间尺度进行变化，将特征的宽和高变成原始大小的16、8、4、2和1，指数计算是计算张量的幂运算，张量按空间求范数是按照将通道中所有值求范数得到新的通道值，张量按通道求范数是按照将高和宽中所有值求范数得到新的高值和宽值，多尺度关系蒸馏最终回归到的损失函数是均方误差损失；

15、像素对比学习蒸馏中，教师主干网络的输出二和输出三是解码器上的输出，用于和学生编码器的输出一和二进行像素对比蒸馏；首先输出二先经过矩阵操作一，再经过张量按通道求范数保证所有样本之间具有相同的尺度为后续的选取正负样本带来简便，得到ts；学生编码器输出一也经过矩阵操作一、张量按通道求范数和矩阵操作二得s，到ts并于ts相乘得到y；选取正负样本阶段，首先是计算y特征上第三维度的最大值max和最小值min，按照max和min从ts上选取对应数量的正负初始样本并于s进行拼接操作得到最后的正样本p和负样本n，进行一次余弦相似度的计算，正负样本之间的中间目标矩阵使用ts或者使用gt结果图，最后将计算余弦相似度的正样本p、负样本n还有目标矩阵输入到边际排名损失函数中得到损失；按照这个过程可以将输出三和学生编码器输出二输入进去进行同样的操作；

16、鸟视觉映射蒸馏中，教师主干网络，输出一首先需要经过自适应平均池化来降低自己的高和宽维度，得到tp；设立一个和输出一相同尺度但是内部大小为0的张量z；再通过h次循环嵌套w次循环，外层循环用i标记，里层循环用j标记，计算“h1＝i×256/16，w1＝j×256/16”，并将z空间上【h1,w1】位置上赋加上tp空间上【i,j】的值；将z空间映射到张量t上面来，并且保留大量有效信息；同样学生主干网络经过此类操作得到张量s；最后将张量t和张量s这两个张量输入到平均方差损失中，利用教师主干网络的输出一和输出二分别对学生主干网络的输出五进行有效的知识蒸馏。

17、另一方面，本发明公开了基于知识蒸馏的轻量级全局依赖网络的电线传输线检测系统，应用上述方法，包括：

18、数据集构建模块，选取原始的电线传输线彩色图像和每幅原始的电线传输线彩色图像对应的热度图及所述彩色图像的显著性检测的最终结果图，构成训练集和验证集；

19、全局依赖网络构建模块，构建轻量级全局依赖网络，所述轻量级全局依赖网络包括学生全局依赖网络和教师全局依赖网络，分别利用全局信息产生器、依赖关系产生器，将网络特征分成编码、解码两部分，将所有的不同尺度的特征统一考虑，利用多尺度关系蒸馏、像素对比学习蒸馏和鸟视觉映射蒸馏进行知识蒸馏，其中教师全局依赖网络通过训练集得到最后的训练模型，再通过测试集进行测试来检测测试结果，得到最优教师训练模型之后，用所述最优教师训练模型去蒸馏学生模型，得到最优学生模型；

20、输出模块，将待测数据集输入到最优学生模型和最优教师训练模型中，模型网络输出原始的电线传输线彩色图预测图，得到的预测图集。

21、经由上述的技术方案可知，与现有技术相比：

22、1)本发明方法构建的全局依赖网络，将电线传输线图像输入到全局依赖网络中进行训练，得到全局依赖网络的检测训练模型；再将待检测的电线传输线图像输入到全局依赖网络的检测训练模型中，得到相对应的预测语义分割图像。本发明方法在构建全距离网络时将网络特征分成了编码、解码两部分，将所有的不同尺度的特征统一考虑，节约了模型开发时间，并利用简单的融合模块将特征融合，因此能够在参数量较低的情况下实现电线传输线检测。

23、2)本发明针对教师和学生的不同输出采用了三种不同的知识蒸馏方式。首先为解决教师和学生编码特征之间的信息差提出了利用多尺度蒸馏方式来解决这一问题；其次考虑到教师和学生的解码部分输出在像素级上存在差异，利用对比学习方法实现了像素级的对比学习知识蒸馏；最后为解决教师和学生主干网络的输出结果差异大的问题，采用鸟瞰视觉映射蒸馏进行最后的处理。

24、3)在模型架构中，为提取彩色图像和热度图像的不同尺寸特征设计了相同的信息产生器，这样节约了针对不同尺寸设计不同模块的时间。设计了全局信息产生器来提取彩色图像的全局上下文信息，还设计了依赖关系产生器来提取热度图像中的像素之间的依赖关系和权重信息。在教师主干网络中，我们设计了一个矩阵交叉整合器将同一尺度的不同信息进行一些列有效的举证融合操作，最后将全局信息产生器和依赖关系产生器的多个输出融合成一个信息。