一种基于巡检机器人的电缆隧道内壁渗水检测方法及系统与流程

1.本发明涉及电缆隧道图像识别技术领域，特别是涉及一种基于巡检机器人的电缆隧道内壁渗水检测方法及系统。


背景技术：

2.电力安全稳定输送关系到各行各业和社会的稳定；随着城市建设现代化程度不断提升，通过地下电缆输电成为非常重要的供电方式。针对电缆隧道开展定期巡检作为保障电力稳定供应的重要手段，目前依然主要是通过人工的眼查手记按规定巡检线路进行电缆局部过热、绝缘损伤和隧道基础设施老化包括隧道渗水、漏水等现象的检测。然而，受主观因素和环境因素的影响，人工巡检存在巡检耗时长、标准化程度低、易出现误检和漏检等问题，巡检效率较低。


技术实现要素：

3.有鉴于此，本发明提供了一种基于巡检机器人的电缆隧道内壁渗水检测方法及系统，降低人工巡检的工作量，提升巡检效率。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于巡检机器人的电缆隧道内壁渗水检测方法，包括：
6.获取训练样本集，基于所述训练样本集对特征提取网络进行训练，得到训练好的所述特征提取网络，并基于训练好的所述特征提取网络，得到特征图；
7.基于所述特征图对候选框网络进行训练，得到训练好的所述候选框网络，并基于训练好的所述候选框网络，得到候选框；
8.基于所述特征图和所述候选框对检测网络进行训练，得到训练好的所述检测网络；
9.基于训练好的所述特征提取网络、所述候选框网络和所述检测网络对巡检机器人获取的图像进行识别，得到是否发生渗水。
10.优选地，所述特征提取网络选用vggnet网络模型，包括13个卷积层和4个池化层，依次分别定义为第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层和第十三卷积层；
11.所述第五卷积层输出第一尺度特征图；所述第九卷积层输出第二尺度特征图；所述第十三卷积层输出第三尺度特征图；所述特征图包括所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图。
12.优选地，所述基于所述特征图对候选框网络进行训练，得到训练好的所述候选框网络，并基于训练好的所述候选框网络，得到候选框，包括：
13.对所述候选框网络的超参数进行初始化，得到初始化的所述候选框网络；初始化的所述候选框网络，基于设定滑动窗口在所述特征图上按设定步长进行扫描，得到设定大
小和设定尺寸的初始候选区域集，并基于所述初始候选区域集得到初始预测候选框；将所述初始预测候选框集进行映射得到d维的向量；对所述向量进行平移和尺度缩放，得到预测候选框；
14.重复修改所述候选框网络的超参数，进行迭代优化，得到训练好的所述候选框网络。
15.优选地，所述检测网络包括第一检测子网络和第二检测子网络；
16.所述第一检测子网络基于双线性插值上采样方法，对所述第一尺度特征图进行卷积，得到上采样数据；基于所述上采样数据和所述候选框得到第一尺度预测框；
17.所述第二检测子网络基于所述第二尺度特征图和所述候选框得到第二尺度预测框；基于所述第三尺度特征图和所述候选框得到第三尺度预测框；
18.重复修改所述第一检测子网络和所述第二检测子网络的超参数，进行迭代优化，得到训练好的所述第一检测子网络和所述第二检测子网络。
19.本发明还提供了一种基于巡检机器人的电缆隧道内壁渗水检测系统，包括：
20.特征提取模块，获取训练样本集，基于所述训练样本集对特征提取网络进行训练，得到训练好的所述特征提取网络，并基于训练好的所述特征提取网络，得到特征图；
21.候选框模块，基于所述特征图对候选框网络进行训练，得到训练好的所述候选框网络，并基于训练好的所述候选框网络，得到候选框；
22.检测模块，基于所述特征图和所述候选框对检测网络进行训练，得到训练好的所述检测网络；
23.图像识别模块，基于训练好的所述特征提取网络、所述候选框网络和所述检测网络对巡检机器人获取的图像进行识别，得到是否发生渗水。
24.优选地，所述特征提取网络选用vggnet网络模型，包括13个卷积层和4个池化层，依次分别定义为第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层和第十三卷积层；
25.所述第五卷积层输出第一尺度特征图；所述第九卷积层输出第二尺度特征图；所述第十三卷积层输出第三尺度特征图；所述特征图包括所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图。
26.优选地，所述候选框模块包括：
27.初始化单元，对所述候选框网络的超参数进行初始化，得到初始化的所述候选框网络；初始化的所述候选框网络，基于设定滑动窗口在所述特征图上按设定步长进行扫描，得到设定大小和设定尺寸的初始候选区域集，并基于所述初始候选区域集得到初始预测候选框；将所述初始预测候选框进行映射得到d维的向量；对所述向量进行平移和尺度缩放，得到预测候选框；
28.迭代单元，重复修改所述候选框网络的超参数，进行迭代优化，得到训练好的所述候选框网络。
29.优选地，所述检测网络包括第一检测子网络和第二检测子网络；
30.所述第一检测子网络基于双线性插值上采样方法，对所述第一尺度特征图进行卷积，得到上采样数据；基于所述上采样数据和所述候选框得到第一尺度预测框；
31.所述第二检测子网络基于所述第二尺度特征图和所述候选框得到第二尺度预测框；基于所述第三尺度特征图和所述候选框得到第三尺度预测框；
32.重复修改所述第一检测子网络和所述第二检测子网络的超参数，进行迭代优化，得到训练好的所述第一检测子网络和所述第二检测子网络。
33.根据本发明提供的具体实施例，本发明公开了以下技术效果：
34.本发明涉及一种基于巡检机器人的电缆隧道内壁渗水检测方法及系统，首先获取训练样本集，基于所述训练样本集对特征提取网络进行训练，得到训练好的所述特征提取网络，进一步得到特征图；然后基于所述特征图对候选框网络进行训练，得到训练好的所述候选框网络，进一步得到候选框；其次基于所述特征图和所述候选框对检测网络进行训练，得到训练好的所述检测网络；最后基于训练好的所述特征提取网络、所述候选框网络和所述检测网络对巡检机器人获取的图像进行识别，得到是否发生渗水。本发明在降低人工巡检的工作量的同时，避免了人为主观因素的影响，提升巡检效率的同时，提高了准确性。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明基于巡检机器人的电缆隧道内壁渗水检测方法流程图；
37.图2为本发明电缆隧道原始渗水示意图；
38.图3为本发明vggnet网络模型结构图；
39.图4为本发明第一检测子网络结构图；
40.图5为本发明基于巡检机器人的电缆隧道内壁渗水检测方法的检测结果示意图；
41.图6为本发明基于巡检机器人的电缆隧道内壁渗水检测系统结构图。
42.符号说明：1-特征提取模块，2-候选框模块，3-检测模块，4-图像识别模块。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.本发明的目的是提供一种基于巡检机器人的电缆隧道内壁渗水检测方法及系统，降低人工巡检的工作量，提升巡检效率。
45.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
46.目前，主要的基于深度学习的目标检测算法包括为两类：其中一类是以基于候选区域的卷积神经网络r-cnn为代表的二阶检测器，并通过逐渐改进优化，出现了fast r-cnn算法和faster r-cnn算法；另一类是基于回归的、以yolo算法和ssd算法为代表的一阶检测器。一般的，二阶检测器的检测精度要比一阶检测器的检测精度要高，而一阶检测器的检测
效率要比二阶检测器的检测效率高。
47.结合关于电缆隧道渗水检测与识别的功能需求分析，算法的检测精度和对复杂背景环境的适应能力是最为重要的。而且，在电缆隧道中，巡检机器人从当前巡检点运动至下一巡检点的时间为2秒到几分钟不等，故对实时性要求相对较低。因此，本发明基于faster r-cnn算法完成电缆隧道渗水现象的自动检测与识别。
48.图1为本发明基于巡检机器人的电缆隧道内壁渗水检测方法流程图。如图所示，本发明提供了一种基于巡检机器人的电缆隧道内壁渗水检测方法，包括：
49.步骤s1，获取训练样本集，基于所述训练样本集对特征提取网络进行训练，得到训练好的所述特征提取网络，并基于训练好的所述特征提取网络，得到特征图。
50.具体地，获取电缆隧道的原始图像集。由于巡检机器人在固定巡检路径上行进，对同一渗水场景可采集的不同角度和不同距离的图片是有限的，而通过手持手机则可以选择任意角度和距离进行拍摄，能够覆盖渗漏可能发生在各种位置的情况；因此，为了训练方便，本实施例中，所述原始图像集通过手机针对不同场景下的渗水现象从不同角度和不同距离拍摄收集了共1400张图片，每张图片可能有一个或多个渗水区域，每张图片的分辨率大小均为1600*1200，其中部分图像如图2所示，图2(a)、图2(b)、图2(c)和图2(d)分别为不同场景下的电缆隧道图片。
51.对所述原始图像集进行标记，并按照渗漏目标在图片中所占像素区域尺度大小进行统计分析，将目标分为三类，得到所述训练样本集。具体为渗漏目标的像素小于或等于50*50的定义为小型目标、大于50*50且小于150*150的定义为中型目标和大于或等于150*150的定义为大型目标，如表1所示。
52.表1渗漏目标尺度分类
[0053][0054]
特征提取网络作用是提取输入图像的深层卷积特征图，经典的卷积神经网络模型有lenet-5、alexnet、zfnet、vggnet和googlenet等。其中，faster r-cnn算法主要采用zfnet或vggnet网络，与zfnet网络相比，vggnet网络通过多个小型卷积层串联大卷积核，使得网络的非线性操作增多、参数量减少，多个小型卷积核的特征学习能力优于大卷积核。
[0055]
对比两个网络架构，vggnet网络层数更多，网络结构更加灵活，这意味着可供提取分析的不同尺度特征图越多，应用于多尺度目标检测问题时相比zfnet网络更有优势。因此，本实施例选用vggnet网络作为faster r-cnn的主网络，进行特征提取，具体选用vgg16。
[0056]
如图3所示，本实施例中，所述特征提取网络包括13个卷积层和4个池化层，依次分别定义为第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层和第十三卷积层。
[0057]
所述第五卷积层输出第一尺度特征图fma；所述第九卷积层输出第二尺度特征图
fmb；所述第十三卷积层输出第三尺度特征图fmc；所述特征图包括所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图。
[0058]
步骤s2，基于所述特征图对候选框网络进行训练，得到训练好的所述候选框网络，并基于训练好的所述候选框网络，得到候选框。
[0059]
候选框网络在目标检测中被用来生成锚点窗口，同时判断框内图像为目标或背景的概率并初步提取候选框。本实施例中，候选框网络为rpn网络，比搜索选择算法的速度更快，使得目标检测速率大幅提高，更符合实际应用中对算法实时性的要求。
[0060]
所述候选框网络的步骤为：首先，基于设定滑动窗口在所述特征图上按设定步长进行扫描，在这个过程中得到设定大小和设定尺寸的锚点窗口anchor(也称为初始候选区域)，并从中选出预测候选框；得到初始候选区域，然后，将所述初始预测候选框进行映射得到d维的向量；最后，将所述向量输入到后面的边框回归层和分类层，经过平移和尺度缩放，得到预测候选框。
[0061]
本实施例中，为实现多尺度渗漏目标的检测，对应主网络不同卷积层输出的特征图，设计3个具有不同锚框规格的rpn网络生成目标候选框，分别为rpna、rpnb、rpnc。其中，rpna对应所述第一尺度特征图fma，用于生成小型目标建议区域，rpnb对应所述第二尺度特征图fmb，用于生成中型目标建议区域，rpnc对应所述第三尺度特征图fmc，用于生成大型目标建议区域。
[0062]
锚框的大小和纵横比越接近真实框，则回归操作后的预测候选框越接近真实框，渗漏目标区域的定位也就越精确。但实际图片中，渗漏目标区域尺寸跨度较大，适当增多锚框的数量可以保证兼顾更多尺度的渗漏区域，提升准确率。因此，综合考虑检测精度和效率，本实施例中，rpna的大小设为22*22、34*34和48*48，rpnb的大小设为56*56、94*94和128*128，rpnc的大小设为148*148、256*256和512*512，候选框网络与滑动窗口的设计如表2所示。
[0063]
表2候选框网络与滑动窗口的设计
[0064][0065]
设v为rpn需要学习的超参数，sm为某尺度特征图，m∈m，m取1、2和3，分别表示所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图。
[0066]
其中，
[0067]
式中：为第m个尺度特征图中的第i个样本；yi为样本真实标签(取0或1)；为表示第m个尺度特征图中的第i个样本的样本框的中心点坐标、长和宽到真实框的偏移量。
[0068]
定义候选框网络的分类损失函数为：
[0069][0070]
其中，表示预测为前景的概率，取值为0-1。
[0071]
定义候选框网络的边框回归损失函数为：
[0072][0073]
其中，bi为(b
i,x
,b
i,y
,b
i,w
,b
i,h
)，表示第m个尺度特征图中的第i个样本的预测候选框的中心点坐标、长和宽到真实框的偏移量。
[0074]
其中，对于鲁棒损失函数
[0075][0076]
式中：
[0077]
进一步定义候选框网络的损失函数为：
[0078][0079]
式中：λ为平衡因子，用于平衡分类损失和边框回归损失，本实施例中，λ＝1。
[0080]
得到：
[0081][0082]
式中：αm为第m个尺度特征图的损失权重，本实施例中，α1＝0.7、α2＝0.9、α3＝1。
[0083]
基于上式，重复修改所述候选框网络的超参数，进行迭代优化，得到训练好的所述候选框网络。
[0084]
步骤s3，基于所述特征图和所述候选框对检测网络进行训练，得到训练好的所述检测网络。
[0085]
检测网络由roi池化层以及全连接网络组成的分类层与回归层构成。检测网络首先采用roi池化将rpn产生的预测候选框分成均匀的w*h个子网络区域，w*h为超参数，然后对每个子网络区域进行最大池化操作。
[0086]
在对小型目标进行检测时，如大小为24*24的目标，则所述第一尺度特征图大小为6*6，即虽然第五卷积层输出的特征信息比第十三卷积层更丰富，但无法满足7*7的roi池化所需的特征信息。针对这一问题，一般的解决方法是通过直接对输入图像进行上采样来增加其分辨率，虽可有效提升小型渗漏目标的检测正确率，但输入图像的尺寸增加也会导致计算量成倍增加，并需要更大的磁盘空间，严重影响检测效率，因此该方法并不是最优的解决方案。本实施例中，所述检测网络包括第一检测子网络和第二检测子网络。所述第一检测
子网络用于小型目标的检测，所述第二检测子网络用于中型目标和大型目标的检测。所述第二检测子网络的网络结构与原始faster r-cnn中检测网络结构一致；如图4所示，所述第一检测子网络对所述第一尺度特征图进行双线性插值上采样，得到上采样数据，然后再进行roi池化。相比于直接对输入图像进行上采样的方式，去卷积不会过多增加存储空间和计算复杂度，且对更深层次的卷积特征图不会造成影响。
[0087]
设w为检测网络需要学习的超参数，定义第n个检测子网络的损失函数为：
[0088][0089]
式中：n∈[1,n]；n为检测子网络的个数，本实施例中即为2；n代表第n个检测子网络，
[0090]
设正样本由表示，负样本由表示，rpn从不同卷积层提取不同尺度的预测候选框，可能出现某卷积层正样本数量不足的情况，即故为保证训练的稳定性，采用下式：
[0091][0092]
对候选框网络的分类损失函数进行调整，将负样本和正样本的比例设为3，保持损失函数中正负样本比例的均衡。本实施例设定预测候选框与真实框的交并比iou》0.7为正样本，0.1《iou《0.4为负样本。
[0093]
式中：γ表示负样本与正样本的比例。
[0094]
则检测网络总的损失函数为：
[0095][0096]
式中：βn为第n个检测子网络的损失权重，β1＝β2＝1。
[0097]
基于上式重复修改所述第一检测子网络和所述第二检测子网络的超参数，进行迭代优化，得到训练好的所述第一检测子网络和所述第二检测子网络。
[0098]
步骤s4，基于训练好的所述特征提取网络、所述候选框网络和所述检测网络对巡检机器人获取的图像进行识别，得到是否发生渗水。
[0099]
为验证本发明所提出的检测方法的有效性和可靠性，对原始faster r-cnn、yolo及本实施例多尺度faster r-cnn算法的检测性能进行了测试和对比分析，实验室图形工作站的软硬件环境如表3所示。
[0100]
表3训练和测试环境
[0101][0102]
为了方便应用faster r-cnn进行训练，本实施例将原始图片数据集调整为pascal voc2012标准格式，并按照8:2的比例将其中1120张图片作为训练样本集，并使用labelimg软件对其进行标记，其余280张图片作为测试数据集。训练样本集和测试数据集主要通过从样本库随机采样的方式构成，以此保证训练集和测试集图像中大型目标、中型目标和小型目标所占的比例与样本库近似相等。
[0103]
其中，识别出有渗水区域的部分图片的检测结果如图5所示。
[0104]
在同等硬件配置条件下，对本实施例数据集应用原始faster r-cnn和yolo算法进行训练和检测实验，与本实施例算法的检测效果进行对比，选取的评价指标包括检测精度和检测速度。其中，以平均单张图片的检测时间为检测速度的评估指标，单位为(帧.s-1
)。不同算法检测精度和速度的实验结果对比如表4所示。
[0105]
表4不同算法检测精度和速度对比
[0106][0107]
从实验结果分析可知，在检测精度上，本文faster r-cnn取得了最佳的效果，其原因在于算法针对不同尺度大小渗漏区域的特征提取过程做针对性处理，小尺度渗漏区域的特征得到较为完善的保留；同时，相比于其他算法，针对渗漏区域目标的形状特征对锚框的大小进行了合理设置，尽可能多的覆盖了渗漏区域的尺度范围，所以最终产生的初始候选框更接近真实渗漏区域的大小。
[0108]
在检测速度上，本实施例采用的多尺度faster r-cnn的检测速度为8帧/s，虽略低于原始faster r-cnn和yolo，但通过对电缆隧道巡检任务流程和特点的分析，每个巡检点只采集1～3张图片进行检测，且根据相邻两巡检点间距离的不同，巡检机器人从完成当前图像采集到进行下一次采集的时间间隔为2秒到几分钟不等。因此，本实施例算法的检测效率能够满足巡检的实时性要求。相比于原始faster r-cnn，算法略慢的原因是增设了检测小型目标和中型目标的分支，使得计算复杂度提高，检测效率受到影响。而yolo算法的检测速度明显快于faster r-cnn是由于其极大地简化了候选框的生成过程，这也是yolo算法在
检测精度上低于原始faster r-cnn的另一原因。
[0109]
因此，保留低层特征的多尺度faster r-cnn虽会产生额外的计算开销，使得检测实时性有所降低，但仍然在可以接受的范围内，即可以胜任电缆隧道渗水区域目标检测任务。
[0110]
本发明能够实现不同背景、不同尺度的电缆隧道渗水区域目标检测，不易出现误检，准确性和实时性均能满足电缆隧道渗水区域目标检测任务的应用需求。
[0111]
图6为本发明基于巡检机器人的电缆隧道内壁渗水检测系统结构图。如图所示，本发明提供了一种基于巡检机器人的电缆隧道内壁渗水检测系统，包括：特征提取模块1、候选框模块2、检测模块3和图像识别模块4。
[0112]
所述特征提取模块获取训练样本集，基于所述训练样本集对特征提取网络进行训练，得到训练好的所述特征提取网络，并基于训练好的所述特征提取网络，得到特征图。
[0113]
所述候选框模块基于所述特征图对候选框网络进行训练，得到训练好的所述候选框网络，并基于训练好的所述候选框网络，得到候选框。
[0114]
所述检测模块基于所述特征图和所述候选框对检测网络进行训练，得到训练好的所述检测网络。
[0115]
所述图像识别模块基于训练好的所述特征提取网络、所述候选框网络和所述检测网络对巡检机器人获取的图像进行识别，得到是否发生渗水。
[0116]
作为一种可选的实施方式，本发明所述特征提取网络选用vggnet网络模型，包括13个卷积层和4个池化层，依次分别定义为第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层、第五卷积层、第六卷积层、第七卷积层、第三池化层、第八卷积层、第九卷积层、第十卷积层、第四池化层、第十一卷积层、第十二卷积层和第十三卷积层。
[0117]
所述第五卷积层输出第一尺度特征图；所述第九卷积层输出第二尺度特征图；所述第十三卷积层输出第三尺度特征图；所述特征图包括所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图。
[0118]
作为一种可选的实施方式，本发明所述候选框模块2包括：初始化单元、迭代单元和候选框样本集单元。
[0119]
所述初始化单元对所述候选框网络的超参数进行初始化，得到初始化的所述候选框网络；初始化的所述候选框网络，基于设定滑动窗口在所述特征图上按设定步长进行扫描，得到设定大小和设定尺寸的初始候选区域集，并基于所述初始候选区域集得到初始预测候选框；将所述初始预测候选框进行映射得到d维的向量；对所述向量进行平移和尺度缩放，得到预测候选框。
[0120]
所述迭代单元重复修改所述候选框网络的超参数，进行迭代优化，得到训练好的所述候选框网络。
[0121]
所述候选框样本集单元将所述特征图输入训练好的所述候选框网络，得到所述候选框。
[0122]
作为一种可选的实施方式，本发明所述检测网络包括第一检测子网络和第二检测子网络；
[0123]
所述第一检测子网络基于双线性插值上采样方法，对所述第一尺度特征图进行去卷积，得到上采样数据；基于所述上采样数据和所述候选框得到第一尺度预测框；
[0124]
所述第二检测子网络基于所述第二尺度特征图和所述候选框得到第二尺度预测框；基于所述第三尺度特征图和所述候选框得到第三尺度预测框；
[0125]
重复修改所述第一检测子网络和所述第二检测子网络的超参数，进行迭代优化，得到训练好的所述第一检测子网络和所述第二检测子网络。
[0126]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0127]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。