一种基于机器视觉的输电线路智能巡检系统

1.本发明涉及输电线路巡检技术领域，具体涉及一种基于机器视觉的输电线路智能巡检系统。


背景技术：

2.输电线路是电力系统的重要组成部分，它担负着电能的传输与分配任务，同时对供电安全性、稳定性的重要程度不言而喻。随着国家经济的快速发展，输电线路总里程数也随着逐年快速增长，且输电线路上的电力设备种类较多，参考国家电网《架空输电线路运维管理规定(国网(运检/4)305—2014)》，将架空线路设备缺陷管理系统分为基础、杆塔、导地线、绝缘子、金具、接地装置、通道环境、附属设施8大类，规定了架空输电线路电力设备包含了绝缘子、电力杆塔、金具等878种缺陷。由于输电线路跨度较长，电力设备长期暴露于户外，不可避免地出现电力设备老化、损伤和锈蚀，给电网的安全稳定运行留下了极大的隐患。因此，为了确保持续可靠的电力传输，电力公司采取不同的巡检方式定期巡检输电线路和配电网。
3.传统的人工巡检存在工作效率低、任务重、检测设备落后等缺陷，已难以有效保障输电线路安全稳定运行；滚动机器人可以近距离检查电力线，但机器人无法穿过电力线上的绝缘子等障碍物，因此，机器人巡检离不开人工干预，且机器人在电力线上滑动可能会损坏电力线；直升机搭载摄像头、红外传感器和紫外线传感器等设备巡检输电线路，可以有效地提高巡检效率和精度，但是直升机的维修和保养成本较高；相比直升机巡检，无人机巡检输电线路具有成本低、效率高的优势，在空间和时间上灵活性大，复杂环境下操作更加安全、方便。然而，无人机巡检势必产生海量的巡检图像，针对大量的巡检图像中的电力设备检测若主要采用人工检测的方式，不仅消耗大量的人力资源，而且由于主观等因素影响容易造成漏检或误判。
4.随着图像处理技术、无人机控制技术和计算机视觉技术的日渐成熟，以大数据、物联网、云计算、人工智能等技术为依托，有必要构建输电线路智能巡检系统，推进输电线路巡检朝智能化和自动化方向发展。


技术实现要素：

5.(一)解决的技术问题
6.针对上述现有输电线路巡检自动化水平不高的问题，本发明提供了一种基于机器视觉的输电线路智能巡检系统，有效地提升输电线路智能巡检的一体化、信息化、智能化水平。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.一种基于机器视觉的输电线路智能巡检系统，包括无人机控制系统、智能巡检终端、智能管控平台，所述无人机控制系统、智能巡检终端安装在无人机本体上，所述无人机
控制系统与智能巡检终端通过通信模块进行无线通信；所述智能巡检终端通过无线传感网络与智能管控平台相连接；所述智能管控平台包括存储数据库、智能处理服务器、可视化终端，所述存储数据库、智能处理服务器、可视化终端通过光纤通信网相互连接。
10.根据本发明的一实施例，所述无人机控制系统包括控制器、运动控制器、gps定位模块、存储模块、通信模块、gis模块、电源模块，所述运动控制器、gps定位模块、存储模块、通信模块、gis模块、电源模块为控制器的外围电路分别与控制器相连接。
11.根据本发明的一实施例，所述智能巡检终端包括巡检服务器、图像处理模块、人机交互模块、存储模块、深度学习模块、传感器设备、控制信号接收模块、线路规划模块、通信模块、智能身份识别模块、数据信号发射处理模块，所述图像处理模块、人机交互模块、存储模块、深度学习模块、传感器设备、控制信号接收模块、线路规划模块、通信模块、智能身份识别模块、数据信号发射处理模块为巡检服务器的外围电路分别与巡检服务器相连接。
12.根据本发明的一实施例，所述传感器设备包括杆塔监测设备、线路监测设备、机载监测设备，所述机载监测设备包括光学相机、红外线和紫外线相机、激光扫描仪。
13.根据本发明的一实施例，所述智能处理服务器通过深度学习技术用于输电线路实时在线监测，智能巡检终端中的巡检服务器将传感器设备采集的图像或视频通过通信系统实时传输到智能管控平台的存储数据库、智能处理服务器，智能处理服务器对采集到的输电线路图像和视频分别进行基于图像的观测对象静态状态检测和基于视频的观测对象动态状态检测，当有危急情况发生，通过状态检测结果，向可视化终端发出预警命令并发送具体危急情况描述信息，同时智能处理服务器发出控制信号给智能巡检终端，控制智能巡检终端对输电线路可疑缺陷位置进行持续的重点检测。
14.根据本发明的一实施例，所述智能处理服务器进行电力设备目标识别及缺陷检测，包括以下步骤：
15.s1、样本制作：从巡检服务器传输得到的照片与视频中选择大规模图片进行人工标识处理，将其中输电线路电力设备名称、位置进行标注，将80％数量的图片当成训练数据集，将剩余20％数量的图像当成测试数据集，建立不同电力设备及缺陷检测的深度学习网络模型；
16.s2、模型训练：把人工标注数据输入深度学习网络模型(yolo)中进行学习训练，通过随机梯度下降技术对涉及的模型参数进行更新处理；
17.s3、模型测试和调整：针对完成训练的深度学习模型进行测试，确定模型精度，按照精度值确定是否需要继续增加训练数据，或者是否需对模型参数进行调整，以达到既定要求精度；
18.s4、目标检测：将训练好的深度学习模型用于电力设备识别及缺陷检测。
19.根据本发明的一实施例，所述智能处理服务器包括深度学习服务器，所述服务器包括corei77820kcpu，x299a主板，ddr3240064g内存，nvidiagpu。
20.根据本发明的一实施例，所述智能巡检终端中的深度学习模块包括深度学习网络模型，所述深度学习网络模型是智能处理服务器训练好的深度学习网络模型经过剪枝、压缩得到的网络模型(mobilenet-yolo)，所述深度学习模块通过多目标识别技术从传感器设备采集的图片或视频识别电力设备目标并对电力设备是否存在缺陷以及缺陷种类进行判断。
21.根据本发明的一实施例，所述深度学习模块进行多目标缺陷检测包括以下步骤：
22.1)通过卷积神经网络从原始输电线路不同电力设备缺陷图像中对缺陷卷积特征进行提取；
23.2)对可能有缺陷电力设备的候选区域进行提取；
24.3)针对提取的候选区域，通过共享卷积层把所有候选区域的特征图划分成均匀地块，针对所有划分后各块提取卷积特征，把所有候选区域特征向量传输给分类器完成分类处理，确定所属电力设备种类，并确定缺陷类型，回归处包含输电线路电力设备的矩形区域坐标。
25.根据本发明的一实施例，所述深度学习模块包括基于android设备的骁龙845处理器。
26.(三)有益效果
27.本发明的有益效果：一种基于机器视觉的输电线路智能巡检系统，由智能巡检终端、无人机控制系统、智能管控平台构成的输电线路智能巡检系统可以实现电力设备、巡检人员、巡检数据的泛在物联，有效地提升输电线路智能巡检的一体化、信息化、智能化水平。本发明通过多手段采集真实输电线路巡检数据，利用智能管控平台对输电线路海量巡检数据深度融合，实现输电线路巡检数据共享、电力设备及缺陷在线检测、无人机实时监控等，有效提高输电线路巡检效率，为巡检运维决策提供有力数据支撑。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1为本发明智能巡检系统原理框图；
30.图2为本发明无人机控制系统原理框图；
31.图3为本发明智能巡检终端原理框图；
32.图4为智能处理服务器进行目标检测流程图；
33.图5为深度学习模块进行多目标缺陷检测流程图；
34.图6为b/s结构原理框图；
35.图7为智能管控平台b/s架构原理框图。
具体实施方式
36.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.结合图1，一种基于机器视觉的输电线路智能巡检系统，包括无人机控制系统、智能巡检终端、智能管控平台，所述无人机控制系统、智能巡检终端安装在无人机本体上，所述无人机控制系统与智能巡检终端通过通信模块进行无线通信。所述智能巡检终端通过无
线传感网络与智能管控平台相连接；所述智能管控平台包括存储数据库、智能处理服务器、可视化终端，所述存储数据库、智能处理服务器、可视化终端通过光纤通信网相互连接。无人机搭载传感器设备用于巡检输电线路。
38.结合图2，无人机控制系统包括控制器、运动控制器、gps定位模块、存储模块、通信模块、gis模块、电源模块，所述运动控制器、gps定位模块、存储模块、通信模块、gis模块、电源模块为控制器的外围电路分别与控制器相连接。控制器是无人机控制系统的核心用于完成无人机的整体控制；运动控制器用于完成无人机的运动控制；gps模块提供位置信息，用于无人机定位；存储模块用于存储控制信息及运动轨迹数据等；通信模块采用无线传感模块，可以是gprs或zigbee路由模块，用于无人机与智能巡检终端及地面遥控器无线通信；gis模块用于提供巡检作业区域地图；电源模块用于无人机控制系统的电能供应。
39.四旋翼无人机是输电线路巡检的主要载体，也是最重要的部分，保障无人机安全、可靠运行是利用智能巡检终端进行输电线路在线巡检的基础。无人机控制系统主要是指无人机内部的控制系统，用于自平衡、自动调整飞行角度、故障保护等。导航系统作为无人机巡检输电线路的定位手段，借助gps定位模块可以较准确地定位无人机的位置。同时通过智能管控平台返回其方位和所拍摄图形的位置，以便巡检人员判断无人机与电力设备所在的具体位置。智能巡检终端和智能管控平台是处理无人机拍摄数据的主要渠道，无人机将拍摄的图片、视频、地理位置等其他信息上传至巡检服务器，进而传输至智能处理服务器和存储数据库。智能处理服务器通过图像识别或人为判断，可以判断该处电力设备的运行状态。智能处理服务器可同时向无人机控制系统和智能巡检终端发送控制指令，方便操作人员更全面地查看某电力设备。地理信息系统(geographic information system或geo-information system，gis)有时又称为"地学信息系统"。它是一种特定的十分重要的空间信息系统。它是在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。
40.结合图3，智能巡检终端包括巡检服务器、图像处理模块、人机交互模块、存储模块、深度学习模块、传感器设备、控制信号接收模块、线路规划模块、通信模块、智能身份识别模块、数据信号发射处理模块，所述图像处理模块、人机交互模块、存储模块、深度学习模块、传感器设备、控制信号接收模块、线路规划模块、通信模块、智能身份识别模块、数据信号发射处理模块为巡检服务器的外围电路分别与巡检服务器相连接。巡检服务器是智能巡检终端的核心，用于完成图像的采集与处理、控制信号的发送与接收、数据的存储与传输、电力设备目标识别及缺陷检测等；图像处理模块的传感器采集到的图像进行去抖、降噪处理等操作；人机交互模块可以用于输电线路巡检实时画面显示；存储模块用于存储线路巡检图像及视频数据；深度学习模块用于巡检图像实时在线检测；传感器设备用于采集输电线路及线路走廊图像和视频数据信息；控制信号接收模块用于接收智能管控平台发布的控制信息；线路规划模块用于无人机飞行路线规划，并发出控制信号给无人机控制系统；通信模块可以为gprs或zigbee路由模块，一方面智能巡检终端与无人机控制系统进行无线通信，另一方面智能巡检终端与智能管控平台通过4g或5g通信网络进行通信；智能身份识别模块对作业人员的身份和资质进行智能化管理，智能身份识别模块可以采用人脸识别、声纹识别、指纹识别等生物识别技术；数据信号发射处理模块用于发布指令给无人机控制系统。
41.传感器设备包括杆塔监测设备、线路监测设备、机载监测设备，所述机载监测设备包括光学相机、红外线和紫外线相机、激光扫描仪。输电线路智能巡检系统的传感层主要分为杆塔监测、线路监测、机载监测三大类。杆塔监测主要包括杆塔沉降、倾斜、倒伏等状态的监测；线路监测主要包括输电线路环境通道、微气象、导线温度、覆冰、弧垂、舞动等参数的监测。机载监测设备如光学相机用于获取杆塔、输电线路、线路走廊的光学图像，诊断绝缘子爆裂缺失、金具锈蚀、导地线断股等缺陷；红外线和紫外线用于检测金具、电力线以及绝缘子的发热状况及其异常放电现象；激光扫描仪获取电力线走廊的高精度云数据，生成线路走廊三维模型，实现电力线与障碍物之间距离的测量。
42.智能处理服务器通过深度学习技术用于输电线路实时在线监测，智能巡检终端中的巡检服务器将传感器设备采集的图像或视频通过通信系统实时传输到智能管控平台的存储数据库、智能处理服务器，智能处理服务器对采集到的输电线路图像和视频分别进行基于图像的观测对象静态状态检测和基于视频的观测对象动态状态检测，当有危急情况发生，通过状态检测结果，向可视化终端发出预警命令并发送具体危急情况描述信息，同时智能处理服务器发出控制信号给智能巡检终端，控制智能巡检终端对输电线路可疑缺陷位置进行持续的重点检测。结合图4，智能处理服务器进行电力设备目标识别及缺陷检测，包括以下步骤：
43.s1、样本制作：从巡检服务器传输得到的照片与视频中选择大规模图片进行人工标识处理，将其中输电线路电力设备名称、位置进行标注，将80％数量的图片当成训练数据集，将剩余20％数量的图像当成测试数据集，建立不同电力设备及缺陷检测的深度学习网络模型；
44.s2、模型训练：把人工标注数据输入深度学习网络模型(yolo)中进行学习训练，通过随机梯度下降技术对涉及的模型参数进行更新处理；
45.s3、模型测试和调整：针对完成训练的深度学习模型进行测试，确定模型精度，按照精度值确定是否需要继续增加训练数据，或者是否需对模型参数进行调整，以达到既定要求精度；
46.s4、目标检测：将训练好的深度学习模型用于电力设备识别及缺陷检测。
47.智能处理服务器包括深度学习服务器，所述服务器包括corei77820kcpu，x299a主板，ddr3240064g内存，nvidiagpu。可视化终端涵盖输电巡视、检测、检修、工程验收管理、项目管理、缺陷隐患管理等各项基本业务功能，可在现场替代作业指导书和现场记录，使用方便。
48.智能管控平台主要依托存储数据库、智能处理服务器，通过数据存取、图像或视频特征提取、计划编制、项目管理、数据提取和统计、报表分析等方式，以可视化终端为平台完成可视化的成果输出和缺陷闭环管理，服务于管理人员。
49.结合图6，智能管控平台的网络结构采用b/s(浏览器/服务器)模式，该模式具有分布式、功能扩展方便和便于共享的优势。
50.结合图7，在该网络系统结构下，可视化终端可简单通过www浏览器界面实现系统使用，可视化终端包括pc端和移动app端。一部分简单的事务逻辑可以在可视化终端实现，而复杂的主要事务逻辑在智能处理服务器端实现。智能管控平台采用web页面展示，可实现输电移动作业各项工作开展情况的实时统计，可在服务端派发各种工作任务，对无人机实
施传输的图像进行自动识别，判断电力设备缺陷，提高了输电线路巡检一体化管理的效率。
51.智能巡检终端中的深度学习模块包括深度学习网络模型，所述深度学习网络模型是智能处理服务器训练好的深度学习网络模型经过剪枝、压缩得到的网络模型(mobilenet-yolo)，所述深度学习模块通过多目标识别技术从传感器设备采集的图片或视频识别电力设备目标并对电力设备是否存在缺陷以及缺陷种类进行判断。
52.结合图5，深度学习模块进行多目标缺陷检测包括以下步骤：
53.1)通过卷积神经网络从原始输电线路不同电力设备缺陷图像中对缺陷卷积特征进行提取；
54.2)对可能有缺陷电力设备的候选区域进行提取；
55.3)针对提取的候选区域，通过共享卷积层把所有候选区域的特征图划分成均匀地块，针对所有划分后各块提取卷积特征，把所有候选区域特征向量传输给分类器完成分类处理，确定所属电力设备种类，并确定缺陷类型，回归处包含输电线路电力设备的矩形区域坐标。
56.深度学习模块包括基于android设备的骁龙845处理器。
57.综上所述，本发明实施例，本发明一种基于基于机器视觉的输电线路智能巡检系统，由智能巡检终端、无人机控制系统、智能管控平台构成的输电线路智能巡检系统可以实现电力设备、巡检人员、巡检数据的泛在物联，有效地提升输电线路智能巡检的一体化、信息化、智能化水平。本发明通过多手段采集真实输电线路巡检数据，利用智能管控平台对输电线路海量巡检数据深度融合，实现输电线路巡检数据共享、电力设备及缺陷在线检测、无人机实时监控等，有效提高输电线路巡检效率，为巡检运维决策提供有力数据支撑。
58.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。