一种基于视觉伺服的自适应电力杆塔巡检方法与流程

本发明涉及无人机巡检，具体是一种基于视觉伺服的自适应电力杆塔巡检方法。

背景技术：

1、输电线路是电力传输的基本载体，承担安全稳定输送电能的重要任务。长期暴露在外的输电线路会受雨雪、温度骤变等自然环境或不可控外力的影响，导致相关设备中绝缘子脱落、金具类锈蚀、导线断股等电力故障，从而影响电力的正常使用。为了掌握输电线路的运行状况，电网相关部门定期组织线路的巡检作业，及时准确的发现并排除故障。但随着输电线路的快速建设，电力工作人员的巡检工作量也大幅上升，传统的人工巡检方式早已不能满足当前工作量的需求，目前人工和无人机结合的巡检方式不仅对操作人员的能力和经验要求极高，而且航线规划效率及便捷性较低，因此，智能化无人机自适应巡检是未来的发展方向。

2、在结合无人机开展电力巡检工作中，无人机需要能够感知到自身所处的环境，并基于此解决自身定位及目标定位等一系列问题。无人机靠gps或融合其他传感器定位精度有限，往往在一条线路上的巡检图像出现不稳定的偏移，采集的巡检图像也有很多不满足要求，会导致检测缺陷的漏检和效果不明显问题，严重影响了巡检效率。而高精度的定位系统rtk差分技术需要在地面固定一个基站来提高小范围的定位精度，对大面积杆塔巡检是不适用的。

3、因此，实现智能化的、采集巡检图片质量高、巡检效率高的无人机自适应巡检电力杆塔是非常有意义的。

技术实现思路

1、为了弥补现有技术问题的不足，本发明的目的在于提供一种基于视觉伺服的自适应电力杆塔巡检方法，根据航拍巡检路线飞至某个航拍点时，使用单目视觉定位方法自适应调整无人机的姿态位置，满足该拍摄点的拍摄质量要求，提高巡检质量；另外，还通过搭载图像识别技术生成局部杆塔航拍巡检路，并基于此规划出全局精细化巡检路线，实现智能化巡检，提高巡检效率。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于视觉伺服的自适应电力杆塔巡检方法，包括以下步骤：

4、(1)自适应巡检前准备

5、无人机通过读取第一个杆塔台账的经纬度坐标，或者通过人工操控飞至到第一个巡检的杆塔位置，然后选择自适应巡检模式；

6、(2)识别杆塔类别，生成局部杆塔航拍路线

7、使用图像识别技术识别出杆塔类别，然后根据杆塔类别，自适应匹配对应的航拍规则模板，对航拍规则模板中航拍点进行航迹规划，从而生成局部杆塔航拍路线；

8、(3)航拍点无人机姿态位置自适应调整

9、在无人机巡检前确定当前无人机搭载的相机成像模型的内外参数、畸变系数，在无人机根据局部杆塔航拍路线到达航拍点时，通过单目视觉定位方法计算出当平视拍摄时无人机相对标志物中心上下垂直和左右水平的距离，以及与标志物中心连接线相对相机光轴在水平方向上的偏移角α三个参数，或者当俯视拍摄时无人机相对标志物中心的左右水平和前后水平的距离两个参数；根据获取到的参数和拍摄质量中所需要的部位点的细节要求，适当的自适应调整无人机的相对空间位置；

10、(4)识别下一个杆塔

11、当完成当下杆塔的航拍巡检点路线后，无人机飞至当下杆塔的正上方，并通过图像识别技术识别前方是否有杆塔，如果有将飞至下一个杆塔，按步骤(2)、(3)继续工作，如果无将完成此次全部杆塔巡检任务；

12、(5)生成全局精细化路线

13、全部杆塔巡检完成后，基于每个局部杆塔的巡检路线信息，结合外部环境约束和无人机物理性能约束条件，利用搭载改进的粒子群和rrt路径规划算法，规划出动态自适应的最优全局航迹，最后采用均匀b样条曲线对规划出的航迹进行平滑处理,消掉航迹尖角使航迹更具有可飞性。

14、本发明中采用轻量化网络yolov5-fasternet完成图像识别，轻量化网络yolov5-fasternet是通过将c3模块与pconv、pwconv相结合，构建出适用于yolov5的c3-faster结构，并替换yolov5s模的主干网络c3模块。

15、本发明中实现局部杆塔航拍路线规划具体为：

16、使用三维数字高程模型对航拍规则模板的区域进行数学建模，抽象化实际环境，结合快速探索随机树星算法、dubins运算对航点进行航迹规划，从而生成航点自适应动态拍摄巡检路线。

17、本发明中采使用张正友相机标定方法确定当前无人机搭载的相机成像模型的内外参数、畸变系数，

18、具体是用相机在不同角度下拍摄多幅棋盘格标定板图像来进行相机标定,并对棋盘格图像的角点进行提取，通过各个角点的坐标来求解相机的内外参数，然后采用最小二乘法求解径向畸变系数k1、k2。

19、本发明中通过单目视觉定位方法计算出当平视拍摄时无人机相对标志物中心上下垂直和左右水平的距离，以及与标志物中心连接线相对相机光轴在水平方向上的偏移角α三个参数；

20、首先需要通过轻量级网络识别出图像中的标志物，并根据相机成像模型的内外参数、畸变系数获得标志物预测框去畸变后的左上角像素坐标(μp，vp)和右下角像素坐标(μq，vq)；由于图像中可能生成不止一个预测框，需要从中选择一个距离无人机最近的目标进行巡检；由近大远小的透视关系可知，面积最大的预测框对应距离无人机最近的检测目标；计算公式如下：

21、s＝(μq-μp)×(vq-vp)                                         (2)

22、同时由公式3计算出标志物在成像平面中的像素坐标系下中心点的x轴、y轴方向上的位置f1、f2，以及尺寸f3，单位为像素；

23、

24、由可知的成像平面中标志物中心在相机坐标系的位置(f1，-f2，f)，通过三角形的相似性可计算出三维空间中标志物中心在相机坐标系的坐标(d1，-d2，d)，其中d3为已知的标志物长度；

25、

26、d1＝f1×d/fx

27、d2＝f2×d/fy

28、α＝arctan(d1/d)                                          (4)

29、拍摄角度为平视和俯视两个角度，当为平视时，相机的朝向和无人机悬停时的水平正前方为同一方向，α为标志物中心与相机光心的连线相对于相机光轴在水平方向上的偏移角，无人机自身旋转角度α即可使标志物出现在无人机的正前方，d1和d2分别为无人机相对标志物中心上下垂直和左右水平的距离；当为俯视时，相机的朝向和无人机悬停时的垂直正下方为同一方向，d1和d2分别为无人机相对标志物中心前后水平和左右水平的距离。

30、与现有技术相比，本发明的有益效果是：

31、1、本发明的无人机在到达某个拍摄点时，通过识别出某个已知尺寸的标志物，然后通过单目视觉定位计算出无人机相对其的深度、高度以及偏移角度，并以此调整无人机的位置姿态，从面解决在拍摄航点时由于定位设备的定位能力不稳定、误差大等导致拍摄图片不规范、影响缺陷检测准确度等问题。

32、2、本发明通过搭载的轻量化识别网络yolov5-fasternet识别杆塔及其类别，自动匹配拍摄规则模板，然后结合三维数字高程模型、dubins运算等技术生成当下局部杆塔的自适应动态航点巡检拍摄路线，最终通过整合每个局部杆塔的航点拍摄路线，生成全局的杆塔自适应精细化巡检路线，降低对人工依赖，提高巡检效率。

33、3、本发明提出使用一种yolov5-fasternet轻量化网络作为作为巡检设备上的检测识别网络，其主要是通过将fasternet的核心应用到yolov5中，实现yolov5的轻量化改进，使其在推理速度和精度上都有所提升，适应便携式智能计算平台的gpu的性能。