一种无人机自主巡视点位的优化方法及目标状态识别方法与流程

本发明涉及电力设备智能巡检，尤其是指一种无人机自主巡视点位的优化方法及目标状态识别方法。

背景技术：

1、在电力系统领域中，基于对电网系统中线路、杆塔及其他相关配套安全状态检查并修复的需求，通常需要对电网系统安排巡视，以便及时掌握输电线路及电力设备的运行状况，发现并消除线路、杆塔以及设备缺陷，预防事故发生。但是，传统的人工巡检方式，工作量大、耗时长、人工成本高、困难程度大且难以及时发现异常状况，存在很大的安全风险；基于上述巡视问题，近年来，随着无人机技术的不断发展和应用，利用无人机进行电网系统巡视的方式被广泛应用。

2、目前，现有的无人机自主巡视点位是人工根据生产经验设置的，可能会存在设置不合理的情况，需要对各个初始巡视点位进行优化；无人机巡视过程为：基于待巡视对象，设置待检测目标；基于各个初始巡视点位，合理设置巡视路径；利用无人机按照设置好的巡视路径进行自主巡视，获取各个初始巡视点位对应的图像数据；将获取的各个图像数据依次通过数据链路传输至无人机飞控中心的识别模型中，识别待检测目标的状态；若根据当前初始巡视点位对应的图像数据，不能识别出待检测目标的状态，则当前初始巡视点位对应的图像数据属于无效图像数据，需要对当前初始巡视点位进行优化；但是通过是否能够识别出待检测目标状态来判断是否需要对当前初始巡视点位进行优化，很大程度上依赖于识别模型的精确度，若识别模型精确度低时，则会导致判断当前初始巡视点位是否需要进行优化时出现偏差。

3、现有的无人机自主巡视点位优化方法为：人工调整无人机在当前初始巡视点位的拍摄方位或者是人工手动在当前巡视路径中增加无人机悬停点作为新的无人机自主巡视点位，保证无人机在新的巡视点位处或同一巡视点位下新的拍摄方位处能够获取待检测目标的有效图像数据；但是，该优化方法较为依赖人工经验，试错成本高，流程复杂，迭代更新慢，自动化程度低且未量化分析，可能会导致人工调整后得到的新的巡视点位与实际需要的巡视点位有偏差，从而无法获取有效的精细识别所需要的图像数据，导致目标状态识别不清，造成电网运维内容不明确、影响线路运行的问题。

4、目前，在无人机自主巡视过程中，会获取同一个待检测目标的不同角度的图像数据；针对这些图像数据均采用单一图像独立分析法进行分析，但是有时待检测目标在一张图像中只能呈现部分或单一角度，若采用单一图像独立分析法对获取的图像数据进行一一分析，则无法获取待检测目标的完整或立体信息，影响识别模型识别待检测目标状态的准确度。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中依赖于模型识别精度判断初始巡视点位是否需要进行优化，导致判断出现偏差的问题；初始巡视点位优化完全依赖于人工经验，试错成本高，耗时长且未量化分析，导致无法获取有效图像数据的问题；单一图像独立分析，无法获取待检测目标的完整或立体信息，影响识别模型识别待检测目标状态的准确度的问题。

2、为解决上述技术问题，本发明提供了一种无人机自主巡视点位的优化方法，包括：

3、确定待巡视对象中的各个待检测目标；构建待巡视对象三维模型和各个待检测目标三维模型；设置待巡视对象三维模型的主多面体和各个待检测目标三维模型的局部多面体；

4、以三维模型对应多面体的各个平面分别为投影面，对三维模型进行投影，得到待巡视对象三维模型对应的各个投影图像以及各个待检测目标三维模型对应的各个投影图像；

5、确定待巡视对象三维模型坐标系与待巡视对象真实场景坐标系之间的关系矩阵；根据所述关系矩阵，将各个初始巡视点位映射到待巡视对象三维模型中，得到各个初始巡视点位对应的映射坐标点；

6、计算任一初始巡视点位对应的映射坐标点到主多面体各个平面、各个局部多面体各个平面的距离，将距离最小值对应的平面上的投影图像作为当前初始巡视点位对应的参考图像；根据当前初始巡视点位对应的参考图像和真实图像，构建当前初始巡视点位对应的图像对；基于特征匹配算法，结合当前初始巡视点位对应的图像对，得到当前初始巡视点位对应的匹配矩阵；

7、根据当前初始巡视点位对应的匹配矩阵，得到当前初始巡视点位对应的旋转角度、缩放因子以及平移向量；

8、若当前初始巡视点位对应的旋转角度不小于预设角度、缩放因子不大于预设阈值、平移向量的模不超过图像对角向量模的预设倍数时，则当前初始巡视点位无须优化；若当前初始巡视点位对应的旋转角度小于预设角度和/或缩放因子大于预设阈值和/或平移向量的模超过图像对角向量模的预设倍数，则当前初始巡视点位需要进行优化；

9、依次得到各个初始巡视点位对应的旋转角度、缩放因子以及平移向量，并判断各个初始巡视点位是否需要优化，得到各个需要优化的初始巡视点位；

10、依次对各个需要优化的初始巡视点位对应的旋转角度、缩放因子、平移向量进行调整，从而对各个需要优化的初始巡视点位进行优化，得到目标巡视点位。

11、优选地，若当前初始巡视点位对应的旋转角度小于预设角度，则在待巡视对象三维模型坐标系下，调整当前初始巡视点位对应的映射坐标点的旋转角度和旋转方向，并将旋转角度和旋转方向的调整信息发送至无人机飞控中心；根据旋转角度和旋转方向的调整信息，对无人机搭载相机在当前初始巡视点位处的拍摄方位进行调整，直到更新后的巡视点位对应的旋转角度不小于预设角度，完成对当前初始巡视点位在拍摄方位上的优化。

12、优选地，若当前初始巡视点位对应的缩放因子大于预设阈值，则基于电力系统安全距离，在待巡视对象三维模型坐标系下，将当前初始巡视点位对应的映射坐标点位向靠近待巡视对象三维模型的方向调整；若当前初始巡视点位对应的映射坐标点到待巡视对象三维模型之间的距离与电力系统安全距离一致时，缩放因子仍大于预设阈值，则调整无人机搭载相机的焦距，并将当前初始巡视点位对应的映射坐标点或无人机搭载相机的调整信息发送至无人机飞控中心；根据当前初始巡视点位对应的映射坐标点或无人机搭载相机的调整信息，调整当前初始巡视点位的位置，直到更新后的巡视点位对应的缩放因子不大于预设阈值，完成对当前初始巡视点位在位置上的优化。

13、优选地，若当前初始巡视点位对应的平移向量的模超过图像对角向量模的预设倍数，则在待巡视对象三维模型坐标系下，对当前初始巡视点位对应的映射坐标点进行水平方向或垂直方向或斜45°方向的调整，并将当前初始巡视点位对应的映射坐标点的调整信息发送至无人机飞控中心；根据当前初始巡视点位对应的映射坐标点的调整信息，调整当前初始巡视点位的位置，直到更新后的巡视点位对应的平移向量的模不超过图像对角向量模的预设倍数，完成对当前初始巡视点位在水平方向或垂直方向或斜45°方向位置上的优化。

14、优选地，所述设置待巡视对象三维模型的主多面体和各个待检测目标三维模型的局部多面体包括：

15、根据待巡视对象三维模型的结构，确定待巡视对象三维模型的中心点与主多面体各个面的距离；根据待巡视对象三维模型的中心点与主多面体各个面的距离，设置待巡视对象三维模型的主多面体；其中，主多面体为待巡视对象三维模型的外接规则多面体，且主多面体具有对称特性；设置主多面体的面数不少于10；

16、根据当前待检测目标三维模型的结构，确定当前待检测目标三维模型的中心点与当前待检测目标三维模型的局部多面体各个面的距离；根据当前待检测目标三维模型的中心点与当前待检测目标三维模型的局部多面体各个面的距离，设置当前待检测目标三维模型的局部多面体，并依次得到各个待检测目标三维模型的局部多面体；其中，每个局部多面体为每个待检测目标三维模型的外接规则多面体，且每个局部多面体具有对称特性。

17、优选地，所述根据待巡视对象三维模型的结构，确定待巡视对象三维模型的中心点与主多面体各个面的距离包括：

18、当待巡视对象三维模型为对称结构时，待巡视对象三维模型的中心点和主多面体的中心点重叠，待巡视对象三维模型的中心点与主多面体各个面的距离为三维模型在x、y、z三个方向的法平面投影最大值的一半与安全距离尺度值之和与缩放因子的乘积；

19、当待巡视对象三维模型为非对称结构时，待巡视对象三维模型的中心点与主多面体各个面的距离为三维模型在x、y、z三个方向法平面投影中最大投影外接圆的半径与安全尺度值之和与缩放因子的乘积。

20、优选地，所述确定待巡视对象三维模型坐标系与待巡视对象真实场景坐标系之间的关系矩阵包括：

21、基于主成分分析法，分别确定待巡视对象三维模型和待巡视对象真实场景的第一主方向、第二主方向以及第三主方向，将待巡视对象三维模型与待巡视对象真实场景的各个主方向一一对应重合后，结合待巡视对象真实场景中待巡视对象的坐标和高程信息、待巡视对象三维模型的尺度和x、y、z方向信息，确定待巡视对象三维模型坐标系与待巡视对象真实场景坐标系之间的关系矩阵。

22、优选地，所述预设角度为10°，预设阈值为0.5，预设倍数为0.3倍。

23、本发明还提供了一种目标状态识别方法，包括：

24、利用上述所述的一种无人机自主巡视点位的优化方法对无人机自主巡视的初始巡视点位进行优化，得到无人机的目标巡视点位；根据目标巡视点位，进行无人机自主巡视路径规划；

25、利用无人机，按照规划好的无人机自主巡视路径，对待巡视对象进行自主巡视，得到待巡视对象的真实图像集；

26、根据待巡视对象三维模型的各个主方向，确定主多面体的各个坐标轴方向；基于所有投影图像，构建参考图像集；

27、获取任一目标巡视点位对应的真实图像；根据当前目标巡视点位对应的匹配矩阵，获取当前目标巡视点位对应的参考图像；根据当前目标巡视点位对应的真实图像与参考图像，构建第一图像对；

28、基于参考图像集，找到与当前目标巡视点位对应的参考图像成中心对称、轴平面对称的参考图像，记为中心对称参考图像、xoy轴平面对称参考图像、xoz轴平面对称参考图像及yoz轴平面对称参考图像；

29、计算当前中心对称参考图像与各个映射坐标点的距离，得到与当前中心对称参考图像距离最近的映射坐标点对应的真实图像，作为当前中心对称参考图像对应的真实图像；基于当前中心对称参考图像及其对应的真实图像，构建第二图像对；基于xoy轴平面对称参考图像、xoz轴平面对称参考图像、yoz轴平面对称参考图像，可依次构建第三图像对、第四图像对、第五图像对；基于第一图像对、第二图像对、第三图像对、第四图像对、第五图像对，构建当前目标巡视点位对应的目标图像对集；其中，所述当前目标巡视点位对应的目标图像对集为识别当前目标巡视点位对应的待检测目标状态的最小图像对集；

30、将当前目标巡视点位对应的目标图像对集中的各个图像对依次输入至识别模型中，对当前目标巡视点位对应的待检测目标进行检测，判断当前待检测目标是否存在缺陷；依次判断各个待检测目标是否存在缺陷。

31、优选地，所述根据待巡视对象三维模型的各个主方向，确定主多面体的各个坐标轴方向包括：

32、基于主成分分析法，确定待巡视对象三维模型的第一主方向、第二主方向以及第三主方向；主多面体的第一坐标轴方向与待巡视对象三维模型的第一主方向一致；主多面体的第二坐标轴方向由与待巡视对象三维模型的第一主方向垂直的平面、以及待巡视对象三维模型的第二主方向确定；主多面体的第三坐标方向由与待巡视对象三维模型的第二主方向垂直的平面、以及待巡视对象三维模型的第三主方向确定。

33、本发明的上述技术方案相比现有技术具有以下有益效果：

34、本发明所述的一种无人机自主巡视点位的优化方法，构建待巡视对象三维模型和各个待检测目标三维模型；设置待巡视对象三维模型的主多面体和各个待检测目标三维模型的局部多面体；根据待巡视对象三维模型坐标系与待巡视对象真实场景坐标系之间的关系，将各个初始巡视点位映射到待巡视对象三维模型中，得到各个初始巡视点位对应的映射坐标点；基于各个映射坐标点到三维模型对应多面体的各个平面的距离，确定各个初始巡视点位对应的参考图像；根据各个初始巡视点位对应的参考图像和真实图像，构建各个图像对，并确定各个匹配矩阵；根据各个匹配矩阵，得到各个初始巡视点位对应的旋转角度、缩放因子以及平移向量；依次判断各个初始巡视点位对应的旋转角度是否不小于预设角度、缩放因子是否不大于预设阈值、平移向量的模是否不超过图像对角向量模的预设倍数，从而判断各个初始巡视点位是否需要优化；若当前初始巡视点位对应的旋转角度、缩放因子以及平移向量均满足对应的预设条件，则当前初始巡视点位无须优化；若当前初始巡视点位对应的旋转角度、缩放因子以及平移向量存在任一项不满足对应的预设条件，则当前初始巡视点位需要进行优化；在各个初始巡视点位优化判断过程中，无须考虑识别模型的精确度，提高了巡视点位优化判断的准确性；

35、本发明所述的一种无人机自主巡视点位的优化方法，通过对旋转角度、缩放因子以及平移向量的量化分析，缩短了巡视点位的优化时间，避免了人工试错成本，避免了优化后的巡视点位与实际需要的巡视点位之间的偏差，确保根据优化后的巡视点位获取的图像数据与实际需要的图像数据适配；

36、本发明所述的一种目标状态识别方法，应用于上述所述的一种无人机自主巡视点位的优化方法后，获取各个目标巡视点位对应待检测目标的目标图像对集，并将各个目标图像对集中的各个图像对依次全部输入至识别模型中，综合分析待检测目标对应的所有真实图像，避免单一图像下，待检测目标存在遮挡无法获取目标状态的情况，从而进一步提高了识别待检测目标状态的准确度。