基于杆塔点云语义分割的配网无人机巡检拍摄点生成方法及相关装置

本发明属于数据处理，尤其涉及一种基于杆塔点云语义分割的配网无人机巡检拍摄点生成方法、巡检方法、设备、存储介质及产品。

背景技术：

1、电力线路分布广泛且大多位于野外，野外恶劣环境给电力系统正常运行带来了巨大的压力。电力巡检通过定期检查和维护电力设备、线路，及时发现和排除潜在的故障和隐患，预防电力事故的发生。现有的电力巡检方式主要包含两种：一是传统的人工巡检，二是无人机巡检。

2、传统的人工巡检方式需要专业的运维人员前往电力设备现场，对电力设备的损坏程度与运行状况进行逐一检查。通常要求运维人员攀爬至电线塔杆，以近距离观察电力设备的运行状态，这种方式给运维人员带来了极大的安全风险，尤其是在恶劣天气或复杂的现场环境下，并且需要耗费大量的人工成本。

3、近年来，随着遥感技术和通信技术的迅速发展，无人机的应用得到广泛推广，并逐渐应用于各个行业领域。无人机具有灵活、低成本和可操作性强等特点，可以很好的适应各种复杂环境，在电力巡检中展现了明显的优势。尤其是在高风险和难以到达的复杂环境下，无人机可以搭载可见光摄像机，飞行至巡检目标杆塔或部件旁，拍摄设备当前状态，并利用这些照片进行后续的缺陷识别和设备维护。这不仅消除了运维人员的安全风险，还大大提升了巡检效率，推进了电力巡检的智能化和自动化水平。然而，现有的无人机巡检需要操作人员对无人机进行操作，以保证无人机能对所需巡检的部件进行拍摄，这对操作人员仍然有较高的要求。

4、为了降低操作人员对无人机的操作要求，事先利用激光雷达搭载于无人机采集电线杆塔的点云数据，然后基于点云数据生成无人机的巡检轨迹。点云数据是三维空间中一系列无序、离散的点，主要包含三维坐标和颜色信息，能够反映实际场景中的真实地理位置信息以及环境信息。因此，利用采集到的点云数据，可以标定电线杆塔上巡检目标的真实坐标以及无人机巡检过程中需要悬停的真实坐标。现有的巡检目标标注方式主要为手动标注，通过手动标注的巡检目标点可以进一步形成无人机的巡检轨迹，从而使无人机根据预定的巡检轨迹执行电力巡检任务。尽管这种方式相比于人工巡检在安全性和高效性方面都有显著提升，但在人工标定环节上仍然耗费大量时间和人力成本，并依赖于电网巡检中的专家知识和专业经验，对绘制巡检轨迹的人员要求较高，导致实际应用推广存在一定困难。

技术实现思路

1、本发明的目的在于提供一种巡检拍摄点位生成方法、巡检方法、设备、介质及产品，以解决人工标注巡检目标点耗费时间多，人力成本高，需要依赖专业知识和经验，实际应用推广困难的问题。

2、本发明是通过如下的技术方案来解决上述技术问题的：一种基于杆塔点云语义分割的配网无人机巡检拍摄点生成方法，包括：

3、获取包含电线杆塔的原始点云数据；

4、对所述原始点云数据进行聚类，得到多个点云簇；

5、对每个所述点云簇进行类型识别，得到杆塔点云；

6、当竖杆数量大于1时，根据竖杆数量对所述杆塔点云进行杆级分层，得到竖杆点云；当竖杆数量等于1时，以所述杆塔点云作为竖杆点云；

7、根据横担高度对每个所述竖杆点云进行分层，得到横担点云；

8、计算每个所述横担点云的主轴方向的两个端点位置；

9、根据每个所述横担点云的主轴方向的两个端点位置确定巡检拍摄点位。

10、进一步地，调用训练好的电线杆塔识别模型对每个所述点云簇进行类型识别；其中，所述电线杆塔识别模型包括依次连接的多层感知机、pointnet分类网络中的encoder层、全连接层以及分类层；

11、对每个所述点云簇进行类型识别，具体包括：

12、计算所述点云簇的统计特征，并由所述点云簇的所有统计特征构成输入特征向量；

13、利用多层感知机对所述输入特征向量进行特征提取，得到第一输出特征量；

14、以所述第一输出特征量与所述点云簇中每个点的乘积作为pointnet分类网络中的encoder层的输入，利用pointnet分类网络中的encoder层进行特征学习和映射，得到第二输出特征量；

15、利用全连接层对所述第二输出特征量进行特征提取，得到第三输出特征量；

16、利用所述分类层对所述第三输出特征量进行预测，得到所述点云簇的类型；其中，点云簇的类型包括电线、杆塔和环境；

17、对类型为杆塔的点云簇进行合并，得到杆塔点云。

18、进一步地，所述点云簇的统计特征包括所述点云簇的高度、水平面积、体积、簇大小、颜色值以及簇中心点与杆塔参考点之间的距离；其中，各统计特征的计算公式为：

19、hk＝zkmax-zkmin；

20、ak＝(xkmax-xkmin)×(ykmax-ykmin)；

21、volk＝hk×ak；

22、

23、

24、其中，hk表示第k个点云簇的高度，zkmax和zkmin分别表示第k个点云簇中点的最大竖坐标值和最小竖坐标值，ak表示第k个点云簇的面积，xkmax和xkmin分别表示第k个点云簇中点的最大横坐标值和最小横坐标值，ykmax和ykmin分别表示第k个点云簇中点的最大纵坐标值和最小纵坐标值，volk表示第k个点云簇的体积，colork表示第k个点云簇的颜色值，nk表示第k个点云簇的簇大小，rki,gki,bki表示第k个点云簇中第i个点的颜色值，distk表示第k个点云簇中簇中心点与杆塔参考点之间的距离，xki,yki,zki表示第k个点云簇中第i个点的坐标值，xr,yr,zr表示杆塔参考点的坐标值。

25、进一步地，根据竖杆数量对所述杆塔点云进行杆级分层，包括：

26、计算所述杆塔点云的质心；

27、根据所述杆塔点云的质心构建第一协方差矩阵；

28、对所述第一协方差矩阵进行特征值分解，以最小特征值所对应的特征向量作为主平面的法向量；其中，所述主平面是指由竖杆构成的平面；

29、基于主平面的法向量，对所述杆塔点云进行mt等分，得到mt个竖杆点云；其中，mt表示杆塔包含的竖杆数量。

30、进一步地，计算每个所述横担点云的主轴方向的两个端点位置，包括：

31、计算所述横担点云的质心；

32、根据所述横担点云的质心构建第二协方差矩阵；

33、对所述第二协方差矩阵进行特征值分解，以最大特征值所对应的特征向量为所述横担点云的主轴方向；

34、确定位于主轴方向且与所述横担点云的质心的距离最远的两个点，以该两个点作为所述横担点云的主轴方向的两个端点位置。

35、进一步地，所述生成方法还包括根据巡检拍摄点位计算无人机的偏航角和摄像机的俯仰角，具体计算公式为：

36、

37、

38、其中，θq表示无人机在第q个巡检拍摄点位的偏航角，xs,q和ys,q分别表示第q个巡检拍摄点位的横坐标和纵坐标，xs,q+1和ys,q+1分别表示第q+1个巡检拍摄点位的横坐标和纵坐标，表示摄像机在第q个巡检拍摄点位的俯仰角，xqh,yqh,zqh表示第q个巡检拍摄点位的坐标位置，xqt,yqt,zqt表示第q个端点位置或第q个巡检目标位置，arctan表示反正切函数。

39、本发明提供一种电线杆塔无人机巡检方法，包括：

40、利用如上所述的基于杆塔点云语义分割的配网无人机巡检拍摄点生成方法得到巡检拍摄点位；

41、根据所述巡检拍摄点位生成巡检航线；

42、根据所述巡检航线，控制无人机执行巡检任务。

43、本发明提供一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序/指令，所述处理器执行所述计算机程序/指令以实现如上所述的基于杆塔点云语义分割的配网无人机巡检拍摄点生成方法或电线杆塔无人机巡检方法。

44、本发明提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的基于杆塔点云语义分割的配网无人机巡检拍摄点生成方法或电线杆塔无人机巡检方法。

45、本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的基于杆塔点云语义分割的配网无人机巡检拍摄点生成方法或电线杆塔无人机巡检方法。

46、与现有技术相比，本发明的优点在于：

47、本发明对电线杆塔的原始点云数据进行聚类，得到多个点云簇；通过对点云簇进行类型识别，确定电线点云、杆塔点云和环境点云；根据杆塔类型和横担高度对杆塔点云进行分层，确定横担点云；最终从横担点云中确定位于横担两端的金具、绝缘子串等目标部位的位置，进而确定巡检拍摄点位，实现了无人机巡检拍摄点位的自动生成，解决了人工标注巡检目标点耗费时间多，人力成本高，需要依赖专业知识和经验，实际应用推广困难的问题。