基于多源数据的输电铁塔构件缺失自动化检测方法及系统与流程

本发明涉及输电铁塔检测，具体涉及基于多源数据的输电铁塔构件缺失自动化检测方法及系统。

背景技术：

1、传统的输电铁塔检测方法主要依赖人工巡检，这种方法存在效率低下、安全性低和检测结果不准确等问题。巡检人员需要亲自到达现场进行检查，不仅耗费大量时间和人力资源，而且在高空作业的过程中还存在着很大的安全隐患。同时，由于人工巡检的主观性和经验差异，不同巡检人员对同一问题的判断可能存在差异，导致检测结果不准确。这些问题使得传统的人工巡检方法在现代化输电铁塔检测中逐渐暴露出其局限性和不足。

2、随着科技的进步和自动化技术的发展，自动化检测方法逐渐被引入到输电铁塔检测领域。自动化检测方法不仅能够提高检测的准确性和效率，还可以大大降低人力成本和安全风险。目前已经出现了一些自动化检测系统，然而，这些系统主要依赖于单一的检测手段，主要集中在铁塔的倾斜和扭转检测上，只能识别铁塔轮廓的简单变化，无法有效检测铁塔构件的缺失、损坏和安装错误等具体问题。铁塔的构件是否与设计时一致、构件是否缺失、构件是否安装错误、施工时构件是否存在偏差等问题，是影响输电铁塔稳定性和安全性的重要因素，但现有技术对这些问题缺乏有效的处理能力，检测的范围和深度不足，无法全面保障铁塔的安全性和稳定性。

3、因此，迫切需要一种更为先进的自动化检测方法，能够全面、准确地检测输电铁塔的各类结构问题，提供详细的检测报告，帮助维护人员及时发现和解决潜在问题。

技术实现思路

1、针对现有输电铁塔自动化检测中存在的检测手段单一、检测范围和深度不足等问题，本发明提出基于多源数据的输电铁塔构件缺失自动化检测方法及系统，不仅可以有效提高检测的准确性和效率，还能够全面检测铁塔的各类结构问题，为输电铁塔的维护和安全运行提供可靠的技术保障。

2、为了实现上述目的，本发明通过如下的技术方案来实现：

3、基于多源数据的输电铁塔构件缺失自动化检测方法，所述方法包括：

4、通过多个激光扫描仪和全景摄像头实时同步扫描铁塔结构，获取铁塔实际点云数据和全景图像数据；

5、将所述铁塔实际点云数据和全景图像数据进行融合处理，生成铁塔实际点云模型；

6、基于输电铁塔的设计文件获取铁塔理想点云数据，生成铁塔理想点云模型；

7、将所述铁塔实际点云模型和所述铁塔理想点云模型导入空间数据模型，通过hbb算法进行比对，获取输电铁塔的构件缺失数据；

8、根据同步坐标找到所述构件缺失数据对应的刚体构件的全景图像，结合可见光识别算法验证缺失是否成立，若成立，则输出构件缺失数据，若不成立，则重新进行扫描；

9、将所述构件缺失数据进一步整理形成分析报告并输出。

10、作为本发明的一种优选方案，通过全景摄像头实时扫描铁塔结构，使用图像拼接算法将采集的图像进行拼接，形成铁塔的全景图像数据；所述图像拼接算法具体为：

11、使用sift算法或orb算法从全景摄像头采集的图像中提取图像特征点；

12、使用bf算法或flann算法进行特征点匹配，匹配准则为最小化匹配特征点对之间的欧氏距离；

13、使用ransac算法估计图像间的单应性矩阵，使用homography矩阵进行图像变换和拼接，形成铁塔的全景图像数据。

14、作为本发明的一种优选方案，将所述铁塔实际点云数据和全景图像数据进行融合处理，生成铁塔实际点云模型，方法包括：

15、对所述铁塔实际点云数据进行预处理，包括去除噪声、下采样和坐标变换；

16、使用多视角立体匹配算法将预处理后的铁塔实际点云数据与全景图像数据进行融合，生成铁塔实际点云模型；

17、基于pointnet++算法对所述铁塔实际点云模型进行优化。

18、作为本发明的一种优选方案，所述多视角立体匹配算法具体为：

19、使用sgm算法对全景图像数据进行立体匹配，计算深度图，sgm算法通过能量函数最小化计算匹配代价，计算公式为：

20、；

21、式中，为视差图d的总能量函数；是像素p的匹配代价，为像素p的视差值，为像素q的视差值；表示相邻像素p和q组成的邻域像素对，n为邻域像素对集合；和为惩罚参数，表示相邻像素之间视差值相差1时的惩罚项，表示相邻像素之间视差值相差大于1时的惩罚项；

22、将深度图转换为三维点云数据，公式为：

23、；

24、式中，(x,y,z)表示三维点坐标，图像像素点(u,v)对应的深度值为d(u,v)；fx和fy是焦距，cx和cy是主点坐标；

25、找到每个三维点(x,y,z)在全景图像数据中的对应像素(u,v)，将像素(u,v)的颜色信息映射到三维点云数据上，并与铁塔实际点云数据进行融合，生成铁塔实际点云模型，融合公式为：

26、；

27、式中，为融合后的铁塔实际点云模型，为铁塔实际点云数据，为包含颜色信息的三维点云数据；α是权重系数。

28、作为本发明的一种优选方案，所述基于输电铁塔的设计文件获取铁塔理想点云数据，生成铁塔理想点云模型，方法包括：

29、读取和解析设计文件，提取设计文件中输电铁塔的几何结构数据，包括铁塔构件的节点坐标、构件类型和连接关系；

30、将所述几何结构数据进行预处理和优化，使用邻域搜索算法去除冗余点，使用贪心算法或最小二乘法进行几何修复；

31、利用优化后的几何结构数据生成铁塔的三维几何模型，使用逆向工程技术对铁塔的三维几何模型进行优化，修复噪声和冗余数据；

32、使用delaunay三角剖分算法对所述三维几何模型进行delaunay三角剖分，再通过采样算法将网格顶点转换为铁塔理想点云数据；

33、将所述铁塔理想点云数据组织成铁塔理想点云模型并进行坐标转换，将所述铁塔理想点云模型转换到铁搭实际点云模型的坐标系下。

34、作为本发明的一种优选方案，所述通过hbb算法进行比对，获取输电铁塔的构件缺失数据，方法包括：

35、使用icp算法计算对齐矩阵t，将铁塔实际点云模型和铁塔理想点云模型初步对齐，对齐矩阵t的计算公式为：

36、；

37、式中，表示铁塔实际点云模型中第个点，表示铁塔理想点云模型中第i个点；

38、对铁塔实际点云模型应用初步对齐矩阵t，得到初步对齐后的铁塔实际点云模型；

39、对初步对齐后的铁塔实际点云模型和铁塔理想点云模型构建层次化包围盒，使用八叉树结构，将铁塔实际点云数据和铁塔理想点云数据分层次、分区域进行组织，表示为：

40、；

41、；

42、式中，表示初步对齐后的铁塔实际点云模型的八叉树结构，表示铁塔理想点云模型的八叉树结构；表示实际点云节点中的第j个节点，表示理想点云节点中的第j个节点；n为八叉树节点总数；

43、从八叉树的根节点开始，对每一层的包围盒进行比对，计算每个包围盒内点的差异，公式为：

44、；

45、式中，为实际点云节点，为理想点云节点，为实际点云节点与理想点云节点之间的差异；

46、在每一层次的比对过程中，使用梯度下降算法逐步调整铁塔实际点云模型的对齐矩阵，通过迭代优化缩小搜索范围，优化公式如下：

47、；

48、式中，为第k次迭代的对齐矩阵，为第k+1次迭代的对齐矩阵；为学习率；为铁塔实际点云模型与铁塔理想点云模型差异函数的梯度；

49、根据迭代优化后最终对齐的铁塔实际点云模型和铁塔理想点云模型，计算每个点的差异，生成差异矩阵；

50、设定差异阈值，判断所述差异矩阵中的值是否超过所述差异阈值，将大于差异阈值的铁塔实际点云数据标记为缺失点，统计所有缺失点并根据缺失点的位置确定缺失的构件，输出构件缺失数据。

51、作为本发明的一种优选方案，所述结合可见光识别算法验证缺失是否成立，方法包括：

52、根据构件缺失数据的同步坐标，提取构件缺失数据对应的刚体构件的全景图像，获得对应的图像数据；

53、对所述图像数据进行灰度化、降噪、边缘检测的预处理操作；

54、使用特征提取算法从预处理后的图像数据中提取特征点；

55、使用特征匹配算法将提取的特征点与铁塔设计文件中的标准特征点进行匹配，根据特征匹配的结果，判断是否存在构件缺失。

56、基于多源数据的输电铁塔构件缺失自动化检测系统，应用于如上所述的基于多源数据的输电铁塔构件缺失自动化检测方法，所述系统包括：

57、数据获取模块，用于通过多个激光扫描仪和全景摄像头实时同步扫描铁塔结构，获取铁塔实际点云数据和全景图像数据；

58、实际点云模型模块，用于将所述铁塔实际点云数据和全景图像数据进行融合处理，生成铁塔实际点云模型；

59、理想点云模型模块，用于从输电铁塔的设计文件获取铁塔理想点云数据，生成铁塔理想点云模型；

60、点云比对模块，用于将所述铁塔实际点云模型和所述铁塔理想点云模型导入空间数据模型，通过hbb算法进行比对，获取输电铁塔的构件缺失数据；

61、构件缺失验证模块，用于根据同步坐标找到所述构件缺失数据对应的刚体构件的全景图像，结合可见光识别算法验证缺失是否成立；

62、输出模块，用于输出构件缺失数据，并进一步整理形成分析报告输出。

63、本发明的有益效果是：利用三维激光扫描技术获取铁塔的精确三维点云数据，结合全景图像技术提供铁塔表面的详细视图，创建铁塔实际点云模型，并将其与铁塔理想点云模型进行比对，以识别输电铁塔的结构缺失和损伤；通过可见光识别算法进行二次验证，能够准确识别铁塔结构的微小变化和缺失，并生成详细的分析报告，实现了对输电铁塔结构的非接触式、高精度自动化检测，大幅度提高了检测速度和安全性。