一种电力场景缺陷识别去重方法、装置、电子终端及介质与流程

本发明涉及一种电力场景缺陷识别去重方法、装置、介质及设备，属于电力场景去重。

背景技术：

1、近年来，随着无人机的大量应用，通过无人机自主巡检技术，减轻了部分巡线工作，大量视频/图像数据，并且相关的缺陷种类繁多，通过目标识别技术可以分析出绝大部分的缺陷。

2、但实际应用过程中，同一缺陷场景会在不同拍摄点位被反复拍摄记录，导致不同图像存在着重复的同一缺陷，从而产生了大量的重复告警，又给运维人员产生了困扰。

技术实现思路

1、针对现有技术中存在的同一缺陷被重复识别并重复告警的技术问题，本发明的目的是提供一种电力场景缺陷识别去重方法、装置、介质及设备，通过对识别得到的多个缺陷目标，两两之间进行立体空间重合度的计算，并基于所述立体空间重合度以判断识别得到各个缺陷目标间是否存在重复，以达到去重的目的。

2、为达到上述目的，本发明是采用下述技术方案实现的。

3、一方面，本发明提供一种电力场景缺陷识别去重方法，其包括：

4、获取目标电力场景在不同点位下被拍摄的多组双目图像对；

5、对于每组双目图像对，基于预先训练的目标缺陷分割模型进行缺陷目标的检测分割，以检测得到缺陷目标的缺陷位置及其缺陷类型，并分割得到所述缺陷目标的缺陷图像；

6、将根据多组双目图像检测分割得到的全部缺陷目标共同组成待去重的缺陷目标集合；

7、对于每一缺陷目标，根据所述缺陷目标的缺陷位置在其缺陷图像中提取其在图像坐标系下的二维坐标点集，利用所述二维坐标点集对该缺陷目标进行三维重建，以得到该缺陷目标在世界坐标系下的空间区域；

8、计算所述待去重的缺陷目标集合中，两两缺陷目标间的空间区域的立体空间重合度；

9、若存在所述立体空间重合度大于预设阈值且缺陷类型相同的多个缺陷目标，保留其中一个以去重。

10、可选的，所述目标缺陷分割模型基于改进的yolov4实例分割网络构建；

11、其中，所述目标缺陷分割模型的训练，包括：

12、获取包含缺陷目标的多组双目图像对，构建双目图像对样本集；

13、对所述双目图像对样本集中的每组双目图像对进行缺陷信息的标注，以得到训练集；所述缺陷信息包括缺陷位置及缺陷类型；

14、使用所述训练集对所述改进的yolov4实例分割网络进行迭代训练，以得到训练好的目标缺陷分割模型。

15、可选的，所述利用所述二维坐标点集对该缺陷目标进行三维重建，包括：

16、获取每一缺陷目标的二维坐标点集；

17、利用三维重构技术，将每一缺陷目标的二维坐标点集中各点的二维坐标转换为三维坐标。

18、可选的，所述将每一缺陷目标的二维坐标点集中各点的二维坐标转换为三维坐标，包括：

19、获取双目相机采集的双目图像对；

20、利用sift特征算法在所述双目图像对的两张双目图像中提取特征点；

21、对提取的特征点，使用最近邻匹配算法进行特征点匹配，获取初步匹配的特征点对集合；

22、使用ransac算法去除所述初步匹配的特征点对集合中的误匹配，得到最终匹配的特征点对；

23、基于最终匹配的特征点对，利用sfm方法稀疏重建以实现二维坐标到三维坐标的转换，转换关系如下：

24、；

25、其中zc为物体点在相机坐标系下的z坐标轴点；f为像平面与相机坐标系原点的距离；

26、[ u, v,1]为图像坐标系下的坐标，即二维坐标；图像坐标系是用物理单位表示像素在图像中的位置， dx 和 dy分别是每个像素在图像平面x和 y方向上的物理尺寸， xw,yw,zw为世界坐标系下坐标值，世界坐标系表示客观三维世界的绝对坐标系； fx, fy为焦距（像平面与相机坐标系原点的距离）；（ u 0, v 0）是图像坐标系原点在像素坐标系中的坐标； r 为3 × 3正交旋转矩阵， t为三维平移向量。

27、可选的，所述计算所述待去重的缺陷目标集合中，两两缺陷目标间的空间区域的立体空间重合度，包括：

28、获取所述待去重的缺陷目标集合中各个缺陷目标的三维坐标点集；

29、计算每个缺陷目标的三维坐标点集中各个轮廓点的三维坐标；

30、根据所述各个轮廓点的三维坐标确定该缺陷目标在世界坐标系下的空间区域，所述空间区域为所述各个轮廓点构成的立体区域；

31、根据所述空间区域，计算各个缺陷目标间的立体空间重合度。

32、可选的，所述根据所述空间区域，计算各个缺陷目标间的立体空间重合度，包括：

33、将各个缺陷目标两两组合，采用下述计算方式确定两两缺陷目标之间立体空间重合度：

34、（intersection)/(min(sizea，sizeb))；

35、其中intersection为两个缺陷目标的三维空间区域的交集面积；

36、a、b为两个缺陷目标在世界坐标系下的空间区域；

37、(min(sizea，sizeb)为a，b空间区域面积中较小的面积。

38、可选的，所述改进的yolov4实例分割网络包括backbone主干网络，neck网络以及head分割估计网络；

39、backbone主干网络包括顺次连接的cspdarknet53模块、mish激活函数和dropblock模块，用于生成特征图；

40、neck网络包括顺次连接的spp模块、fpn特征金字塔结构、pan特征金字塔结构组成，用于根据所述特征图生成融合特征图；

41、head分割估计网络包括分类检测头、回归检测头与实例分割检测头；

42、所述分类检测头用于对所述融合特征图进行分类检测，以获取所输入双目图像的缺陷类型；

43、所述回归检测头用于对所述融合特征图进行检测，以得到所输入双目图像的缺陷位置；

44、所述实例分割检测头用于根据分类检测头输出的缺陷类型、所述回归检测头输出的缺陷位置对所输入双目图像进行检测分割，以得到所述缺陷目标的缺陷图像。

45、可选的，所述缺陷信息还包括深度估计实际值；所述head分割估计网络还包括深度估计检测头，用于对所输入双目图像进行深度估计，得到所输入双目图像的第一深度估计结果、第二深度估计结果；其中第一深度估计结果指一个双目相机与缺陷目标中心之间的估计距离；第二深度估计结果指另一个双目相机与缺陷目标中心之间的估计距离；

46、所述改进的yolov4实例分割网络还包括顺次连接的1*1卷积、bn模块与relu激活函数，

47、将所述第一深度估计结果和所述第二深度估计结果级联后，通过1*1卷积、bn模块与relu激活函数处理，以得到第三深度估计结果；其中所述第三深度估计结果用于表示两个双目相机的中心位置与缺陷目标中心之间的估计距离；

48、在目标缺陷分割模型训练时，将所述第一深度估计结果、第二深度估计结果、第三深度估计结果分别与对应的深度估计实际值进行对比，以确定所述改进的yolov4实例分割网络的检测精确。

49、可选的，所述对提取的特征点，使用最近邻匹配算法进行特征点匹配，获取初步匹配的特征点对集合，包括：

50、将所述双目相机采集的双目图像对中的双目图像均转换为灰度图像；

51、基于两张双目图像的灰度图像，获取其中一张双目图像特征向量v，以及另一张双目图像中与所述特征向量v距离最近的两个向量v1，v2；其中，v1到特征向量v的距离（即distance（v,v1））小于v2到特征向量v的距离（即distance（v,v2）），所述距离为欧氏距离或夹角距离；

52、若distance(v,v1) / distance(v，v2)小于阈值m，则v1为v的匹配，获取初步匹配的特征点对；否则，v在所述另一张双目图像中没有匹配。

53、可选的，所述使用ransac算法去除所述初步匹配的特征点对集合中的误匹配，得到最终匹配的特征点对，包括：

54、从初步匹配的特征点对集合中随机选取多组特征点对，

55、判断所选取的特征点对是否满足对极约束的阈值要求：若满足，则认为是正确匹配点对；反之，则认为是误匹配，将该特征点对剔除；

56、将所有正确匹配点对加入内点集；

57、在所述内点集中重新随机选取多组特征点对，迭代求解基础矩阵f，以获得具有最大正确匹配点数的基本矩阵；

58、利用所述具有最大正确匹配点数的基本矩阵进行双目图像对中两张双目图像间的特征点匹配。

59、可选的，所述基于最终匹配的特征点对，利用sfm方法稀疏重建进行二维坐标到三维坐标的转换，包括：

60、基于最终匹配的特征点对，计算得到两个双目图像间的点对应关系；

61、根据所述点对应关系，计算两个双目图像间的基本矩阵；

62、利用所述基本矩阵以及已知的相机内参矩阵，计算得到本质矩阵；

63、对所述本质矩阵进行奇异值分解，以得到相机的外参矩阵；

64、根据所述内参矩阵和外参矩阵得到两个双目相机间的投影矩阵；

65、利用所述投影矩阵以及两张双目图像间的匹配的特征点对，通过三角测量确定每个匹配点的三维坐标。

66、可选的，还包括：利用光束法平差ba来对得到的相机参数以及获取的每个匹配点的三维坐标进行优化，以得到更精确的相机参数和各个匹配点的三维坐标。

67、第二方面，本发明提供一种电力场景缺陷识别去重装置，包括：

68、获取模块，用于获取目标电力场景在不同点位下被拍摄的多组双目图像对；

69、模型构建模块，用于构建目标缺陷分割模型；所述目标缺陷分割模型用于对于每组双目图像对进行缺陷目标的检测分割，以检测得到缺陷目标的缺陷位置及其缺陷类型，并分割得到所述缺陷目标的缺陷图像；

70、三维重建模块，用于对于每一缺陷目标，在其缺陷图像中提取其在图像坐标系的下二维坐标点集，利用所述二维坐标点集对该缺陷目标进行三维重建，以得到该缺陷目标在世界坐标系下的空间区域；

71、计算模块，用于计算所述待去重的缺陷目标集合中，两两缺陷目标间的空间区域的立体空间重合度；所述待去重的缺陷目标集合由多组双目图像对之中检测分割得到的全部缺陷目标共同组成；

72、去重模块，用于对于所述立体空间重合度大于预设阈值且缺陷类型相同的多个缺陷目标，保留其中一个以去重。

73、可选的，所述计算模块中两两缺陷目标间的空间区域的立体空间重合度的计算方式为：

74、（intersection)/(min(sizea，sizeb))；

75、其中intersection为两个缺陷目标的三维空间区域的交集面积；a、b为两个缺陷目标在世界坐标系下的空间区域；

76、 (min(sizea，sizeb)为a，b空间区域面积中较小的面积。

77、第三方面，本发明提供一种电子终端，其包括处理器与所述处理器连接的存储器，在所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，执行所述电力场景缺陷识别去重方法的步骤。

78、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述电力场景缺陷识别去重方法的步骤。

79、第五方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述电力场景缺陷识别去重方法的步骤。

80、与现有技术相比，本发明实施例至少能够达到下述有益效果：本发明实施例通过双目相机对电力场景进行图像采集，相较于单目图像，成对的双目图像能够为缺陷目标的三维重建提供前提，并获得更准确的重建结果。本发明实施例基于缺陷目标的重建结果，采用立体空间重合度作为去重判断的标准，以对于缺陷类型相同且立体空间重合度高于阈值的两缺陷目标进行去重，去重准确率较高,从而能够有效避免同一缺陷目标重复告警的情况，使得无人机缺陷识别在电力场景巡检中的应用有更好的实用效果。