变电设备图像数据增强方法、系统及远程智能巡视系统与流程

本发明涉及一种图像数据增强方法，尤其是变电设备图像数据增强方法、系统及远程智能巡视系统。

背景技术：

1、变电设备的安全保障是变电系统运行中的关键环节，为了及时发现设备故障，变电站需要投入大量的人力及时间成本进行人工巡检。然而，在一些人力难以触及的高危区域，难以发现的变电设备缺陷也存在具大安全隐患，这给依赖人工巡检方式的变电站设备保障体系带来了巨大挑战。

2、随着人工智能技术的发展和应用，尤其是深度学习在图像处理和目标检测方面的进步，变电设备的安全巡检工作的主体正逐步从人工转向依靠空天地智能巡检系统的自动化缺陷识别算法。这些算法能够快速、准确地识别设备缺陷，并通过巡检系统实时反馈可能存在的问题，大大提高了巡检的效率和准确性，为变电行业的可持续发展提供了关键支持。

3、然而，缺陷识别算法的性能很大程度上取决于训练数据的规模和质量。为增加样本的多样性，通常采用人工构建的方法扩增稀缺类别数据。尽管这种方法有效增加了这些类别的缺陷样本数据量，但也存在样本背景单调、缺陷形式单一、构造成本高昂等问题。这些限制导致训练数据集难以准确反映真实场景，从而对缺陷识别算法性能的提升形成了较大制约。

技术实现思路

1、发明目的：本发明的目的是提供一种能够快速、准确地生成大量符合变电领域真实场景的缺陷样本的图像数据增强方法及系统；同时提供一种变电站的远程智能巡视系统。

2、技术方案：本发明所述的变电设备图像数据增强方法，包括如下步骤：

3、采集变电站的包含缺陷的变电设备图像，根据变电设备与缺陷类别的对应关系，建立变电设备缺陷图像样本库；

4、建立变电设备缺陷识别模型，在像素点上的梯度构建显著性检测函数，用于缺陷类别强相关性图像区域感知，构建类别语义空间；

5、根据所述变电设备与缺陷的对应关系及所述类别语义空间，对所述变电设备缺陷图像样本库中的负样本图像进行缺陷区域分割，得到缺陷分割图像；

6、获取变电站的无缺陷的设备运行图像作为背景，将所述缺陷分割图像与所述背景进行融合，获得保留变电设备语义信息的增强图像；建立变电设备语义增强图像样本库。

7、进一步地，建立变电设备缺陷图像样本库之前还包括，对采集的变电设备图像进行筛选处理；所述筛选处理包括：

8、通过提取变电设备图像在hsv色彩空间的亮度通道，将过曝或欠曝的变电设备图像删除；

9、通过计算离散傅里叶变换下的图像功率谱斜率，将模糊的变电设备图像删除；

10、通过结构相似性算法计算以天为单位的变电设备图像的相似性，将相似度高于阈值的变电设备图像删除；

11、将不包含典型电气设备的变电设备图像删除。

12、进一步地，所述根据变电设备与缺陷的对应关系，建立变电设备缺陷图像样本库包括：

13、使用标注框对变电设备及缺陷类别进行标注，构建类别共现矩阵；选择共现矩阵中相关性得分大于0.5的缺陷类别，建立变电设备部件和缺陷类别之间的主从级关系，每个从级缺陷类别对应至少一个主级变电设备部件；

14、所述共现矩阵的构建方法包括如下步骤：

15、(1)初始化一个m×m的共现矩阵m，对于矩阵中的每个值mab表示缺陷类别a对于缺陷类别b的相关性，计算公式为：

16、

17、其中counta&b表示缺陷类别a与b的标注框相关时的统计数，countb表示缺陷类别b的标注框出现的次数；

18、(2)对于每张变电设备图像ii∈d，遍历所有框对(bij,bik)并更新共现矩阵中的值：

19、

20、(3)遍历所有变电设备图像及其标注框后，完后类别共现矩阵的构建。

21、进一步地，采用yolov5模型对所述变电设备缺陷图像样本库进行训练得到所述变电设备缺陷识别模型。

22、进一步地，在所述变电设备缺陷识别模型中提取特征表示层的图像的梯度信息，构建显著性检测函数显著性检测函数得分j(s,x,l)为区域s上的梯度累加和，gij(x,l)为变电设备缺陷识别模型在变电设备图像x中对于缺陷类别l在像素(i,j)上的梯度值；

23、根据显著性检测函数得分，构建类别语义空间，具体包含以下步骤：

24、若变电设备图像中存在缺陷类别及其对应图像区域sl，则在变电设备图像中进行随机采样，获得的采样区域s满足的条件

25、计算采样区域的显著性检测函数得分，若得分大于阈值，则认为该采样区域与缺陷类别有强相关性，将其作为缺陷类别的类别语义空间；否则重新在变电设备图像中进行随机采样，直至显著性检测函数得分大于阈值或采样次数达到上限。

26、进一步地，所述根据所述变电设备与缺陷的对应关系及所述类别语义空间，对所述变电设备缺陷图像样本库中的负样本图像进行缺陷区域分割，得到缺陷分割图像包括：

27、根据变电设备与缺陷类别的对应关系，选择变电设备图像中包含缺陷且面积最大的主级变电设备部件区域作为当前变电设备图像的分割区域；

28、若当前变电设备图像中不包含与缺陷类别对应的主级变电设备，则根据该缺陷类别的类别语义空间对应的区域作为当前变电设备图像的分割区域。

29、进一步地，所述获取变电站的无缺陷的设备运行图像作为背景，将所述缺陷分割图像与所述背景进行融合，获得保留变电设备语义信息的增强图像包括：

30、将作为背景的设备运行图像随机选择高斯模糊、颜色变换、色调变换、明度变换、泊松噪声、图像锐化中的三种进行混合像素空间转换，得到背景图像；

31、将缺陷分割图像进行仿射变换，得到分割图像；

32、将所述分割图像与所述背景图像进行融合，得到增强图像。

33、本发明所述的变电设备图像数据增强系统，包括：

34、缺陷图像样本库建立单元，用于采集变电站的包含缺陷的变电设备图像，根据变电设备与缺陷类别的对应关系，建立变电设备缺陷图像样本库；

35、语义空间构建单元，用于建立变电设备缺陷识别模型，在像素点上的梯度构建显著性检测函数，用于缺陷类别强相关性图像区域感知，构建类别语义空间；

36、分割图像提取单元，用于根据所述变电设备与缺陷的对应关系及所述类别语义空间，对所述变电设备缺陷图像样本库中的负样本图像进行缺陷区域分割，得到缺陷分割图像；

37、增强图像样本库建立单元，用于获取变电站的无缺陷的设备运行图像作为背景，将所述缺陷分割图像与所述背景进行融合，获得保留变电设备语义信息的增强图像；建立变电设备语义增强图像样本库。

38、本发明所述的远程智能巡视系统，其特征在于，利用所述变电设备语义增强图像样本库训练得到变电设备缺陷识别增强模型，将所述变电设备缺陷识别增强模型部署于变电站的服务主机上，得到远程智能巡视系统。

39、进一步地，所述变电设备缺陷识别增强模型为detr模型。

40、有益效果：与现有技术相比，本发明的优点在于：本发明基于设备部件-缺陷主从级关系及显著性检测函数进行数据自动增强，并完整地保留变电设备语义信息，其创新地构建了基于变电设备类别语义空间的显著性检测函数，实现缺陷类别强相关性图像区域的自动提取，并基于分区自适应仿射变换技术和像素空间转换技术实现图像数据自动增强方法，增加图像多样性的同时完整保留了增强图像中的变电设备语义信息。适用于缺陷发生频次低、图像样本采集难等场景，可有效扩充样本库，提高模型识别效果。