一种基于边缘AI技术的管道缺陷识别方法及系统与流程

本技术涉及智能识别的，具体是涉及一种基于边缘ai技术的管道缺陷识别方法及系统。

背景技术：

1、目前，城市管道的检测通常采用人工作业或者人机协同模式。人工作业的方式需要工人下井，空间狭小、环境恶劣、作业困难，效率低、局限性大、安全隐患不容忽视。人机协同的工作模式，主要是人工操作管道机器人进入管道，通过机器人搭载的传感器，如：摄像头，对采集的图像进行判读以确定所摄区域内管道是否存在缺陷，并进行下一步操作的决策。这种方式虽然避免了人工下井的安全隐患，但是存在检测效率低，成本高，易受到操作者疲劳程度和情绪等主观因素影响，检测质量参差不齐的问题。

2、为了实现管道缺陷的自动检测，现有技术中也存在设计管道缺陷自动检测系统，利用机器人自动巡检装置自动采集数据，为了保障缺陷识别的准确性，将采集到的图像数据传送至数据处理能力强的远端服务器进行缺陷识别处理，这种识别方式存在数据传输延时性与稳定性的挑战。如何在平衡管道缺陷识别的高准确性与低延时性基础上实现管道缺陷的自动检测是需要进一步解决的问题。

技术实现思路

1、为了实现管道缺陷自动检测，提升缺陷检测效率并保证缺陷检测质量，本技术提供一种基于边缘ai技术的管道缺陷识别方法及系统。

2、第一方面，本技术提供一种基于边缘ai技术的管道缺陷识别方法，包括：

3、利用边缘端计算设备进行卷积网络图像检测模型设计；

4、利用管道缺陷图像样本对设计的卷积网络图像检测模型进行训练，获得初始管道缺陷识别模型；

5、对初始管道缺陷识别模型进行模型压缩，获得管道缺陷识别模型；

6、于边缘端计算设备上部署管道缺陷识别模型，利用边缘端计算设备直接对采集到的管道图像样本进行缺陷识别，获得缺陷识别结果；所述管道图像样本利用嵌有边缘端计算设备与摄像设备的管道巡检装置采集获得。

7、通过采用上述方案，利用边缘计算设备设计图像检测模型，并训练生成缺陷识别模型实现准确缺陷检测，保证缺陷检测质量；对识别模型进行压缩，保障能够直接部署于边缘端计算设备，保障缺陷识别的低延时性，提升缺陷识别效率。

8、优选的，所述卷积网络图像检测模型包括：

9、卷积网络图像检测模型的输入为采集到的管道图像样本；

10、卷积网络图像检测模型的输出为管道缺陷类别、置信程度和管道缺陷检测的外接矩形在输入图像样本中的坐标；

11、卷积网络图像检测模型的主体为多层卷积网络，包括：数据预处理层、特征提取层、特征融合层和缺陷检测层；其中，所述数据预处理层对于输入的采集到的管道图像样本进行数据清洗、数据补偿以及数据归一化处理，输出完成预处理的图像数据；所述特征提取层包括若干卷积阶段，每个卷积阶段包括若干卷积层与池化层，利用多个卷积阶段对于完成预处理的图像数据进行特征提取与下采样处理，输出特征图；所述特征融合层包括特征自上向下融合特征层或组合的特征自上向下融入特征层和特征自下而上融合特征层，利用特征自上向下融合特征层或组合的特征自上向下融入特征层和特征自下而上融合特征层对输入的特征图进行多个尺度的特征融合，输出不同尺度下的融合特征图；所述缺陷检测层包括多个缺陷检测头网络，每个缺陷检测头网络对一个尺度下的融合特征图进行缺陷检测，获得该尺度下缺陷检测结果，将多个尺度下的缺陷检测结果进行堆叠并通过阈值筛选和非极大抑制去除多余的检测结果，获取最终检测结果用以输出。

12、通过采用上述方案，采用多个卷积阶段获取进行特征提取为后续特征融合提供多个尺度的特征图的基础，设计单一的自上而下的特征融合或者组合的双向的特征融合获取多个尺度的融合特征图，完整多个尺度的缺陷检测以实现更多精准的缺陷检测。

13、优选的，利用特征自上向下融合特征层对输入的特征图进行多个尺度的特征融合，输出不同尺度下的图像融合特征包括：

14、选择部分卷积阶段输出的特征图，按照每个卷积阶段输出的特征图的大小对特征图进行阶段排序，特征图大小越大，阶段越低；自最高阶段对应的第一融合特征图开始，自上而下重复采用上采样或者插值的方法将上一阶段对应的第一融合特征图扩展至与下一阶段的特征图大小一致,将上一阶段对应的第一融合特征图与下一阶段的特征图叠加卷积获得下一阶段对应的第一融合特征图直至下一阶段的特征图为最低阶段的特征图，获得多个尺度下第一融合特征图；其中，最高阶段对应的第一融合特征图为最高阶段特征图本身；

15、利用组合的特征自上向下融入特征层和特征自下而上融合特征层对输入的特征图进行多个尺度的特征融合，输出不同尺度下的图像融合特征包括：

16、选择部分卷积阶段输出的特征图，按照每个卷积阶段输出的特征图的大小对特征图进行阶段排序，特征图大小越大，阶段越低；自最高阶段对应的第一融合特征图开始，自上而下重复采用上采样或者插值的方法将上一阶段对应的第一融合特征图扩展至与下一阶段的特征图大小一致,将上一阶段对应的第一融合特征图与下一阶段的特征图叠加卷积获得下一阶段对应的第一融合特征图直至下一阶段的特征图为最低阶段的特征图，获得多个尺度下第一融合特征图；

17、获取每个阶段对应的第一融合特征图后，自最低阶段对应的第二特征图开始，自下而上重复采用下采样将上一阶段对应的第二融合特征图大小缩小至与下一阶段对应的第一融合特征图大小一致，将上一阶段对应的第二融合特征图与下一阶段对应的第一融合特征图进行叠加卷积获得下一阶段对应的第二融合特征图直至下一阶段对应的第一融合特征图为最高阶段对应的第一融合特征图，最终获得多个尺度下第二融合特征图；其中，最低阶段对应的第二特征图为最低阶段对应的第一特征图本身。

18、通过采用上述方案，按照特征图大小进行特征图阶段排序为自上而下与自下而上的特征融合提供基础，以每两个阶段的特征图生成一个尺度下融合特征图尽可能多的获得多个尺度的融合特征图。

19、优选的，所述管道巡检装置还嵌有湿度传感装置、光强传感装置与深度传感装置；根据历史采集到的目标管道的湿度、光强与深度对目标管道进行类型划分，当湿度、光强与埋地深度中至少两个未处于对应预设值范围内，则认定当前目标管道属于第一类管道类型；否则，属于第二类管道类型；

20、特征融合层根据目标管道所属类型选择设置特征自上向下融合特征层或组合的特征自上向下融入特征层和特征自下而上融合特征层，包括：当目标管道所属类型为第一类管道类型时，选择设置为组合的特征自上向下融入特征层和特征自下而上融合特征层；当目标管道所属类型为第二管道类型，选择设置为特征自上向下融合特征层。

21、通过采用上述方案，考虑到光照差、湿度大以及埋藏深的管道采集到的图像质量低，对于采集的质量低的图像选择设置多个层次的特征融合，提高缺陷检测的准确性。

22、优选的，所述利用管道缺陷图像样本对设计的卷积网络图像检测模型进行训练包括：

23、每个管道缺陷图像样本中每个缺陷均人工标记有缺陷位置与缺陷类别编号；

24、将标记好的管道缺陷图像样本输入设计的卷积网络图像检测模型进行迭代训练，计算模型损失，若模型损失超出预设损失值，则调整模型参数重新进行迭代训练直至模型损失低于预设损失值；所述模型损失的计算公式为：

25、loss＝λ1lconf+λ2lclass+λ3lbox

26、式中，lconf为目标置信度损失，lclass为分类损失，lbox为基于iou的损失函数，λ1为目标置信度损失的权重，λ2为分类损失的权重，λ3为基于iou的损失函数的权重。

27、通过采用上述方案，考虑到设置的输入类型，从多个输入角度对应设置多个角度的损失函数，提高模型训练的精度。

28、优选的，对初始管道缺陷识别模型进行模型压缩包括：

29、利用模型剪枝算法对初始管道缺陷识别模型进行剪枝，剪枝过程包括：根据预设重要性评价指标对卷积网络图像检测模型中模型参数重要性进行评估；通过结构化剪枝或者非结构化剪枝选定需要删除的不重要的模型参数，将不重要的模型参数进行删除；利用管道缺陷图像样本对卷积网络图像检测模型进行训练以使得卷积网络图像检测模型的模型精度恢复至剪枝前的模型精度；评估当前模型压缩率是否达到压缩率预设值，若未达到要求则重复进行模型参数重要性评估、删除的不重要的模型参数与模型精度恢复训练直至压缩率达到压缩率预设值，输出剪枝后模型；

30、对剪枝后的模型进行量化；

31、对量化后的模型参数进行霍夫曼编码表示，完成模型压缩。

32、通过采用上述方案，利用模型剪枝算法进行模型压缩，实现在模型压缩的同时尽可能保障模型缺陷检测的准确性，同时采用量化与编码保障模型参数的准确性。

33、优选的，所述压缩率预设值根据目标管道所属类型对应设置；当目标管道所属类型为第一类管道类型时，压缩率预设值设置为第一压缩率预设值；当目标管道所属类型为第二类管道类型时，压缩率预设值设置为第二压缩率预设值；第一压缩率预设值小于第二压缩率预设值。

34、通过采用上述方案，考虑到质量高的图像无需设计较为复杂的模型，模型大小相对较小，对应的设置交底的压缩率预设值，提高模型压缩速率。

35、第二方面，本技术提供一种基于边缘ai技术的管道缺陷识别系统，包括：

36、模型设计模块，用于利用边缘端计算设备进行卷积网络图像检测模型设计；

37、初始管道缺陷识别模型获取模块，用于利用管道缺陷图像样本对设计的卷积网络图像检测模型进行训练，获得初始管道缺陷识别模型；

38、管道缺陷识别模型获取模块，用于对初始管道缺陷识别模型进行模型压缩，获得管道缺陷识别模型；

39、缺陷识别结果获取模块，用于于边缘端计算设备上部署管道缺陷识别模型，利用边缘端计算设备直接对采集到的管道图像样本进行缺陷识别，获得缺陷识别结果；所述管道图像样本利用嵌有边缘端计算设备与摄像设备的管道巡检装置采集获得。

40、通过采用上述方案，利用初始管道缺陷识别模型获取模块训练生成初始管道缺陷识别模型实现准确缺陷检测，保证缺陷检测质量；利用缺陷识别模型获取模块实现识别模型进行压缩，保障直接部署于边缘端计算设备，具有低延时性，提升缺陷识别效率。

41、第三方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的方法。

42、第四方面，本技术提供一种计算机设备，所述计算机设备包括存储器、处理器及在所述存储器上存储并可运行的程序，所述程序被处理器执行时实现如上述方法的步骤。

43、综上，本技术具有以下有益效果为：

44、1、利用边缘端计算设备设计图像检测模型，训练生成缺陷识别模型实现准确缺陷检测，保证缺陷检测质量；对识别模型进行压缩，保障能够直接部署于边缘端计算设备，保障缺陷识别的低延时性，提升缺陷识别效率；

45、2、考虑管道质量，选择采用单一的自上而下的特征融合或组合的双向特征融合作为特征融合层的具体结构，适用性的设计以满足不同管道缺陷检测质量；

46、3、采用模型剪枝算法和模型量化保障管道缺陷检测模型能够更好部署于边缘端计算设备，避免由于受到边缘端计算设备内存与处理器的限制出现无法安装的情况。