一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法与流程

技术特征：
1.一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，包括以下步骤：步骤s1：使用高清无人摄像机对钢桥螺栓节点部位进行数据集采集，采集导出的为视频格式；步骤s2：对采集的视频图像数据集进行预处理，包括对航拍视频进行提帧、前景处理、边缘检测；步骤s3：对上述预处理后的图片进行标注，采用华为云modelarts平台，数据集模块标注，将正常螺栓标注为1，病害螺栓标注为0；步骤s4：采用modelarts平台先对数据进行增强，利用grayscale算法，将图片进行灰度化处理；利用scale算子对图片进行缩放处理；华为云平台已经将算子进行编程，用户仅需调用即可实现对图片的处理，图片灰度化，将三通道的彩色图像转换到三通道的灰度图像；缩放处理，增加数据集样本数；步骤s5：对数据集进行深度学习网络模型训练，采用华为已开发的华为云modelarts平台，算法采用yolov5算法；modelarts是面向开发者的一站式ai开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期ai工作流；步骤s6：使用训练好的模型对测试图片进行检测，实现对钢桥螺栓缺损病害智慧诊断识别。2.根据权利要求1所述的一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，在所述步骤s1中，采集的数据是利用高清无人摄像机拍摄的视频，其飞行速度控制在5m/s，保持匀速飞行，采集的视频为1080p级别。3.根据权利要求1所述的一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，在所述步骤s2中，采集的数据集为视频格式，需要对其进行预处理，具体实施方式为：提帧得出图片数据集，每隔2秒提取一帧数视频图像作为训练图集，配合后期人工筛选，保证在图像视角多样性的前提下，获取尽可能少的图像样本，以节省航拍图像处理的时间。4.根据权利要求1所述的一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，在所述步骤s2中具体为：对前景进行处理，本方法采用grabcut算法，该算法通过建立两个三通道混合高斯模型分别表示背景和前景的颜色分布，每一个混合高斯模型默认由5个高斯混合函数组成，每一个像素均属于前景或者背景，并依此建立gibbs能量公式：e(α，θ，z)＝u(α，θ，z) v(α，z)#(1)式中：α为透明度，z为原始灰度图，θ为混合高斯模型的参数，e为整体图像的gibbs能量，u为区域项即单个像素属于目标或者背景的概率的负对数，v为边界项表示分割边缘的合理程度，当相邻两像素相差越大时，v的能量越小；gibbs能量公式的目的是将图像分割问题转化为优化计算问题，通过迭代计算调整模型参数，当能量值最小时默认此时图像达到最优分割效果。5.根据权利要求1所述的一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，在所述步骤s2中具体为：对节点板图像进行边缘检测；对节点板图像进行边缘检测的目的是利用螺栓点与节点板的灰度差来标识节点板中的螺栓点，常用的边缘检测算
子为roberts算子、sobel算子、canny算子，其中roberts、sobel算子对噪声抑制能力较差，因此采用定位更加精确的canny算子；首先，对前景数字图像进行二值化，鉴于航拍图像受光照的影响较大，本文采用自适应阈值二值化算法，其特点在于针对图像小块区域自动计算其阈值，避免了区域曝光的影响和阈值的人工设定，同时凸显二值化图像中螺栓的背景差异；第二步，通过图像形态学对二值化图像进行降噪处理，图形学中锈蚀操作可消除细小孤立点，膨胀操作使得图形边缘更加平滑，采用先锈蚀后膨胀的操作即可消除钢板上的细微斑点和锈蚀；第三步，使用canny算子对图像进行边缘检测，该算子依靠高斯滤波来降低噪声，即将二维高斯函数与原始图像进行卷积计算，如式(2)和式(3)所示：i(x，y)＝g(x，y，σ)*f(x，y)#(3)式中，g(x，y，σ)为二维高斯函数，σ为高斯函数的标准差，随着σ的增加滤波覆盖面积增加，f(x，y)为原始图像灰度值，i(x，y)为滤波后图像灰度值；针对滤波后图像中每一个像素点计算梯度值以寻找像素局部最大值，其中梯度幅值最大的点即为图像边缘点，如式(4)和式(5)所示：θ＝arctan(i
y
(x，y)/i
x
(x，y))#(5)式中，i
x
(x，y)和i
y
(x，y)为图像i(x，y)对x和y方向上的偏导数，m为该点的梯度强度，θ为其梯度向量。6.根据权利要求1所述的一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，所述步骤s3中具体为：数据集标注采用modelarts平台，在该平台的数据集标注模块，对图片进行放大缩小标注，标签定为正常螺栓设置值为1，缺损病害螺栓设置值为0，任意选择标注的图框样式，鉴于螺栓的标注量大，标注样式采用方框式，标注采用团队标注模式，多人协同标注是华为云平台相较于其他标注工具的显著优势。7.根据权利要求1所述的一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，所述步骤s4中具体为：利用华为云modelarts平台数据增强功能对图片进行缩放和灰度化处理，分别采用scale算子与grayscale算子，华为云平台已经将算子的模型内置，用户仅需调用该算法模型即可实现对图片的数据增强；数据扩增主要用于训练数据集不足或需要仿真的场景，能通过对已标注的数据集做变换操作来增加训练图片的数量，同时会生成相应的标签。8.根据权利要求1所述的一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，所述步骤s5中具体为：通过华为云modelarts平台，实现对螺栓的深度学习模型的建立；在该平台上，其yolov5共有s、m、l、x四个模型，相同的数据集场景下，在yolov5-s模型训练和推理性能最佳，yolov5-x模型map的指标最佳；针对提供带有物体框标注的数据集，该算法会预先载入在coco数据集下训练过的模型，训练后生成的模型可直接在modelarts平台部署成在线服务，支持在cpu/gpu上部署推理；该算法适用于物体检测类型的深度学习，其支持的框架引擎为pytorch-1.7.0-python3.6，在算法输入设置参数时，对modelarts数据管理平台发布的物体检测数据集，必须使用数据切分功能，以8:2或9:1的比
例进行切分，即为“训练验证比例“设置为0.8或0.9；算法预置于ai gallery中，使用时，仅需要订阅即可调用该算法，无需初学者花费大量时间编程；调用该算法模型，设置好其他参数，即可进行模型训练；待训练结束，自动输出训练模型。9.根据权利要求1所述的一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，其特征在于，所述步骤s6中具体为：打开训练好的具有足够精度的模型，将验证集图片上传进行预测分析，代码返回值"detection_classes"，得到返回值为1和0的两组预测数据；同时也包含了其在图片上的位置信息"detection_boxes"值。

技术总结
本发明公开了一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法。本发明是为了解决在钢桥螺栓在损伤检测的过程中，通过人工目视对螺栓进行检测，存在耗费时间长、受人员主观影响大和人身危险性高的缺点。分为以下几个步骤。1.使用高清无人摄像机对钢桥螺栓节点部位图像数据集进行采集；2.对采集的图像数据集进行预处理；3.对采集的预处理后的数据集进行标注；4.采用ModelArts平台先对数据进行增强，利用Grayscale算法，将图片进行灰度化处理；5.对数据集进行深度学习网络模型训练，采用华为已开发的华为云ModelArts平台，算法采用YOLOv5算法。YOLOv5算法。YOLOv5算法。


技术研发人员：邵鹏 李枝军 严锴 徐汉江 李秉南 徐秀丽
受保护的技术使用者：苏州市港航事业发展中心 东南大学建筑设计研究院有限公司
技术研发日：2021.11.10
技术公布日：2022/2/8