一种基于ModelArt平台构建的钢桥螺栓病害智慧诊断方法与流程

一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法
技术领域
1.本发明涉及数字图像处理技术领域及桥梁智能运维的钢桥螺栓病害智慧识别领域，具体涉及一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法。


背景技术：

2.截止2020年底，我国桥梁数量已接近85万座，先后建成公铁两用的芜湖长江大桥、滨州公铁两用特大桥和南京大胜关长江大桥等大型钢结构桥梁，不少桥梁出现了结构损伤，导致其承载能力下降，螺栓在使用中会频繁受到振动冲击、雨水侵蚀等不利因素影响，从而产生各种病害。螺栓存在的主要病害类型有锈蚀、松动、断裂和脱落。目前螺栓的病害已经成为栓接钢桥的常见病害类型，以新兖线长东黄河大桥为例，每年大约有1200条高强螺栓发生折断。
3.螺栓脱落后会失去连接能力，螺栓群能承受的滑移荷载会减小，导致连接处传力性能的下降，对钢桁梁桥的安全造成威胁。虽然经统计发生脱落的螺栓数量占比较小，但螺栓连接着桥梁的节点部位，如果发生大量失效将对桥梁带来极大的安全隐患。如无锡某钢桁架桥发生大面积螺栓锈蚀；南京大胜关长江大桥建成5年内共发现高强螺栓断裂276套；重庆朝天门大桥通车7年来，共发现45颗高强螺栓断裂脱落等。2007年8月倒塌的美国i-35w钢桁架桥，倒塌原因经过分桁为连接失效，经调查其节点部位的高强螺栓存在严重的松动脱落问题，对于桥梁结构，目前最常用的螺栓检测方法为人工检测，工人通过目视对螺栓进行检测，存在耗费时间长、受人员主观影响大和人身危险性高等缺点。近年来，随着人工智能的发展以及计算机视觉技术的成熟，基于图像的智能病害检测技术得到了更多工程应用。桥梁智能巡检无人机的研制成功实现了高精度的图像采集，体现了无人机在检测领域的广阔前景。
4.为了提高钢桥螺栓病害检测和识别效率、完善分析方法，探索基于计算机视觉、5g传输和人工智能算法的大型桥梁智能监测技术属于具有国家重大需求的工程实践领域。基于华为云modelarts构建计算机视觉在钢结构桥梁螺栓智能监测应用中的模型。基于华为ai开发平台modelarts，利用其智能标注和ai gallery中的数据、计算机视觉算法和ai开发资源，搭建一种基于计算机视觉的螺栓病害智能识别方法和平台。通过混合高斯算法、canny边缘检测等传统图像处理手段对航拍视频进行预处理，实现了钢桁架螺栓图像的批量化提取，并通过对螺栓图像采取缩放、旋转、变形等措施拓展螺栓图像的样本数；利用modelarts平台进行深度学习，使其达到满足工程精度的需求；并将该方法用于实际工程，实现自动化、智能化，避免人为主观判断带来的影响。本项目研发了一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法。为解决上述问题提供技术支持。


技术实现要素：

5.本发明的目的是为了解决实际工程中存在的上述问题，提供一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，能够安全、高效、经济的解决螺栓病害识别的桥梁运
维问题。
6.本发明采用以下技术方案：一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，具体包括以下步骤：
7.步骤s1：使用高清无人摄像机对钢桥螺栓节点部位进行数据集采集，采集导出的为视频格式；
8.步骤s2：对采集的视频图像数据集进行预处理，包括对航拍视频进行提帧、前景处理、边缘检测；
9.步骤s3：对上述预处理后的图片进行标注，采用华为云modelarts平台，数据集模块标注，将正常螺栓标注为1，病害螺栓标注为0；
10.步骤s4：采用modelarts平台先对数据进行增强，利用grayscale算法，将图片进行灰度化处理。利用scale算子对图片进行缩放处理。华为云平台已经将算子进行编程，用户仅需调用即可实现对图片的处理，图片灰度化，将三通道的彩色图像转换到三通道的灰度图像；缩放处理，增加数据集样本数。
11.步骤s5：对数据集进行深度学习网络模型训练，采用华为已开发的华为云modelarts平台，算法采用yolov5算法。modelarts是面向开发者的一站式ai开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期ai工作流；
12.步骤s6：使用训练好的模型对测试图片进行检测，实现对钢桥螺栓缺损病害智慧诊断识别。
13.进一步地，在步骤s1中，采集的数据是利用高清无人摄像机拍摄的视频，其飞行速度控制在5m/s，保持匀速飞行，采集的视频为1080p。
14.进一步地，在步骤s2中，采集的数据集为视频格式，需要对其进行预处理，具体实施方式为：提帧得出图片数据集，每隔2秒提取一帧数视频图像作为训练图集，配合后期人工筛选，可保证在图像视角多样性的前提下，获取尽可能少的图像样本，以节省航拍图像处理的时间。
15.进一步地，在步骤s2中具体为：对前景进行处理。本方法采用grabcut算法，该方法为一种基于图论的交互式图像分割技术，只需少量人工调参，适用于钢桁架桥航拍中多图像、多角度的情况。通过建立两个三通(rgb)混合高斯模型分别表示背景和前景的颜色分布，每一个混合高斯模型默认由5个高斯混合函数组成，每一个像素均属于前景或者背景，并依此建立gibbs能量公式(1)：
16.e(α，θ，z)＝u(α，θ，z) v(α，z)#(1)
17.式中：α为透明度，z为原始灰度图，θ为混合高斯模型的参数，e为整体图像的gibbs能量，u为区域项即单个像素属于目标或者背景的概率的负对数，v为边界项表示分割边缘的合理程度，当相邻两像素相差越大时，v的能量会越小。gibbs能量公式的目的是将图像分割问题转化为优化计算问题，通过迭代计算调整模型参数，当能量值最小时默认此时图像达到最优分割效果。
18.进一步地，在步骤s2中具体为：对节点板图像进行边缘检测。对节点板图像进行边缘检测的目的是利用螺栓点与节点板的灰度差来标识节点板中的螺栓点，常用的边缘检测
算子为roberts算子、sobel算子、canny算子，在其中的roberts、sobel算子对噪声抑制能力较差，因此采用定位更加精确的canny算子。首先，对前景数字图像进行二值化，鉴于航拍图像受光照的影响较大，本文采用自适应阈值二值化算法，其特点在于针对图像小块区域自动计算其阈值，避免了区域曝光的影响和阈值的人工设定，同时凸显二值化图像中螺栓的背景差异。第二步，通过图像形态学对二值化图像进行降噪处理，图形学中锈蚀操作可消除细小孤立点，膨胀操作可使得图形边缘更加平滑，采用先锈蚀后膨胀的操作即可消除钢板上的细微斑点和锈蚀。第三步，使用canny算子对图像进行边缘检测，该算子依靠高斯滤波来降低噪声，即将二维高斯函数与原始图像进行卷积计算，如式(2)和式(3)所示：
[0019][0020]
i(x，y)＝g(x，y，σ)*f(x，y)#(3)
[0021]
式中，g(x，y，σ)为二维高斯函数，σ为高斯函数的标准差，随着σ的增加滤波覆盖面积增加，f(x，y)为原始图像灰度值，i(x，y)为滤波后图像灰度值。针对滤波后图像中每一个像素点计算梯度值以寻找像素局部最大值，其中梯度幅值最大的点即为图像边缘点，如式(4)和式(5)所示：
[0022][0023]
θ＝arctan(iy(x，y)/i
x
(x，y))#(5)
[0024]
式中，i
x
(x，y)和ir(x，y)为图像i(x，y)对x和y方向上的偏导数，m为该点的梯度强度，θ为其梯度向量。
[0025]
进一步地，步骤s3中具体为：数据集标注采用modelarts平台，在该平台的数据集标注模块，可以对图片进行放大缩小标注，标签定为正常螺栓设置值为1，缺损病害螺栓设置值为0，可任意选择标注的图框样式，鉴于螺栓的标注量大，标注样式通常采用方框式，标注可采用团队标注模式，多人协同标注是华为云平台相较于其他标注工具的显著优势。
[0026]
进一步地，步骤s4中具体为：利用华为云modelarts平台数据增强功能对图片进行缩放和灰度化处理，分别采用scale算子与grayscale算子，华为云平台已经将算子的模型内置，用户仅需调用该算法模型即可实现对图片的数据增强。数据扩增主要用于训练数据集不足或需要仿真的场景，能通过对已标注的数据集做变换操作来增加训练图片的数量，同时会生成相应的标签。
[0027]
进一步地，步骤s5中具体为：通过华为云modelarts平台，实现对螺栓的深度学习模型的建立。在该平台上，其yolov5共有s、m、l、x四个模型，相同的数据集场景下，一般在yolov5-s模型训练和推理性能最佳，yolov5-x模型map的指标最佳。针对提供带有物体框标注的数据集，该算法会预先载入在coco数据集下训练过的模型，训练后生成的模型可直接在modelarts平台部署成在线服务，目前支持在cpu/gpu上部署推理。该算法适用于物体检测类型的深度学习，其支持的框架引擎为pytorch-1.7.0-python3.6，在算法输入设置参数时，对modelarts数据管理平台发布的物体检测数据集，必须使用数据切分功能，建议以8∶2或9∶1的比例进行切分，即为“训练验证比例“设置为0.8或0.9。算法预置于ai gallery中，使用时，仅需要订阅即可调用该算法，无需初学者花费大量时间编程。调用该算法模型，设置好其他参数，即可进行模型训练。待训练结束，自动输出训练模型。
[0028]
进一步地，步骤s6中具体为：打开训练好的具有足够精度的模型，将验证集图片上传进行预测分析，代码返回值
″
detection_classes
″
，得到返回值为1和0的两组预测数据。同时也包含了其在图片上的位置信息"detection_boxes"值。
[0029]
与现有技术相比，本发明的有益效果在于：
[0030]
本发明能够实现高效的对钢桥螺栓病害的检测，传统的人工检查方法在车流、成本、安全性、效率上影响较大，而本发明基于华为云modelarts平台的深度学习方法，仅需对桥梁进行拍摄，图像处理即可用低人力、低成本实现对桥梁螺栓的病害智慧诊断，且其精度满足工业要求。
附图说明
[0031]
图1为本发明实施例的是整体流程示意图。
[0032]
图2为本发明实施例的华为云modelarts深度学习流程示意图。
具体实施方式
[0033]
下面将结合附图和具体实施方式对本发明做进一步的说明。
[0034]
如图1和2所示，本实施例提供了一种基于modelart平台构建的钢桥螺栓病害智慧诊断方法，具体包括以下步骤：
[0035]
步骤s1：使用高清无人摄像机对钢桥螺栓节点部位进行数据集采集，采集导出的为视频格式；
[0036]
步骤s2：对采集的视频图像数据集进行预处理，包括对航拍视频进行提帧、前景处理、边缘检测；
[0037]
步骤s3：对上述预处理后的图片进行标注，采用华为云modelarts平台，数据集模块标注，将正常螺栓标注为1，病害螺栓标注为0；
[0038]
步骤s4：采用modelarts平台先对数据进行增强，利用grayscale算法，将图片进行灰度化处理。利用scale算子对图片进行缩放处理。华为云平台已经将算子进行编程，用户仅需调用即可实现对图片的处理，图片灰度化，将三通道的彩色图像转换到三通道的灰度图像；缩放处理，增加数据集样本数。
[0039]
步骤s5：对数据集进行深度学习网络模型训练，采用华为已开发的华为云modelarts平台，算法采用yolov5算法。modelarts是面向开发者的一站式ai开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期ai工作流；
[0040]
步骤s6：使用训练好的模型对测试图片进行检测，实现对钢桥螺栓缺损病害智慧诊断识别。
[0041]
在本实施例中，在步骤s1中，采集的数据是利用高清无人摄像机拍摄的视频，其飞行速度控制在5m/s，保持匀速飞行，采集的视频为1080p。
[0042]
在本实施例中，在步骤s2中，采集的数据集为视频格式，需要对其进行预处理，具体实施方式为：提帧得出图片数据集，每隔2秒提取一帧数视频图像作为训练图集，配合后期人工筛选，可保证在图像视角多样性的前提下，获取尽可能少的图像样本，以节省航拍图
像处理的时间。
[0043]
在本实施例中，在步骤s3中标注的图片设置为100张，在标注时采用团队标注方式，将标注框选做方框式，标签为正常螺栓为1，病害螺栓为0。
[0044]
在本实施例中，在步骤s4中，利用华为云modelarts平台数据增强功能对图片进行缩放和灰度化处理，分别采用scale算子与grayscale算子，华为云平台已经将算子的模型内置，用户仅需调用该算法模型即可实现对图片的数据增强。利用内置的scale算子，对数据进行缩放处理增加，数据集样本，经过两次放大，将100张数据集图片输出到400张，并自动标上标签，然后利用内置grayscale算子对图片进行按自动灰度化处理，处理结束，400张图片均呈现灰度化特征，并在螺栓位置具有相应标签。
[0045]
在本实施例中，在步骤s5中，其参数设置值如下：训练集与验证集比例设置为0.8:0.2，num_gpus设置值为1，evaluate_every_n_epochs设置值为1，save_interval_secs设置值为2000000，max_epoches设置值为100，gpu采用现有1*nvidia-v100(32g)，cpu采用8核64g类型。
[0046]
在本实施例中，在步骤s6中，将深度学习模型应用于测试集图片，上传20张图集，对上传图集进行预测分析。
[0047]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。