一种基于波形和图像结合的管道环焊缝缺陷AUT智能识别方法

本发明涉及一种基于波形和图像结合的管道环焊缝缺陷aut智能识别方法，该方法适用于aut检测中焊缝缺陷的智能识别，属于无损检测。

背景技术：

1、全自动超声波检测技术(automatic ultrasonic testing,aut)是石油天然气管道环焊缝最常用的无损检测技术。目前人工识别仍然是aut检测焊缝缺陷的主要手段，这对检测人员的专业水平和技术能力提出了很高的要求。即使是同类缺陷，受缺陷生长方向以及生成位置不同的影响，在aut图谱上缺陷的表现形式也不尽相同，因此很容易造成误判和漏判的情况。因此为了减少主观因素的影响并节约人工成本，aut检测缺陷的自动识别方法成为行业的迫切需要。

2、国内外学者对焊缝内部缺陷的智能识别问题开展了大量研究。残差网络(residual network,resnet)[he k,zhang x,ren s,deep residual learning for imagerecognition[j].ieee conference on computer vision and pattern recognition(cvpr),2016,770-778.]通过引入残差结构解决了深度学习模型的退化问题，使得深度学习模型可以加深网络层数以学习更复杂的特征并提高其性能。ma等[ma q,du gf,yu zy,etal.classification of damage types in liquid-filled buried pipes based on deeplearning[j].measurement science and technology,2022,34(2):025010.]使用眩光角场矩阵将缺陷回波的时间序列数据编码为不同类型的图像，使用resnet对生成的图像进行特征提取，最后将其输入faster-rcnn进行训练、验证和缺陷类型识别。实验结果表明该模型对长输埋地管道损伤类型进行分类具有良好的可行性和有效性。传统网络模型仅考虑一种输入，很容易丢失信号的部分细节特征。kim等[kim k,kim ks,park hj.multi-branchdeep fusion network-based automatic detection of weld defects using non-destructive ultrasonic test[j].ieee access,2023,11:114489-114496.]将采集的焊缝超声信号和信号时域图分别输入一维和二维卷积神经网络进行特征提取，使用网格搜索对超参数进行选择，实现了92.2％的分类精度。

3、鉴于上述研究中残差网络具有良好的特征保留能力，以及多通道输入网络在特征提取上的优越性，本发明提出一种基于波形和图像结合的管道环焊缝缺陷aut智能识别方法。

技术实现思路

1、本发明设计了一种基于波形和图像结合的管道环焊缝缺陷aut智能识别方法。本方法区别于传统的单输入网络模型，而是将一维数据与其转化的二维图像同时输入神经网络模型中，使用一维卷积和多尺度的二维卷积对信号的特征进行更全面的提取，并对损失函数添加权值提高网络对小样本缺陷的关注度，实现焊缝缺陷的智能识别，具体流程如图1所示。

2、本发明提出了一种基于波形和图像结合的管道环焊缝缺陷aut智能识别方法，其基本原理在于：

3、(1)多尺度卷积层

4、多尺度卷积层中通过多个不同尺度的卷积核对输入图像进行不同尺度的卷积，其卷积定义为

5、

6、式中，为以卷积核尺度k的第i个管道环焊缝缺陷输出特征；x为管道环焊缝缺陷输入特征；为核尺度k的第i个卷积核；bi为输出第i个管道环焊缝缺陷特征时所加的偏置；f为激活函数。网络中使用的激活函数为relu激活函数，如式(2)所示

7、f(x)＝max(0,x) (2)

8、(2)池化层

9、池化是对上一层管道环焊缝缺陷特征图的缩放映射，通过池化对输入的管道环焊缝缺陷特征图进行下采样，池化运算如式(3)所示

10、yi＝f[βidown(x)+bi] (3)

11、式中，down(*)为下采样函数；βi为第i个管道环焊缝缺陷特征的权值；x对应上一层的输出；bi为第i个特征的偏置。

12、(3)全连接层和softmax多分类器

13、全连接层包含对应多层感知机的隐含层，该层中所有神经元与前一层中神经元全连接，可以整合卷积层、池化层中具有类别区分性的管道环焊缝缺陷局部信息。全连接层后接一个隐藏层，最后由softmax多分类器完成管道环焊缝缺陷分类。对于有k类的分类问题，softmax多分类器的输出可以计算为

14、

15、式中，w和b分别为权重矩阵和偏置值；o为卷积神经网络的最终输出。

16、(4)加权损失函数

17、针对缺陷样本数量不平衡的问题，在网络模型的损失函数中赋予管道环焊缝缺陷小样本缺陷更高的权重，提高小样本缺陷的分类准确率。加权后的损失函数如式(5)所示。

18、

19、式中，wj表示第j个管道环焊缝缺陷类别的权重。加权方式为此类缺陷样本总数占总样本数比值的倒数，即缺陷样本数越少，权重值越大，反之越小。

20、(5)缺陷高度计算准则

21、设缺陷主分区最大幅值为am，其两侧的相邻分区幅值分别为an1和an2。在试块的校入图中提取缺陷主分区对应的人工反射体的最大幅值为amk，相邻分区的最大幅值为amk1和amk2。带状图各分区高度为h1,则缺陷高度为：

22、h＝h1am+h1(an1-amk1am/amk)+h1(an2-amk2am/amk) (6)

23、本发明采用的技术方案为一种基于波形和图像结合的管道环焊缝缺陷aut智能识别方法，该方法包括以下步骤：

24、(1)将训练用aut数据文件以二进制格式打开，提取上下游带状图通道、上下游体积通道以及tofd通道的缺陷数据以及各通道的时间闸门起止点。对提取的上下游带状图通道、上下游体积通道缺陷数据添加时间闸门约束，删除时间闸门外的数据点。对tofd通道数据基线平移至0点，再进行绝对值处理。将各通道处理后的数据按照上游带状图、上游体积通道、下游带状图、下游体积通道以及tofd通道的顺序排列，根据处理后的数据构建单样本长度为2893的一维数据样本集。

25、(2)绘制一维数据的波形，将图像以224×224的尺寸保存，构建二维图像数据集。

26、(3)构建一个包含三个二维卷积层的二维卷积神经网络模型，每个卷积层中包含三种不同大小的卷积核。在每个多尺度卷积层后连接一个批标准化层和激活函数层，并添加一个池化层防止过拟合并降低特征图的空间维度，并将相近的两个卷积层相连接以传输特征。最后连接一个全连接层将二维特征图转化成一个一维向量，完成模型构建。

27、(4)构建一个包含三个一维卷积层的一维卷积神经网络模型，每个卷积层后连接一个批标准化层和激活函数层，在最后连接一个池化层和一个全连接层，完成模型构建。

28、(5)将二维卷积神经网络模型的全连接层与一维卷积神经网络模型的全连接层相连接，最后连接分类层，完成双路卷积神经网络模型的构建。按照8:1:1的比例分别将两种样本集分为训练集、验证集和测试集。将两种样本集输入网络中进行训练，根据测试集混淆矩阵对网络精度进行评价。

29、(6)对待识别数据文件施行步骤(1)和步骤(2)，对各扫查位置的图像标记一个id，每个id对应图像所在的扫查位置。将图像输入训练后的网络中预测，可得到每个扫查位置处的缺陷预测标签。提取每个缺陷的起止点后作差即可得到缺陷长度。

30、(7)将缺陷主分区通道与cap通道间分区高度之和作为缺陷深度。在待识别文件中提取缺陷主分区最大幅值及其两侧的相邻分区最大幅值。在试块的校入图中提取缺陷主分区对应的人工反射体的最大幅值，及其相邻分区的最大幅值以及带状图各分区高度，根据公式(6)计算缺陷高度h。最后将缺陷起止点、缺陷长度、缺陷高度和缺陷深度合并得到aut检测报告。

31、本发明具有以下优点：1)对aut原始信号添加闸门约束，减少数据量并滤除干扰信号，凸显缺陷特征。2)与传统单一输入方法相比，本发明提出的双输入模型在充分利用深度学习在提取图像深层特征方面的优势的同时，又能保证原始aut波形数据中的特征不受图像分辨率的影响从而被更好地提取。3)使用加权损失函数提高网络对焊缝中裂纹等小样本缺陷的关注，有效改善了数据不平衡导致小样本缺陷准确率低的问题。