基于改进YOLOv7网络的热轧带钢缺陷识别方法及系统

本公开涉及热轧带钢图像识别，具体涉及基于改进yolov7网络的热轧带钢缺陷识别方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、热轧带钢缺陷检测在工业生产和质量控制中扮演着至关重要的角色，准确的热轧带钢缺陷识别对于保障生产安全和提高产品质量具有显著意义。然而，由于热轧带钢表面缺陷的多样性和复杂性，传统的人工检测方法不仅耗时耗力，而且容易受到主观判断的影响，这在一定程度上限制了检测效率和准确性。随着计算机视觉技术的进步，利用计算机自动进行热轧带钢缺陷检测成为了一种新兴的趋势。

3、但利用计算机视觉方法对热轧带钢缺陷检测领域仍存在一些技术挑战：

4、1）首先，热轧带钢表面的缺陷种类繁多，且尺寸不一，从微小的裂纹到较大的凹陷等，这些都给检测带来了难度；

5、2）其次，热轧带钢的背景环境通常比较复杂，存在大量的噪声和干扰因素，这可能会影响缺陷特征的准确提取；

6、3）此外，由于不同类型缺陷的发生率和分布不均，导致数据集中存在类别不平衡问题，这对于传统的机器学习算法来说是一个难题，容易造成模型对常见缺陷类别的过拟合，而忽视了那些较少出现的缺陷类型。

技术实现思路

1、本公开为了解决上述问题，提出了基于改进yolov7网络的热轧带钢缺陷识别方法，结合vmamba数据增强技术和ca注意力机制，提高模型对于复杂背景和不同类型缺陷的泛化能力；采用特殊的采样策略和损失函数，以确保模型对于所有缺陷类别都具有较高的识别准确率，解决类别不平衡的问题。

2、根据一些实施例，本公开采用如下技术方案：

3、基于改进yolov7网络的热轧带钢缺陷识别方法，包括：

4、获取待识别的热轧带钢表面图像，并对其进行预处理；

5、将预处理后的热轧带钢表面图像输入至改进的yolov7网络模型进行缺陷识别，输出热轧带钢表面缺陷类型；

6、其中，热轧带钢表面图像输入至改进的yolov7网络模型后，首先进入vss block模块，在vss block模块中，轧带钢表面图像分别进入两条并行的分支进行特征提取，一条分支对图像进行深度可分离卷积操作以及2d-selective-scan操作，对图像进行选择性空间扫描，提取空间特征，另一条分支通过线性层提取线性特征，将两条分支的输出进行融合后输入至坐标注意力模块，通过在不同的空间位置上赋予不同的权重，输出特征图，将所述特征图与原始输入数据进行跳跃连接后，输出最终的热轧带钢表面缺陷类型。

7、根据一些实施例，本公开采用如下技术方案：

8、基于改进yolov7网络的热轧带钢缺陷识别系统，包括：

9、数据获取模块，用于获取待识别的热轧带钢表面图像，并对其进行预处理；

10、识别模块，用于将预处理后的热轧带钢表面图像输入至改进的yolov7网络模型进行缺陷识别，输出热轧带钢表面缺陷类型；

11、其中，热轧带钢表面图像输入至改进的yolov7网络模型后，首先进入vss block模块，在vss block模块中，轧带钢表面图像分别进入两条并行的分支进行特征提取，一条分支对图像进行深度可分离卷积操作以及2d-selective-scan操作，对图像进行选择性空间扫描，提取空间特征，另一条分支通过线性层提取线性特征，将两条分支的输出进行融合后输入至坐标注意力模块，通过在不同的空间位置上赋予不同的权重，输出特征图，将所述特征图与原始输入数据进行跳跃连接后，输出最终的热轧带钢表面缺陷类型。

12、根据一些实施例，本公开采用如下技术方案：

13、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于改进yolov7网络的热轧带钢缺陷识别方法。

14、根据一些实施例，本公开采用如下技术方案：

15、一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于改进yolov7网络的热轧带钢缺陷识别方法。

16、与现有技术相比，本公开的有益效果为：

17、本公开的基于改进yolov7网络的热轧带钢缺陷识别方法，能够快速准确地识别出热轧带钢表面的各类缺陷，通过结合vmamba数据增强技术和ca注意力机制，通过两个分支处理输入数据，利用线性层、深度可分离卷积、激活函数和2d选择性扫描（ss2d）模块实现高级特征提取和融合。ss2d模块通过扫描扩展操作（scan expanding）、s6块和扫描合并操作（scan merging）对输入数据进行多方向扫描和特征提取，确保信息的全面捕获和处理。s6模块引入选择机制，能够区分并保留相关信息，过滤掉不相关信息，进一步提升特征提取的精度和效率；该方法不仅能在训练过程中生成更加多样化的训练样本，提高模型对于复杂背景和不同类型缺陷的泛化能力，还能通过注意力机制精准定位并强化缺陷特征的表示，从而提升检测的准确率。此外，针对类别不平衡问题，该方法采用了特殊的采样策略和损失函数，以确保模型对于所有缺陷类别都具有较高的识别准确率。通过这种改进的方法，能够有效提升热轧带钢缺陷检测的自动化水平和准确度，对于提高工业生产的质量和效率具有重要的实际应用价值。

18、本公开的基于改进yolov7网络的热轧带钢缺陷识别方法，改进的yolov7中的ca和视觉状态空间模块（vss_block）可以有效地定位热轧带钢的缺陷，并将其更准确地识别出来，这两个模块相结合可以有效地提高热轧带钢缺陷分类的精度；多个尺度图像的特征提取网络与分类器参数共享，可以有效地减少参数量，降低模型占用内存。利用训练好的模型进行分类时只需要利用原图，无需进行多个尺度的变换，测试速度快，便于工业推广。可以同时解决缺陷识别的背景复杂多变、缺陷间相似度过高、数据分布不平衡带来的问题。

19、本公开的基于改进yolov7网络的热轧带钢缺陷识别方法，搭建的改进yolov7在表面缺陷数据集上做了实验，并且得到了最高的准确率76.1%的识别效果，特别是在高精度和高效率的要求下，能够有效地识别并分类各种热轧带钢表面缺陷。

技术特征：

1.基于改进yolov7网络的热轧带钢缺陷识别方法，其特征在于，包括：

2.如权利要求1所述的基于改进yolov7网络的热轧带钢缺陷识别方法，其特征在于，预处理包括：分别采用随机翻转、随机镜像变化、随机改变对比度与亮度操作进行数据扩充，具体地，随机将图片翻转-30到30°，每张图像以0.5的概率做水平镜像变化，随机改变图像对比度与亮度，两者的浮动比均为0.2，最后对图像的尺寸进行统一。

3.如权利要求1所述的基于改进yolov7网络的热轧带钢缺陷识别方法，其特征在于，将预处理后的热轧带钢表面图像输入至改进的yolov7网络模型，进行层归一化处理，将归一化后的热轧带钢表面图像输入至vss block模块中，所述vss block模块包括两条分支，一条分支包括线性层、深度可分离的卷积层、激活函数层、2d-selective-scan层以及归一化层，另一条分支包括线性层以及激活函数层，两条分支并行处理。

4.如权利要求1所述的基于改进yolov7网络的热轧带钢缺陷识别方法，其特征在于，提取空间特征，输入图像以c×h×w的形式通过一个残差模块连接，该残差模块包括卷积层和激活函数，初步提取图像的基础特征并维持训练过程中的梯度稳定，再通过平行的x轴和y轴平均池化，分别将图像在水平和垂直方向上的空间信息压缩，以捕捉全局上下文信息，处理后的特征经过批量归一化和relu激活函数，增加非线性，以强化模型对细微特征的响应。

5.如权利要求1所述的基于改进yolov7网络的热轧带钢缺陷识别方法，其特征在于，两条分支的输出经过元素级乘法操作，融合两条路径的特征，融合后的数据再通过一个线性层进行处理，以形成更加复杂的特征表示。

6.如权利要求1所述的基于改进yolov7网络的热轧带钢缺陷识别方法，其特征在于，添加跳跃连接，将层归一化后的原始输入图像直接与最终的线性层的输出相加，通过加法合并跳跃连接的数据和处理过的输出，形成网络的最终输出。

7.如权利要求1所述的基于改进yolov7网络的热轧带钢缺陷识别方法，其特征在于，输出结果同样维持原始的c×h×w尺寸。

8.基于改进yolov7网络的热轧带钢缺陷识别系统，其特征在于，包括：

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于改进yolov7网络的热轧带钢缺陷识别方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于改进yolov7网络的热轧带钢缺陷识别方法。

技术总结本公开提供了基于改进YOLOv7网络的热轧带钢缺陷识别方法及系统，涉及热轧带钢图像识别技术领域，获取待识别的热轧带钢表面图像输入至改进的YOLOv7网络模型进行缺陷识别，输出热轧带钢表面缺陷类型；其中，改进YOLOv7网络模型，引入VSS Block模块，使得轧带钢表面图像分别进入两条并行的分支进行特征提取，一条分支对图像进行深度可分离卷积操作以及2D‑Selective‑Scan操作，对图像进行选择性空间扫描，提取空间特征，另一条分支通过线性层提取线性特征，将两条分支的输出进行融合后输入至坐标注意力模块，通过在不同的空间位置上赋予不同的权重，输出特征图，最终得到热轧带钢表面缺陷类型。技术研发人员：张友梅,贾英杰,李彬,曹宇辰,袁旭华,张瑜,余可受保护的技术使用者：齐鲁工业大学（山东省科学院）技术研发日：技术公布日：2024/7/29