一种金属表面缺陷检测网络模型轻量化方法

本发明涉及机器视觉检测，特别是指一种金属表面缺陷检测网络模型轻量化方法。

背景技术：

1、随着智能制造时代的快速发展，金属材料因其独特的物理、化学性质，在建筑、航空航天、汽车制造等多个关键领域扮演着不可或缺的角色。然而，金属表面的微小缺陷，如裂纹、划痕、孔洞等，即便极其细微，也可能对最终产品的性能和使用寿命产生严重影响，甚至导致安全事故。因此，高效、准确的金属表面缺陷检测技术成为了保障产品质量、提升生产效率的重要环节。

2、目前，基于深度学习的网络模型在金属表面缺陷检测领域展现出了卓越的性能。然而，目前在金属表面缺陷检测应用中的模型往往规模庞大、计算量大，对硬件资源要求高，其资源消耗与计算效率限制了其在实际生产环境中的应用。

技术实现思路

1、本发明提供了一种金属表面缺陷检测网络模型轻量化方法，以解决目前在金属表面缺陷检测应用中的模型往往规模庞大、计算量大，对硬件资源要求高，其资源消耗与计算效率限制了其在实际生产环境中的应用的技术问题。

2、为解决上述技术问题，本发明提供了如下技术方案：

3、一方面，本发明提供了一种金属表面缺陷检测网络模型轻量化方法，包括：

4、构建知识蒸馏过程的教师模型；

5、对教师模型进行压缩，得到知识蒸馏过程的学生模型；

6、以金属表面缺陷图像作为输入图像，基于知识蒸馏的方法，利用所述教师模型学习到的知识去指导所述学生模型训练，使所述教师模型中学习到的金属表面缺陷特征迁移到所述学生模型中，以利用训练好的学生模型实现金属表面缺陷检测。

7、进一步地，所述构建知识蒸馏过程的教师模型，包括：

8、在yolov7网络模型的head网络中引入高效多尺度注意力模块ema；并将yolov7网络模型的损失函数替换为wiou v3损失函数，以得到教师模型。

9、进一步地，wiou v3损失函数的计算公式如下：

10、

11、其中，lwiou表示wiou v3损失函数；β表示离群度，用来定义锚框的质量；α和δ均为超参数；x、y为预测框坐标；xgt、ygt为目标框坐标；iou表示交并比，用于测量预测框和目标框之间的重叠程度；wg和hg分别表示为预测框和目标框的最小封闭框的宽度和高度；表示非空iou；表示动量为m的滑动平均值，t表示批次，n表示训练次数；(.)*表示将预测框和目标框不相交的wg和hg从计算图中分离，防止lwiou产生阻碍收敛的梯度。

12、进一步地，所述对教师模型进行压缩，得到知识蒸馏过程的学生模型，包括：

13、采用半结构化稀疏剪枝方法压缩教师模型，得到轻量化的学生模型。

14、进一步地，所述采用半结构化稀疏剪枝方法压缩教师模型，得到轻量化的学生模型，包括：

15、从教师模型中去掉除3×3卷积和1×1卷积以外的结构块，保留需要进行剪枝结构块，若结构块中只包含一组卷积，则该组卷积被定义为父层，如果结构块中包含多组卷积，则将最前端的卷积定义为父层，其余卷积均定义为该父层的子层；

16、以父层的3×3内核权重作为初始化变量，遍历所有的内核模式并计算l2范数，得到最优内核模式，依次迭代父层的所有内核，得到最优内核模式组对父层和相对应的子层进行剪枝；

17、以父层的1×1内核权重作为初始化变量，每9个权重被组合为临时的3×3权重矩阵，不足9个的被作为零权重剪枝处理；

18、以临时的3×3权重矩阵的权重作为初始化变量，遍历所有的内核模式并计算l2范数，得到最优内核模式，依次迭代父层的所有内核，得到最优内核模式组对父层和相对应的子层进行剪枝，再将3×3内核变换回1×1内核，并将其附加回原始的1×1核权重。

19、进一步地，内核模式为通过标准组合生成所有可能的模式掩码，计算公式为：

20、

21、其中，n表示矩阵的大小；k表示掩模的大小；k∈[1,8]，针对所有可能的模式掩码需丢弃其中没有相邻非零权重的模式，保持内核模式的半结构化性质。进一步地，基于知识蒸馏的方法，利用所述教师模型学习到的知识去指导所述学生模型训练，使所述教师模型中学习到的金属表面缺陷特征迁移到所述学生模型中，包括：

22、分别基于重点蒸馏和全局蒸馏来优化学生模型权重；其中，所述重点蒸馏通过利用异常值掩码分离输入图像的前景和背景，更多关注教师模型的关键像素和通道，并利用教师模型的空间与通道注意力作为权重，共同指导学生模型进行学习；所述全局蒸馏采用gcblock模块分别提取学生模型输出与教师模型输出的全局信息，提取不同像素之间的关系，增强前景和背景之间关系。

23、进一步地，基于知识蒸馏的方法，利用所述教师模型学习到的知识去指导所述学生模型训练时的损失函数l表示为：

24、l＝lfocal+lglobal

25、其中，lfocal表示重点蒸馏损失函数；lglobal表示全局蒸馏损失函数；

26、lfocal的计算过程如下：

27、利用异常值掩码区分输入图像的前景和背景，形成二值图像；

28、利用空间注意力模块和通道注意力模块来区分关键像素和通道，首先分别计算不同像素和不同通道的绝对平均值，公式为：

29、

30、其中，h、w、c分别表示特征的高度、宽度和通道数；fc和fi,j分别表示第c个通道和坐标值为i,j的像素的特征；gs(f)和gc(f)分别表示空间注意力图和通道注意力图；然后计算注意力掩码，公式为：

31、as(f)＝hw·softmax(gs(f)/t)

32、ac(f)＝c·softmax(gc(f)/t)

33、其中，t表示用于调整分布的温度超参数；

34、计算重点蒸馏损失函数lfocal，公式为：

35、

36、lfocal＝lf+latt

37、其中，ω和σ用于平衡前景和背景之间的损失的超参数；bi,j表示二值图像中坐标为i,j的像素数据；f(.)表示将学生模型得到的特征重塑为与教师模型得到的特征相同维度的自适应函数；表示坐标为i,j的位置处的空间注意力掩码；表示第k个通道处的通道注意力掩码；表示教师模型所得的特征中第k个通道下坐标为i,j的位置处的特征值；表示学生模型所得的特征中第k个通道下坐标为i,j的位置处的特征值；表示教师模型使用的空间注意力掩码；表示学生模型使用的空间注意力掩码；表示教师模型使用的通道注意力掩码；表示学生模型使用的通道注意力掩码；γ表示平衡空间注意力掩码和通道注意力掩码的超参数；

38、lglobal的计算过程如下：

39、

40、其中，ε表示用于平衡损失的超参数；wk、wv1、wv2表示卷积；ln表示归一化；np1表示ft中的特征个数；np2表示fs中的特征个数；ft表示教师模型得到的图像特征；fs表示学生模型得到的图像特征；fj表示第j个特征值；fm表示第m个特征值。

41、进一步地，所述异常值掩码的获取过程为：

42、从输入图像的第一个像素点，按照设定的步长，对输入图像中的像素进行遍历，针对遍历到的当前像素，执行以下操作：

43、选取一个以当前像素为中心点的预设大小的图像块，然后计算所述图像块上所有像素点的平均值p(ci,cj,w,h)，计算公式如下：

44、

45、其中，ci,cj表示图像块的中心像素位置坐标；w表示图像块的宽；h表示图像块的高；fsrc(i,j)表示坐标为i,j的像素点的灰度值；[*]表示取整操作；

46、取平均值p(ci,cj,w,h)的倒数作为图像块的中心像素的局部校正因子；

47、将局部校正因子、校正图基准灰度和图像块的中心像素的原始灰度值相乘，得到图像块的中心像素处理后的灰度像素值；

48、在遍历完所有的像素后得到矫正后的图像，将矫正后的图像分割为多个子图每个子图与相邻的子图重叠，然后计算每个子图的灰度均值和方差；设置阈值φ，通过阈值分割得到二值图像，其中，二值图像中像素的计算公式为：

49、

50、式中，f(i,j)为矫正后的图像中坐标为i,j的像素点的灰度，为第i个子图的灰度方差；δg为图像的全局方差；ψ为全局补偿量，μ为局部阈值分割权重。

51、再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述方法。

52、又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述方法。

53、本发明提供的技术方案带来的有益效果至少包括：

54、本发明首先通过改进yolov7模型，以改进后的模型作为教师模型，提高教师模型的检测准确率。然后采用半结构化稀疏剪枝方法压缩教师模型，获得轻量化的学生模型。最后采用改进的知识蒸馏使教师模型中学习到的缺陷特征迁移到学生模型中，实现学生模型对金属表面缺陷高效、准确识别的同时，减少计算资源消耗与提升检测速度。这不仅可以大幅削减模型大小与计算需求，同时可以保持足够的检测精度，从而为金属制造业的高质量发展提供了强有力的技术支撑。