一种基于对比知识蒸馏的轻量化缺陷检测方法

本发明属于智能制造中缺陷检测，特别是涉及一种基于对比知识蒸馏的轻量化缺陷检测方法。

背景技术：

1、在智能制造领域，产品质量的检测是确保生产过程稳定和产品合格率的重要环节。缺陷检测作为质量检测的重要组成部分，旨在通过自动化手段识别和定位产品中的各种缺陷，如表面划痕、裂纹、变形等。然而，传统的缺陷检测方法存在诸多局限，难以满足现代制造业对高效、精准检测的需求。现有缺陷检测方法的局限性：1)人工检测：传统的缺陷检测主要依赖于人工操作。这种方法不仅效率低下，而且受限于检测人员的经验和疲劳度，检测结果的稳定性和一致性难以保证；2)基于规则的方法：一些早期的自动化缺陷检测系统依赖于预设的规则和阈值进行检测。这种方法对已知类型的缺陷可能有效，但面对复杂多变的缺陷类型和环境变化时，表现出较大的局限性，缺乏足够的灵活性和适应性；3)深度学习方法：近年来，基于深度学习的缺陷检测方法逐渐兴起。通过训练卷积神经网络（cnn）等模型，深度学习方法在图像识别和缺陷检测中展现出了优越的性能。然而，这些模型通常需要大量的计算资源和数据进行训练和推理，导致系统复杂性增加，难以满足工业现场对实时性和资源有限的需求。

2、基于此，本发明提出一种基于对比知识蒸馏的轻量化缺陷检测方法。

技术实现思路

1、针对以上技术问题，本发明提供一种基于对比知识蒸馏的轻量化缺陷检测方法。

2、本发明解决其技术问题采用的技术方案是：

3、一种基于对比知识蒸馏的轻量化缺陷检测方法，所述方法包括以下步骤：

4、s100：对缺陷检测数据进行收集和预处理，得到预处理后的数据集；

5、s200：搭建用于缺陷检测的教师网络模型和轻量化学生网络模型；

6、s300：基于预处理后的数据集对教师网络模型进行训练，得到训练好的教师网络模型；

7、s400：将预处理后的数据集中的缺陷图片输入至训练好的教师网络模型得到教师多尺度知识，同时将预处理后的数据集中的缺陷图片输入轻量化学生网络模型得到学生多尺度知识，通过对比学习损失来最小化教师和学生网络模型多尺度知识之间的差异，将教师网络模型细粒度知识传递给学生网络模型完成对比知识蒸馏，结合对比学习损失和检测损失组成的总损失利用反向传播算法来对学生网络模型的参数进行更新，得到训练好的轻量化学生网络模型；

8、s500：将训练好的轻量化学生网络模型部署和应用到自主移动机器人上，实现智能制造产品的动态、实时缺陷检测。

9、优选地，s100包括：

10、s110：通过生产线实时采集或利用历史数据，收集涵盖智能制造过程中各种缺陷类型的全面多样的缺陷图像数据；

11、s120：使用标注软件对每张图像中的缺陷类型和位置进行标注；

12、s130：对标注的缺陷数据进行预处理，得到预处理后的缺陷数据；其中，预处理包括对图像进行统一裁剪，以及使用图像增强技术对缺陷数据进行处理。

13、优选地，s200中教师网络模型包括用于多尺度特征提取的深度为101层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别。

14、优选地，s200中轻量化学生网络模型包括用于多尺度特征提取的深度为18层的残差网络、用于多尺度特征融合的特征金字塔模块和用于检测结果预测的检测头模块；其中，特征金字塔模块先利用卷积层构建出不同尺度大小、通道数相同的多尺度特征，再利用双线性插值实现自顶向下的特征融合，实现语义特征与像素级特征的融合，检测头模块先利用四个共享权重的卷积层对融合后的多尺度特征进行编码，再通过由卷积层组成的两条解码分支分别预测出缺陷的定位框和类别。

15、优选地，s400包括：

16、s410：将预处理后的数据集中的缺陷图片分别输入至训练好的教师网络模型和轻量化学生网络模型得到多尺度知识和，；

17、s420：通过采用的滑动窗口将教师网络模型的多尺度知识和学生网络模型的多尺度知识和划分成不重叠的局部知识块和；

18、s430：利用局部知识块构建出对比学习中的正负样本对，对应位置的知识块作为正样本对，非对应位置的知识块作为负样本对，使用基于交叉熵的对比损失来最小化正样本对之间的距离，最大化负样本对之间的距离；

19、s440：采用全局知识分布对齐的方法，实现教师和学生网络模型之间全局知识的迁移；

20、s450：利用检测损失对轻量化学生网络模型的自身学习过程进行训练，将对比学习损失和检测损失结合起来，形成训练学生网络模型总的损失，利用反向传播算法来对学生网络模型的参数进行更新，得到训练好的轻量化学生网络模型。

21、优选地，s420具体为：

22、；

23、；

24、其中，表示教师网络模型第个尺度的第个局部块，表示学生网络模型第个尺度的第个局部块，此外，, 和表示滑动窗口的左上角坐标，的取值范围为，的取值范围为。

25、优选地，s430中局部知识对比损失具体为：

26、；

27、其中表示余弦相似性度量函数，是温度参数用于控制分布的平滑度，是正样本对的数量；

28、余弦相似度计算函数计算公式如下：

29、；

30、其中，表示教师与学生局部知识块的点积，表示二范数。

31、优选地，s440包括：

32、s441：通过对维度为的局部知识计算绝对值，再沿着维度通过计算平均值的方式聚合局部知识得到维度的全局知识；通过对维度为的局部知识计算绝对值，再沿着维度通过计算平均值的方式聚合局部知识得到维度的全局知识；分别计算教师网络模型和轻量化学生网络模型和维度的全局知识；

33、s442：将聚合后的全局知识利用归一化指数函数将全局知识进行处理，得到教师和学生网络模型的和维度的全局知识分布；

34、s443：通过计算教师和学生网络模型知识分布的均方差损失mse，以实现全局知识分布的传递。

35、优选地，s441具体为：

36、；

37、；

38、；

39、；

40、其中，是教师网络模型维度的全局知识，是学生网络模型维度的全局知识，是教师网络模型维度的全局知识，是学生网络模型维度的全局知识，是教师网络模型第个尺度局部知识的第个局部块，是学生网络模型第个尺度局部知识的第个局部块，是教师网络模型第个尺度局部知识的第个像素值，是学生网络模型第个尺度局部知识的第个像素值；

41、s442具体为：

42、；

43、；

44、；

45、；

46、其中，是教师网络模型维度的全局知识分布，是学生网络模型维度的全局知识分布，是教师网络模型维度的全局知识分布，是学生网络模型维度的全局知识分布，是温度系数，是局部知识块的数量，为局部知识块的大小，用于调整知识分布的尺度范围；

47、s443具体为：

48、。

49、优选地，s450具体为：

50、；

51、其中，和分别用于调整蒸馏损失和检测损失，为蒸馏损失，为检测损失；

52、检测损失包括分类损失、回归损失和中心点预测损失，其中，分类损失采用了焦点损失，具体为：

53、；

54、其中y代表缺陷真实类别的标签，p代表学生网络模型预测的类别，是超参数用于调节损失的大小；

55、回归损失采用了广义交并比损失，计算公式如下：

56、；

57、其中，表示真实标注和预测框之间的交并比，表示可以同时包含预测框和真实框最小的包含框面积，u表示预测框和真实框的联合区域；

58、中心点损失采用了交叉熵损失，计算公式如下：

59、；

60、其中，表示真实的中心度值，在0到1之间，表示模型预测的中心度值，n是样本的总数；

61、检测损失的计算公式如下：

62、；

63、其中，，和分别是用于调整分类损失、回归损失和中心度损失的权重系数。

64、知识蒸馏是一种通过将大型复杂模型（教师网络模型）的知识传递给小型轻量模型（轻量化学生网络模型）的方法。通过知识蒸馏，学生网络模型可以在保持较高性能的同时，大幅减少计算资源的需求，从而实现模型的轻量化。拟采用一种基于对比知识蒸馏的轻量化缺陷检测方法，旨在结合知识蒸馏和对比学习的优点，解决现有技术的不足。该方法不仅能够在保持高检测精度的同时大幅降低模型复杂度和计算资源需求，还具备较强的适应性和鲁棒性，适用于智能制造领域中的各种缺陷检测任务。通过对比知识蒸馏技术的引入，本发明不仅提高了缺陷检测的效率和准确性，同时也大幅度降低了对计算资源的需求，特别适合在资源受限的工业现场环境中应用，推动高效、准确和可持续的智能制造生产。