一种基于轻量型辨识模型的铜板带缺陷识别系统及方法

本发明属于机器视觉领域，涉及轻量型辨识模型技术，具体是一种基于轻量型辨识模型的铜板带缺陷识别系统及方法。

背景技术：

1、机器视觉技术通过模拟人类视觉功能，实现对目标物体的识别、测量和定位。在铜板带缺陷识别中，机器视觉技术能够获取铜板带的图像信息，并通过图像处理算法对图像进行预处理、特征提取和分类识别；铜板带在生产过程中可能会出现拉拔工艺不当，拉拔处理是获得所需尺寸的关键步骤。如果拉拔过程中力度不均匀或温度不合适，就容易造成铜带表面出现凹凸点；还有可能会出现热轧过程问题，热轧步进炉温度过高或铸锭在炉内时间过长，可能导致铸锭发黑变形，甚至烧化断裂，断口晶粒粗大；所以铜板带在生产过程中可能出现各种不同类型的缺陷，这些缺陷的大小、形状和位置各异；因此需要开发一种能够应对各种复杂情况的缺陷识别系统。

2、现有技术(申请号为2013104782130的发明专利)公开了一种基于在线序列极限学习机的铜板带表面缺陷检测方法，该方法通过图像采集模块获取到铜板带表面的图像；采用掩模大小为7×7的中值滤波方法对采集的铜板带表面图像进行增强以减少所含噪声，降低噪声对表面图像质量的影响；对铜板带表面图像进行顶帽变换处理，减少光照不均匀性的影响；采用基于8邻域差值的铜板带表面图像预检方法；对预检后判断为存在表面缺陷的铜板带表面图像，采用一种图像分割方法分割出表面图像中的缺陷；提取各缺陷的几何、灰度、形状、纹理等特征，并采用主成分分析方法对铜板带表面缺陷特征维数进行优化降维处理；设计基于在线序列极限学习机的铜板带表面缺陷分类器，并利用样本进行训练；提取待检测铜板带表面图像的特征，识别出表面缺陷的类型；然而，现有技术通过顶帽变换对图像进行预处理，未考虑图像的尺寸和亮度过小的情况，可能会导致顶帽变换无法有效检测出铜板带表面图像所含缺陷，使检测的结果不准确。

3、本发明提供了一种基于轻量型辨识模型的铜板带缺陷识别系统及方法，以解决以上技术问题。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种基于轻量型辨识模型的铜板带缺陷识别系统及方法，用于解决现有技术通过顶帽变换对图像进行预处理，未考虑图像的尺寸和亮度过小的情况，可能会导致顶帽变换无法有效检测出铜板带表面图像所含缺陷，使检测的结果不准确的技术问题。

2、为实现上述目的，本发明的第一方面提供了一种基于轻量型辨识模型的铜板带缺陷识别系统，包括：数据集构建模块、轻量级辨识模块、快速检测模块以及开发实施模块；

3、数据集构建模块：通过设计辅助算法采集正样本的正样本图像数据，采集负样本良品的负样本图像数据；将正样本图像数据和负样本图像数据整合为初始数据集；根据初始数据集构建铜板带表面缺陷数据集；

4、轻量级辨识模块：根据不同尺度的卷积构建铜板带表面缺陷轻量型辨识标准单元；采用高效的elam注意力机制构建铜板带表面缺陷轻量型注意力机制单元；将非对称卷积操作引入到轻量级辨识标准单元；利用铜板带表面缺陷轻量型辨识标准单元以及铜板带表面缺陷轻量型注意力机制单元构建轻量级辨识模型；对轻量级辨识模型训练与验证；

5、快速检测模块：采用轻量级多尺度特征融合方式构建特征融合单元；根据构建的数据集的特征融合单元构建快速检测模型；对快速检测模型训练与验证。

6、开发实施模块：设计与集成先进的图像采集设备与软件平台，根据图像采集设备和软件平台构建检测系统，通过检测系统对生产线中的铜带进行检测，并将检测结果展示给生产管理人员。

7、优选的，所述通过设计辅助算法采集正样本的正样本图像数据，包括：

8、基于设计辅助算法，通过实验验证算法的有效性，根据算法的有效性选择算法模型在生产线上采集若干样本图像数据；

9、分析部分正样本样例及缺陷特征；根据正样本样例及缺陷特征，通过检测方法从采集的样本图像数据中筛选出正样本图像数据；

10、采用人工方式对正样本图像数据进行预处理；其中预处理包括筛选、灰度化、几何变换以及图像增强。

11、需要说明的是，分析部分正样本样例及缺陷特征，采用设计模板匹配、图像分割以及图像重建的方法来检测正样本。

12、本发明通过对正样本图像数据进行筛选、灰度化、几何变换、图像增强的预处理方法，加快了后续分类和标记缺陷的速度，而且分析部分正样本样例及缺陷特征，设计模板匹配、图像分割、图像重建的方法检测正样本；有助于为后续得到更加精准的铜板带表面缺陷数据集提供了基础。

13、优选的，所述采集负样本良品的负样本图像数据，包括：

14、采用驱动工业相机连续采集负样本图像数据；筛选出存在缺陷的负样本图像数据，并进行剔除；对保留的负样本图像数据进行滤波，将滤波后的负样本图像数据整合成负样本数据集。

15、本发明通过直接驱动工业相机连续采图，可以快速获得大量原始数据，为后续的构建数据集和模型训练提供坚实的基础；通过人工方式剔除缺陷样本，再进行滤波的预处理不仅去除了数据中的噪声和冗余信息，而且还确保数据集的准确性。

16、优选的，所述根据标注结果构建铜板带表面缺陷数据集，包括：

17、使用标注软件对初始数据集进行规范化标注得到标注结果，根据标注结果构建铜板带表面缺陷数据集；其中标注软件包括labelme或者labelimg；缺陷数据集包括图像分类数据集、目标检测数据集以及语义分割数据集；

18、调取初始数据集，识别出初始数据集的缺陷特征，将缺陷特征进行局部小区域的划分，将若干小区域进行裁切得到缺陷图像，根据缺陷特征对缺陷图像进行分类得到图像分类数据集；

19、调取已划分的局部小区域，利用labelimg图像目标检测标注工具对局部小区域的缺陷特征进行标注，生成目标检测标签，将目标检测标记整合成目标检测数据集；

20、根据缺陷图像的类型和目标检测标签使用labelme数据标记工具对缺陷图像进行手动标注得到标注信息，将标注信息存储在缺陷图像中，将含有标注信息的缺陷图像整合成语义分割数据集；其中手动标注包括注释语义或实例注释。

21、本发明通过使用labelme、labelimg两种标注软件进行规范化标注，对图像中的缺陷进行分类和标记，构建图像分类、目标检测、语义分割三类数据集，能够帮助后续模型学习更加准确地定位和识别目标，不仅能提高算法的鲁棒性和性能，还能提升模型分类和检测准确性。

22、优选的，所述利用铜板带表面缺陷轻量型辨识标准单元以及铜板带表面缺陷轻量型注意力机制单元构建轻量级辨识模型，包括：

23、获取不同尺度的卷积神经网络的卷积结构；根据卷积结构选取若干不同尺度的卷积神经网络；基于不同尺度的卷积神经网络构建铜板带表面缺陷轻量型辨识标准单元；

24、采用elam注意力机制方法定位缺陷特征并抑制无用特征，将elam注意力机制加入至深度学习神经网络中，根据深度学习神经网络模型构建铜板带表面缺陷轻量型注意力机制单元；其中，深度学习神经网络模型包括lenet-5或者alexnet；

25、将非对称卷积操作引入到轻量级辨识标准单元；其中，非对称卷积操作包括利用卷积的可叠加性，给定二维卷积核，以相同的步长对同一输入进行卷积操作后产生相同分辨率的输出，并将每个输出相加；

26、利用铜板带表面缺陷轻量型辨识标准单元以及铜板带表面缺陷轻量型注意力机制单元构建轻量级辨识模型。

27、需要说明的是，根据卷积结构选取若干不同尺度的卷积神经网络的标准为：选取最优局部稀疏结构的卷积神经网络作为构建铜板带表面缺陷轻量型辨识标准单元的卷积神经网络模型。

28、本发明通过采用高效的elam注意力机制方法，使模型参数压缩，减少参数和计算量，以便于在更少计算量的情况下，获得更好的特征提取效果，而且将非对称卷积操作引入到轻量级辨识标准模块，可以增强标准卷积层的表征能力，无需引入额外推理时间，另外利用卷积的可叠加性，在不增加模型计算成本的前提下，提升模型特征提取能力。

29、优选的，所述对轻量级辨识模型进行训练与验证，包括：

30、调取构建的缺陷数据集，将缺陷数据集划分成训练集以及验证集；将缺陷图像作为标准输入数据，将缺陷图像的类型、目标检测标签以及标注信息作为标准输出数据；

31、利用训练集对轻量级辨识模型进行训练；利用验证集对训练好的轻量级辨识模型进行验证，得到验证参数；根据验证参数对轻量级辨识模型的性能进行评估。

32、需要说明的是，验证参数包括采用参数量、推理所需的内存、每秒计算浮点数、内存读写速度总和以及表面缺陷准确率。

33、本发明通过采用参数量、推理所需的内存、每秒计算浮点数、内存读写速度总和、表面缺陷准确率五类参数评价模型的性能，这五类参数涵盖了模型的多个方面，不同的参数针对不同的模型性能需求进行评估，而且能够对轻量级辨识模型提供全面的性能评估。

34、优选的，所述采用轻量级多尺度特征融合方式构建特征融合单元，包括：

35、获取轻量级多尺度特征融合方法，采用自下而上、同阶段连接和自上而下的过程构建轻量级空洞特征架构；

36、根据轻量级空洞特征架构对不同特征提取层提取到的表面缺陷进行多尺度融合，保留缺陷浅层的特征信息；将轻量级空洞特征架构作为特征融合单元；根据构建数据集的特征融合单元构建快速检测模型。

37、本发明通过将lm-ffa架构作为快速检测模型的特征融合模块，提高多尺度缺陷的识别能力，加快模型检测速度。快速检测模型的lm-ffa融合方式对不同特征提取层提取到的表面缺陷进行多尺度融合，从而提高模型检测多尺度缺陷特征的高效性，提升模型检测精度，保留缺陷浅层的特征信息，防止模型性能退化。

38、优选的，所述对快速检测模型训练与验证，包括：

39、调取构建的缺陷数据集，将缺陷数据集划分成训练集以及测试集；将缺陷图像作为标准输入数据，将缺陷图像的类型、目标检测标签以及标注信息作为标准输出数据；

40、利用训练集对快速检测模型进行训练；利用测试集对训练好的快速检测模型进行验证，得到测试参数；根据测试参数对快速检测模型的性能进行评估。

41、需要说明的是，测试参数包括精准率、召回率、平均精度、参数量、每秒计算浮点数、辨识每张图像时间以及推理所需的内存。

42、本发明通过采用精准率、召回率、平均精度、参数量、每秒计算浮点数、辨识每张图像时间、推理所需的内存这七类参数评价快速检测模型的性能，这些参数都是可量化的，使得不同模型之间的性能比较变得简单直观，而且这七类参数涵盖了模型的准确性、效率、复杂度和资源需求的多个方面，能够对快速检测模型提供全面的性能评估。

43、优选的，所述根据图像采集设备和软件平台构建检测系统，包括：

44、获取铜板带加工生产的工艺条件与缺陷特征，根据工艺条件和缺陷特征选取在线检测设备；

45、开发定制化图像采集与检测软件，将软件与在线检测设备进行连接构建检测系统；

46、将检测系统在铜板带加工生产线上进行安装调试，并对实际运行状态进行测试得到反馈信息，根据反馈信息对检测系统进行优化。

47、本发明通过设计与集成先进的图像采集设备与软件平台，实现铜板带表面缺陷的在线自动检测，设备布局科学合理，确保能够全面、清晰地捕捉铜板带表面图像，为后续缺陷识别提供高质量数据源；开发定制化的上位机软件，实现数据处理、结果展示、报警提示的功能，便于生产管理人员实时掌握缺陷情况并作出相应决策；将检测系统部署至实际生产线环境中，通过现场应用与反馈持续优化系统性能与检测流程，确保系统的实用性和可靠性。

48、为实现上述目的，本发明的第二方面提供了一种基于轻量型辨识模型的铜板带缺陷识别方法，包括：

49、s100：通过设计辅助算法采集正样本的正样本图像数据，采集负样本良品的负样本图像数据；将正样本图像数据和负样本图像数据整合为初始数据集；根据初始数据集构建铜板带表面缺陷数据集；

50、s200：根据不同尺度的卷积构建铜板带表面缺陷轻量型辨识标准单元；采用高效的elam注意力机制构建铜板带表面缺陷轻量型注意力机制单元；将非对称卷积操作引入到轻量级辨识标准单元；利用铜板带表面缺陷轻量型辨识标准单元以及铜板带表面缺陷轻量型注意力机制单元构建轻量级辨识模型；对轻量级辨识模型训练与验证；

51、s300：采用轻量级多尺度特征融合方式构建特征融合单元；根据构建的数据集的特征融合单元构建快速检测模型；对快速检测模型训练与验证；

52、s400：设计与集成先进的图像采集设备与软件平台，根据图像采集设备和软件平台构建检测系统，通过检测系统对生产线中的铜带进行检测，并将检测结果展示给生产管理人员。

53、与现有技术相比，本发明的有益效果是：

54、1.通过对正样本图像数据进行筛选、灰度化、几何变换、图像增强的预处理方法，加快了后续分类和标记缺陷的速度，通过人工方式剔除缺陷样本，再进行滤波的预处理不仅去除了数据中的噪声和冗余信息，而且还确保数据集的准确性；通过各种参数评价快速检测模型的性能，且这些参数都是可量化的，使得不同模型之间的性能比较变得简单直观，而且这些参数涵盖了模型的准确性、效率、复杂度和资源需求的多个方面，能够对所需模型提供全面的性能评估。

55、2.使用labelme、labelimg两种标注软件进行规范化标注，对图像中的缺陷进行分类和标记，有助于得到更加精准的铜板带表面缺陷数据集，采用高效的elam注意力机制方法，使模型参数压缩，减少参数和计算量，以便于在更少计算量的情况下，获得更好的特征提取效果，而且将非对称卷积操作引入到轻量级辨识标准模块，可以增强标准卷积层的表征能力，无需引入额外推理时间，另外利用卷积的可叠加性，在不增加模型计算成本的前提下，提升特征提取能力，将lm-ffa架构作为快速检测模型的特征融合模块，提高多尺度缺陷的识别能力，加快模型检测速度。