一种工业缺陷实时检测与定位方法、系统、装置及介质与流程

本发明涉及计算机视觉与人工智能，更具体的说是涉及一种工业缺陷实时检测与定位方法、系统、装置及介质。

背景技术：

1、在现代工业生产体系中，产品质量不仅是企业竞争力的核心要素，更是关乎消费者权益、品牌形象乃至社会公共安全的关键所在。传统的质量控制手段，如人工目检和基于规则的图像分析方法，在一定程度上承担着把关产品质量的重要职责。然而，随着工业生产规模的不断扩大、产品复杂性的日益提升以及市场对产品质量要求的日趋严格，这些传统方法在面对复杂、微小或隐蔽的制造缺陷时，暴露出诸多局限性。

2、由于人工目检严重依赖于操作人员的经验、专注度和视觉敏锐度，易受个体差异、疲劳等因素影响，导致漏检、误检现象频发，检测效率和准确性难以保障。尤其在大批量、高速度的生产环境中，人工目检不仅耗时费力，且人力成本高昂，成为制约生产效率和经济效益提升的重要瓶颈。而基于规则的图像分析方法虽然在一定程度上实现了检测过程的自动化，但其规则设定往往基于对典型缺陷模式的预判，对于形态复杂、变异性强的缺陷识别能力有限。这类方法在处理微小或隐蔽缺陷时，由于图像特征提取和识别算法的局限性，可能出现误判或漏判，且规则更新滞后于产品工艺变化，难以适应产品迭代升级带来的新缺陷类型。

3、随着当前工业生产对质量控制手段的要求越来越高，如何实时、精准地检测并定位各类工业产品中的复杂、微小或隐蔽缺陷，是我们亟待解决的问题。

技术实现思路

1、针对以上问题，本发明的目的在于提供一种工业缺陷实时检测与定位方法、系统、装置及介质，能够高效、精准的检测和定位工业制品缺陷，提高工业质检的自动化水平与生产效率，降低了不良品率。

2、本发明为实现上述目的，通过以下技术方案实现：

3、第一方面，本发明公开了一种工业缺陷实时检测与定位方法，包括：

4、利用视频采集设备采集工业缺陷数据图像，并对工业缺陷数据图像进行预处理；对工业缺陷数据图像进行标注，生成工业缺陷检测数据集；

5、融合卷积神经网络与循环神经网络，生成带有空间尺度和时间尺度的深度神经网络混合模型；

6、根据所述深度神经网络混合模型和工业缺陷检测数据集，进行自监督预训练与迁移学习；

7、为深度神经网络混合模型引入注意力机制，结合边框回归和关键点估计算法，输出缺陷区域的坐标信息；

8、采用模型轻量化技术和硬件加速技术优化深度神经网络混合模型；

9、将深度神经网络混合模型和相应的算法封装到预设的工业检测系统中，通过与产线设备联动，进行工业缺陷的实时检测与定位。

10、进一步，所述利用视频采集设备采集工业缺陷数据图像，并对工业缺陷数据图像进行预处理，包括：

11、利用高清摄像头、工业内窥镜采集包含正常样本和各类缺陷样本的工业产品图像；

12、对工业产品图像进行数据清洗处理。

13、进一步，所述对工业缺陷数据图像进行标注，生成工业缺陷检测数据集，包括：

14、通过对工业缺陷数据图像进行类别标注，以标注出其中存在的裂纹缺陷、凹陷缺陷和划痕缺陷；

15、通过对工业缺陷数据图像进行位置标注，以确定工业产品图像的边界框和关键点。

16、进一步，所述融合卷积神经网络与循环神经网络，生成带有空间尺度和时间尺度的深度神经网络混合模型，包括：

17、使用卷积神经网络对每一帧工业产品图像进行特征提取，并生成特征序列；将卷积神经网络提取的特征序列作为循环神经网络的输入，通过循环神经网络捕捉特征序列在时间维度上的演变和依赖关系，并学习循环神经网络的动态行为；

18、当循环神经网络输出更新后的特征序列后，通过连接全连接层进行进一步的特征整合，并利用分类器或回归器，以完成工业缺陷的时空检测和识别。

19、进一步，所述根据所述深度神经网络混合模型和工业缺陷检测数据集，进行自监督预训练与迁移学习，包括：

20、在工业缺陷检测数据集中提取出无标签或弱标签的工业缺陷数据图像；

21、利用无标签或弱标签的工业缺陷数据图像进行自监督预训练，以加强深度神经网络混合模型对通用工业纹理和边缘特征的学习；

22、基于深度神经网络混合模型进行迁移学习，使其适应缺陷检测任务。

23、进一步，所述为深度神经网络混合模型引入注意力机制，结合边框回归和关键点估计算法，输出缺陷区域的坐标信息，包括：

24、通过在深度神经网络混合模型的中间层引入注意力机制，为工业产品图像的每个位置生成一个注意力权重；

25、在深度神经网络混合模型的后端，结合边界框回归或关键点估计的方法，根据深度神经网络混合模型对缺陷区域的识别结果，输出缺陷区域的坐标信息。

26、进一步，所述采用模型轻量化技术和硬件加速技术优化深度神经网络混合模型，包括：

27、通过通道剪枝、模型量化、知识蒸馏技术，提高深度神经网络混合模型的推理计算能力；

28、对深度神经网络混合模型的计算图进行优化处理，并将优化后的计算图映射到与ai硬件上进行处理。

29、第二方面，本发明还公开了一种工业缺陷实时检测与定位系统，包括：数据采集模块，用于利用视频采集设备采集工业缺陷数据图像，并对工业缺陷数据图像进行预处理；

30、数据集构建模块，用于对工业缺陷数据图像进行标注，生成工业缺陷检测数据集；

31、模型构建模块，用于融合卷积神经网络与循环神经网络，生成带有空间尺度和时间尺度的深度神经网络混合模型；

32、模型训练模块，用于根据所述深度神经网络混合模型和工业缺陷检测数据集，进行自监督预训练与迁移学习；

33、缺陷区域识别模块，用于为深度神经网络混合模型引入注意力机制，结合边框回归和关键点估计算法，输出缺陷区域的坐标信息；

34、模型优化模块，用于采用模型轻量化技术和硬件加速技术优化深度神经网络混合模型；

35、联动检测模块，用于将深度神经网络混合模型和相应的算法封装到预设的工业检测系统中，通过与产线设备联动，进行工业缺陷的实时检测与定位。

36、第三方面，本发明还公开了一种工业缺陷实时检测与定位装置，包括：

37、存储器，用于存储工业缺陷实时检测与定位程序；

38、处理器，用于执行所述工业缺陷实时检测与定位程序时实现如上文任一项所述工业缺陷实时检测与定位方法的步骤。

39、第四方面，本发明还公开了一种可读存储介质，所述可读存储介质上存储有工业缺陷实时检测与定位程序，所述工业缺陷实时检测与定位程序被处理器执行时实现如上文任一项所述工业缺陷实时检测与定位方法的步骤。

40、对比现有技术，本发明有益效果在于：

41、本发明公开了一种工业缺陷实时检测与定位方法、系统、装置及介质，通过融合先进的深度学习技术和优化手段，实现了高效、准确的工业缺陷实时检测与定位。本发明不仅具有实时性和准确性的优势，而且通过引入注意力机制和坐标信息输出功能，进一步提高了缺陷检测的精确度和效率。同时，本发明采用模型轻量化和硬件加速技术，优化了模型的推理能力，使其能够满足工业实时处理的要求。最终，本发明通过与系统集成与应用，实现了工业缺陷检测的自动化和智能化，为工业生产提供了强有力的技术支撑。

42、本发明通过融合卷积神经网络和循环神经网络，并结合注意力机制，构建了一个具有空间尺度和时间尺度的深度神经网络混合模型。这一模型能够准确捕捉工业产品图像中的缺陷特征，并通过边框回归和关键点估计算法，实时输出缺陷区域的精确坐标信息。这种高效的缺陷检测与定位能力，极大地提高了工业生产的自动化水平和产品质量。

43、为了提高模型的推理速度和降低计算资源消耗，本发明采用了模型轻量化技术，如通道剪枝、模型量化和知识蒸馏等，有效减小了模型的大小和复杂度。同时，结合计算图优化和硬件加速技术，将优化后的模型映射到专用ai硬件上进行处理，进一步提升了模型的推理性能和实时性。这些优化措施使得模型在保持高性能的同时，更加适应工业生产的实时处理需求。

44、本发明将优化后的深度神经网络混合模型和相应的算法封装到预设的工业检测系统中，实现了与产线设备的无缝对接和联动。这一集成化的解决方案不仅简化了操作流程，降低了对操作人员的技能要求，而且提高了系统的稳定性和可靠性。此外，通过实时反馈的缺陷检测结果，企业可以及时调整生产流程，优化产品质量控制，实现生产过程的智能化管理。

45、由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。