一种基于迭代反馈优化的工业缺陷检测系统

本发明涉及工业缺陷检测系统领域，具体是一种基于迭代反馈优化的工业缺陷检测系统。

背景技术：

1、当前工业缺陷检测的方法可以分为传统的工业缺陷检测和基于深度学习技术的工业缺陷自动检测。

2、传统的工业缺陷检测即人工检测和传统机器视觉方法。人工目视检测虽具有一定的灵活性和适应性，但存在显著的局限性，人工检测速度慢，无法满足大规模、高速生产线的实时监测需求，并且容易出现漏检和误判的情况，同时个人判断标准受主观性影响较大，不益于检测结果的准确性与一致性。基于规则的传统机器视觉方法，其主要依赖于计算机视觉的基本原理、图像处理技术和预定义的规则与算法，在特定条件下的缺陷检测中表现出良好的稳定性和可控性，但存在的问题是通常缺乏泛化能力，对未见过的缺陷类型或复杂背景下的缺陷识别效果不佳，且通常编程过程复杂，难以应对产品设计变更或新缺陷类型的出现。

3、基于深度学习的工业缺陷检测技术是在现代工业自动化和质量控制背景下发展起来的先进方法。它结合了计算机视觉、机器学习特别是深度学习领域的前沿研究成果，以解决传统工业缺陷检测手段面临的诸多挑战。

4、基于深度学习的工业缺陷检测方法研究具有广泛的技术优势和研究价值，具有高准确性和适应性、自动化程度高、持续优化能力好的优点，是实现工业4.0和数字化转型的关键技术之一，能够为企业带来显著经济效益。但由于工业缺陷自动检测的结果直接影响到生产质量和效率，而生产效率决定了检测过程需要及时性，即需要快速准确地作出判断，因此使用的深度学习网络模型必须兼顾速度和准确性，这是基于深度学习的工业缺陷检测研究的主攻方向。当前大多基于深度学习的工业缺陷检测方法采用的模型通过堆叠大量的模块导致结构复杂、计算量高，这对资源有限的生产环境是不利的。

技术实现思路

1、本发明提供了一种基于迭代反馈优化的工业缺陷检测系统，以解决现有技术基于深度学习的工业缺陷检测方法所采用的模型存在的结构复杂、计算量高的问题。

2、为了达到上述目的，本发明所采用的技术方案为：

3、一种基于迭代反馈优化的工业缺陷检测系统，包括骨干网络、迭代模块、反馈优化模块、空间注意力模块sam；工业缺陷待检测图像输入至所述骨干网络，由骨干网络提取得到总共四级尺度的特征图，并将其中的第二级、第三级、第四级尺度的特征图送入所述迭代模块，将第一级尺度的特征图送入所述空间注意力模块sam；

4、所述迭代模块进行多轮迭代处理，得到多轮迭代结果，并将多轮迭代结果分别送入所述反馈优化模块，以及将多轮迭代结果中最后一轮迭代结果送入所述空间注意力模块sam，每轮迭代过程如下：

5、每轮迭代时，首先通过不同的迭代特征融合模块iff将第二级尺度的特征图、第四级尺度的特征图分别与上轮迭代结果进行融合；融合有上轮迭代结果的第四级尺度的特征图经一个注意力模块sem处理后被上采样至与第三级尺度的特征图进行拼接得到第一拼接特征图，第一拼接特征图再经过另一注意力模块sem处理后被上采样至与融合有上轮迭代结果的第二级尺度的特征图进行拼接得到第二拼接特征图，第二拼接特征图最终通过第三个注意力模块sem处理后再经过通道压缩，由此得到当前轮迭代结果；

6、所述反馈优化模块中对获得的多轮迭代结果施加损失函数，并基于损失函数计算结果监督反馈所述迭代模块的迭代效果；

7、所述空间注意力模块sam将第一级尺度的特征图以及最后一轮迭代结果进行融合，由此得到工业缺陷特征分割结果图。

8、进一步的，所述骨干网络为cspdarknet网络。

9、进一步的，所述迭代模块中的迭代特征融合模块iff对输入的对应级尺度的特征图进行尺寸调整，并上采样上轮迭代结果与尺寸调整后的对应级尺度的特征图按通道进行拼接，然后再进行通道调整，由此将上轮迭代结果融入至对应级尺度的特征图。

10、进一步的，所述迭代模块中的每个注意力模块sem均通过全局平均池化压缩输入的图像的空间信息，并通过全连接层学习每个通道的重要性权重。

11、进一步的，所述空间注意力模块sam首先对第一级尺度的特征图进行均值池化、最大值池化，以及对最后一轮迭代结果进行均值池化、最大值池化；然后空间注意力模块sam将第一级尺度的特征图的均值池化结果和最大值池化结果进行拼接后再进行卷积处理，以及将最后一轮迭代结果的均值池化结果和最大值池化结果进行拼接再进行卷积处理；接着空间注意力模块sam将第一级尺度的特征图与对应的卷积处理结果相乘，以及将最后一轮迭代结果与对应的卷积处理结果相乘；最后空间注意力模块sam将两组相乘结果进行拼接，由此得到工业缺陷特征分割结果图。

12、本发明受启发于人类对知识的认知审查过程，提出了一种基于迭代反馈优化的工业缺陷检测系统。首先针对卷积神经网络模型结构复杂，模块堆叠严重且计算量大的问题，本发明选择使用迭代机制，重复使用部分模块降低模型体量，并且在特征融合时添加注意力模块以关注更重要的特征信息；其次，本发明对于迭代结果施加了加权损失函数以反馈监督迭代过程，确保迭代结果是逐次优化的；最后，本发明为了保留浅层次的空间信息和细节特征，以较大的感受野捕获大目标信息，将底层大尺度的特征图与迭代结果融合，有效地提升模型对不同尺寸特征的学习能力。

13、由此本发明通过迭代机制重复利用部分模块，反复对图像进行分析和特征学习，并不断优化结果，在保证高性能的同时，控制最终神经网络模型的体量不会过大，由此减轻对计算资源的需求，能够快速、准确地完成生产线上的缺陷检测任务。

技术特征：

1.一种基于迭代反馈优化的工业缺陷检测系统，其特征在于，包括骨干网络、迭代模块、反馈优化模块、空间注意力模块sam；工业缺陷待检测图像输入至所述骨干网络，由骨干网络提取得到总共四级尺度的特征图，并将其中的第二级、第三级、第四级尺度的特征图送入所述迭代模块，将第一级尺度的特征图送入所述空间注意力模块sam；

2.根据权利要求1所述的一种基于迭代反馈优化的工业缺陷检测系统，其特征在于，所述骨干网络为cspdarknet网络。

3.根据权利要求1所述的一种基于迭代反馈优化的工业缺陷检测系统，其特征在于，所述迭代模块中的迭代特征融合模块iff对输入的对应级尺度的特征图进行尺寸调整，并上采样上轮迭代结果与尺寸调整后的对应级尺度的特征图按通道进行拼接，然后再进行通道调整，由此将上轮迭代结果融入至对应级尺度的特征图。

4.根据权利要求1所述的一种基于迭代反馈优化的工业缺陷检测系统，其特征在于，所述迭代模块中的每个注意力模块sem均通过全局平均池化压缩输入的图像的空间信息，并通过全连接层学习每个通道的重要性权重。

5.根据权利要求1所述的一种基于迭代反馈优化的工业缺陷检测系统，其特征在于，所述空间注意力模块sam首先对第一级尺度的特征图进行均值池化、最大值池化，以及对最后一轮迭代结果进行均值池化、最大值池化；然后空间注意力模块sam将第一级尺度的特征图的均值池化结果和最大值池化结果进行拼接后再进行卷积处理，以及将最后一轮迭代结果的均值池化结果和最大值池化结果进行拼接再进行卷积处理；接着空间注意力模块sam将第一级尺度的特征图与对应的卷积处理结果相乘，以及将最后一轮迭代结果与对应的卷积处理结果相乘；最后空间注意力模块sam将两组相乘结果进行拼接，由此得到工业缺陷特征分割结果图。

技术总结本发明公开了一种基于迭代反馈优化的工业缺陷检测系统，包括骨干网络、迭代模块、反馈优化模块、空间注意力模块SAM；骨干网络提取得到四级尺度的特征图，并将第二、第三、第四级尺度的特征图送入迭代模块，第一级尺度的特征图送入空间注意力模块SAM；迭代模块进行多轮迭代处理得到多轮迭代结果，并送入所述反馈优化模块、空间注意力模块SAM；反馈优化模块中对基于多轮迭代结果的损失函数监督反馈迭代效果；空间注意力模块SAM将第一级尺度的特征图以及最后一轮迭代结果进行融合，得到工业缺陷特征分割结果图。本发明能够减轻对计算资源的需求，并能够快速、准确地完成生产线上的缺陷检测任务。技术研发人员：王征,郑兴淮,孙美君受保护的技术使用者：天津大学合肥创新发展研究院技术研发日：技术公布日：2024/11/14