一种适合边缘设备部署的钢材微小缺陷检测方法与流程

本发明涉及工业环境的钢材微小缺陷识别领域，尤其涉及一种适合边缘设备部署的钢材微小缺陷目标检测方法。背景技术：：：1、随着科学技术的迅猛发展使生产力发生了质的飞跃，世界钢铁产业将面临全新的机遇与挑战，钢材是国家建设和实现四化的重要物质基础，尤其是在汽车、建筑业、航空航天、电子机械等行业，对钢材产量的需求日趋增长，钢板表面缺陷的产生直接影响企业生产效益，钢材缺陷目标检测旨在通过检测算法找出生产钢材中所有感兴趣的缺陷目标，并确定它们的位置和类别；现有的钢材缺陷检测方法一般可以分为三类：基于人工目测的方法、基于涡流检测的方法以及基于机器视觉的方法；基于人工目测的方法是对钢材表面缺陷检测最原始的方式，该方法虽然缺陷识别精度高，但需要大量人力投入，靠人工目测的方法费时费力，且承担实时检测的能力略显不足；基于涡流检测的方法在钢材表面缺陷检测系统中使用频率较高，但该方法本身容易受到环境噪声和探头提离以及设备结构变化产生的影响，钢材缺陷位置反馈信号往往会被恶化，故在使用这种检测方法前，需要引入信号处理技术提升缺陷位置反馈信号的信噪比，这也增加了钢材表面缺陷检测的技术难度；在钢材表面缺陷检测方法中基于机器视觉的方法尤以基于深度学习的缺陷检测方法效果最佳，基于深度学习的方法通过卷积神经网络提取钢材表面缺陷的图像特征，并通过一系列操作，对钢材表面的缺陷可以实现精准的识别；但基于深度学习的方法设计出的神经网络模型受网络参数量多，计算量大的以及结构过于复杂等问题的限制，难以在工业环境中的边缘设备上进行实际部署应用；为了缓解上述问题，本专利提出了一种适合边缘设备部署的钢材微小缺陷检测方法(a steel micro-defect detection method suitable for edge devicedeployment)，它主要包括三个部分：基于可变形卷积与注意力的特征提取模块、基于u形结构的特征提取网络和基于知识蒸馏的学习架构；基于可变形卷积与注意力的特征提取模块运用可变形卷积在感受野内动态地调整权重，在特定位置上灵活捕获图像中的特征，同时使用注意力机制使模块更加关注与钢材缺陷有关的区域；基于u形结构的特征提取网络由编码器与解码器组成，编码器由多个可变形卷积与注意力的特征提取模块组成，其目的是提取输入图像中各种尺度的语义特征，同时保留空间信息和局部细节，解码器部分负责编码器提取的特征映射解码成最终的输出；基于知识蒸馏的学习架构对特征提取网络进行知识蒸馏得到更加轻量化的网络模型以便部署至边缘设备端。技术实现思路1、本发明目的在于提供一种适合边缘设备部署的钢材微小缺陷检测方法，以解决上述问题。2、本发明通过下述技术方案实现：3、一种适合边缘设备部署的钢材微小缺陷检测方法，其主要包括以下步骤：4、s1：采用专业相机拍摄钢材的实际图像，由此获得需要的钢材缺陷原始图像数据集，通过对原始图像数据集进行压缩处理，将图像处理为规定尺寸大小，同时对钢材缺陷的位置进行标注。5、s2：将处理后的钢材缺陷图像数据集输入到卷积组件中，用于提取钢材表面缺陷的浅层特征f，将浅层特征f输入由卷积块组成的偏移权重学习金字塔中，通过学习偏移权重矩阵w来调整可变形卷积的偏移量(δpx,δpy)；6、(δpx,δpy)＝w(f)7、其中(δpx,δpy)为可变形卷积的偏移，w为偏移权重学习金字塔的输出，f为输入的浅层特征。8、s3：使用学习到的偏移量(δpx,δpy)来获取位于钢材缺陷不规则位置的新采样像素特征值l的位置pl(xl,yl)；9、pl(xl,yl)＝pg((x+δpx),(y+δpy))10、其中l代表新采样的像素值，pl(xl,yl)为像素值l的位置，pg为前一采样像素值，pg(x,y)为像素值pg的位置。11、s4：可变形卷积得到的特征f1引入偏移量，而不考虑相邻像素之间的信息交互，为此，采用注意力机制进行相邻像素之间的信息交互，取特征f1中的像素记为pq(x,y)，取pq与pk∈k转置的点积来计算特定参考像素与所有采样像素的相关性；12、13、其中attenqi用于衡量特定参考像素对第i个采样像素的相关性权重，k为采样偏移量的集合，k为采样像素的编号，pk为任意像素的位置。14、s5：为了有选择地聚合钢材缺陷中的上下文信息并在全局视图中保留更多语义信息，通过将所有采样像素pa与相应的注意力权重相加来提取钢材缺陷中的上下文信息，同时为保留钢材缺陷某些初始的特征，将提取到的上下文信息与原始参考像素进行细粒度融合输出；15、16、其中pf表示为可变形卷积与注意力的特征提取模块最终输出的特征，pa为所有采样像素，f1为钢材缺陷某些初始的特征。17、s6：将可变形卷积与注意力的特征提取模块最终输出的特征输入到解码器进行特征映射并得到最终钢材微小目标检测的结果。18、s7：最后，为适合在边缘设备端进行部署，利用教师网络模型和学生网络模型组成的蒸馏学习架构进行知识蒸馏，通过教师网络不断训练优化损失函数lg，达到对学生网络损失函数lst的优化指导；19、20、lst＝lobj+lcla+lbox21、其中k为教师网络生成的钢材缺陷检测框的长和宽，b为检测框的个数，mq为在阈值范围内检测框的个数，sijc为学生网络模型生成的检测框位置的值，tijc为教师网络模型生成的检测框位置的值，lobj表示真实框置信度与学生模型输出网络的置信度之间的损失，lcla表示真实的分类概率与学生模型输出网络的类别之间的损失，lbox表示真实的检测钢材缺陷的位置与学生模型输出的钢材缺陷的位置之间的损失。22、本发明与现有技术相比，具有如下的优点和有益效果：23、本专利是一种适合边缘设备部署的钢材微小缺陷检测方法，目前运用较多的钢材缺陷检测方法一般深度学习神经网络为主，利用神经网络对钢材缺陷特征进行提取检测，但现有的神经网络存在参数量多、计算量大等特点，无法在边缘设备上进行有效部署，同时神经网络对特征提取受卷积核感受野的限制，导致其对钢材微小目标缺陷关注不够；为了提高钢材微小缺陷目标检测准确度，同时使深度学习网络模型易于部署置边缘设备端；我们提出了一种适合边缘设备部署的钢材微小缺陷检测方法来有效提取钢材微小缺陷的局部显著特征和全局信息特征；该方法通过将钢材缺陷图像压缩处理成规定尺寸的图像文件，将该图像输入到基于u形结构的特征提取网络中，特征提取网络的可变形卷积与注意力模块负责对特征进行提取，可变形卷积对输入的钢材缺陷图像进行不规则卷积提取局部显著特征，注意力机制点积方式获取钢材缺陷中的上下文信息特征；同时为保留钢材缺陷某些初始的特征，将提取局部显著特征与全局上下文信息特征进行细粒度融合得到最终输出特征，将最终输出特征传递到解码器部分，由解码器进行特征映射并最终输出钢材微小缺陷检测的结果；最后，为便于特征提取网络在边缘设备端部署，提出一种知识蒸馏学习框架，通过教师网络的学习，不断优化目标函数，达到对学生网络的指导。当前第1页12当前第1页12