一种工业场景下产品表面缺陷检测方法

技术特征：
1.一种工业场景下产品表面缺陷检测方法，其特征在于，所述方法包括以下步骤：步骤1、图像采集，获取工业流水线上产品的表面图像；步骤2、图像标注，对所述表面图像进行缺陷标注，得到表面缺陷数据集；步骤3、数据增强，对所述表面缺陷数据集进行数据增强，为以下一种或者若干种数据增强方式的组合，所述数据增强方式包括随机裁剪、随机水平翻转、随机垂直翻转、尺度抖动、颜色抖动、mosaic或mixup；步骤4、表面缺陷检测模型构建；步骤5、表面缺陷检测模型训练；步骤6、表面缺陷检测模型预测；其中，在所述步骤4中，包括以下步骤：步骤4.1、通过swin transformer建立提取多尺度特征的主干网络；步骤4.2、通过bifpn网络对所述主干网络提取的所述多尺度特征进行多尺度融合，增强不同分辨率的所述多尺度特征；步骤4.3、基于融合增强后的所述多尺度特征，使用anchor-free模型的fcos网络作为detection head，生成所述表面缺陷检测模型。2.如权利要求1所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤4.1中，利用步长为4的7*7卷积实现图像块划分，在不同阶段之间的特征图中利用步长为2的3*3卷积实现下采样；每个移位窗口块中，在不重叠的局部窗口中计算自注意力；假设每个所述局部窗口包含m*m个图像块，所述整个表面图像含有h*w个图像块，则全局多头自注意力和基于窗口的多头自注意力的计算复杂度分别为：ω(msa)＝4hwc2 2(hw)2c；ω(w-msa)＝4hwc2 2m2hwc；其中，msa为全局多头自注意力，ω(msa)为全局多头自注意力的复杂度，w-msa为基于窗口的多头自注意力，ω(w-msa)为基于窗口的多头自注意力的复杂度，c为图像通道；h为图像高度h方向的图像块数量；w为图像宽度w方向的图像块数量。3.如权利要求2所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤4.1中，允许跨窗口连接来提高效率；在连续的所述移位窗口块间实现移位窗口分区，分别采用所述w-msa和sw-msa机制，具体计算如下：msa机制，具体计算如下：msa机制，具体计算如下：msa机制，具体计算如下：其中，w-msa为基于窗口的多头自注意力，ln为层归一化，mlp为多层感知机，sw-msa为基于移位窗口的多头自注意力。4.如权利要求1所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤4.2中，包括以下步骤：
步骤4.2.1、所述bifpn网络删除所述主干网络中只有一条输入边的节点；步骤4.2.2、如果原始输入节点与输出节点处于同一层，则在所述原始输入节点与所述输出节点之间添加额外的边；步骤4.2.3、所述bifpn网络将每个双向即自上而下和自下而上的路径视为一个特征网络层，并多次重复同一层，以实现更高层的特征融合，使用快速归一化融合加权特征，使归一化后权重的值在0与1之间。5.如权利要求1所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤4.3中，所述anchor-free模型的所述fcos网络将位置(x，y)视为训练样本；所述fcos网络在不同特征层间参数共享，共有三个分支：classification分支、regression分支和center-ness分支；所述classification分支预测当前层特征图位置(x，y)属于c类缺陷的概率；所述regression分支预测当前层特征图位置(x，y)对应的缺陷边界框坐标；所述center-ness分支预测当前层特征图位置(x，y)的center-ness；通过将所述classification分支预测的类别置信度与所述center-ness分支预测的所述center-ness相乘用作最终后处理的置信度得分。6.如权利要求1所述的工业场景下产品表面缺陷检测方法，其特征在于，所述表面图像的尺寸与产品类型相关，所述表面图像为rgb三通道彩色图。7.如权利要求1所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤5中，包括以下步骤：步骤5.1、将经过数据增强的所述表面缺陷数据集按照一定比例划分为训练集和测试集；步骤5.2、将经过数据增强后的所述训练集输入所述表面缺陷检测模型进行训练，生成训练好的所述表面缺陷检测模型，训练时正负样本的划分依据最优传输分配策略。8.如权利要求7所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤5.1中，将所述步骤2获取的所述表面缺陷数据集以4:1的比例划分为所述训练集和所述测试集；在所述步骤5.2中，划分好的所述训练集使用所述步骤3中的数据增强策略进行增强，并输入所述步骤4构建好的所述表面缺陷检测模型中进行训练；所述表面缺陷检测模型的训练总损失为分类损失和回归损失的加权和：loss＝l
cls
λl
reg
其中，l
cls
为所述分类损失，选择focal loss作为预测的缺陷类别与ground truth类别间的损失；l
reg
为回归损失，选择giou loss作为预测的缺陷边界框坐标与ground truth边界框坐标间的损失；λ为权重系数，默认值为0.5；所述最优传输分配策略是将anchor points与ground truths或background间的单位传输成本定义为所述分类损失和所述回归损失的总和，将寻找最优标签分配方案转换为求解最优传输计划；在定义好单位传输成本后，所述最优传输计划可以通过sinkhorn-knopp迭代快速有效地求解。9.如权利要求7所述的工业场景下产品表面缺陷检测方法，其特征在于，所述表面缺陷检测模型训练的超参数设置如下：采用多尺度训练，将输入的所述表面图像的大小调整为图像短边在480-800之间，图像长边不超过1333；采用动量为0.9和权重衰减为0.005的sgd优化器；所述表面缺陷检测模型总计训练100epochs，初始学习率为0.0001；在第67和第
89epoch时学习率降低为原来的1/10；使用8块gpu训练，每块gpu分配两张图像，总batch size为16。10.如权利要求7或8所述的工业场景下产品表面缺陷检测方法，其特征在于，在所述步骤6中，包括以下步骤：将划分好的所述测试集中的所述表面图像输入所述步骤5中训练好的所述表面缺陷检测模型中，先由所述主干网络提取所述多尺度特征，然后经由所述bifpn网络对所述主干网络提取的所述多尺度特征进行多尺度融合，接着使用所述fcos网络作为detection head对所述bifpn网络的多尺度特征图分别输出预测缺陷概率和预测缺陷边界框；对所述fcos网络输出的缺陷预测结果，先使用置信度阈值0.05滤除低可信结果，然后将所有层的预测结果使用阈值为0.6的soft-nms作后处理，产生最终的缺陷预测结果，并将缺陷的种类和位置显示在所述表面图像中。

技术总结
本发明公开了一种工业场景下产品表面缺陷检测方法，涉及工业场景下产品表面缺陷检测与机器视觉的技术领域，所述方法包括以下步骤：步骤1、图像采集，获取工业流水线上产品的表面图像；步骤2、图像标注，对所述表面图像进行缺陷标注，得到表面缺陷数据集；步骤3、数据增强，对所述表面缺陷数据集进行数据增强，为以下一种或者若干种数据增强方式的组合，所述数据增强方式包括随机裁剪、随机水平翻转、随机垂直翻转、尺度抖动、颜色抖动、Mosaic或Mixup；步骤4、表面缺陷检测模型构建；步骤5、表面缺陷检测模型训练；步骤6、表面缺陷检测模型预测。预测。预测。


技术研发人员：王星 庄开宇 杨根科
受保护的技术使用者：上海交通大学宁波人工智能研究院
技术研发日：2022.01.10
技术公布日：2022/4/15