基于机器视觉的板材表面缺陷检测系统及方法与流程

本发明涉及机器视觉，更具体地说，本发明是基于机器视觉的板材表面缺陷检测系统及方法。

背景技术：

1、基于机器视觉的板材表面缺陷检测是利用图像处理和计算机视觉技术来自动识别和分析板材如金属板、木材、玻璃、塑料等表面缺陷的方法，通过摄像头或其他成像设备捕捉板材表面的图像，使用图像处理算法来检测、识别和分类可能存在的表面缺陷，如划痕、裂纹、凹陷、污渍或其他不规则性，基于机器视觉的检测方法可能会受到检测环境如光线对板材表面纹理的投射效果影响而产生异常故障，通过提高视觉检测模型的拟合能力能够降低缺陷检测的漏报率，但同时会提高缺陷检测的误报率，同时，为了满足生产线的流动速度以进行实时检测，在视觉检测模型高负荷运转的情况下保持漏报率和误报率的平衡成为新的挑战。

2、为解决上述缺陷，现提出一种技术方案。

技术实现思路

1、本发明的目的是提供基于机器视觉的板材表面缺陷检测系统及方法，以解决上述背景技术中的问题。

2、为实现上述目的，本发明提供如下技术方案：基于机器视觉的板材表面缺陷检测方法，具体步骤包括：

3、对检测环境的光照条件进行适应性调整，通过多元成像方式对板材图像进行采集，运用光照补偿算法对实时采集的图像进行动态调整，并对板材图像数据进行预处理；

4、建立卷积神经网络模型对板材图像数据进行缺陷检测和分类，并通过多任务学习方法提高卷积神经网络模型对光照条件的适应能力；

5、通过边缘计算方法降低图像数据的传输延迟和计算时间，采用模型压缩技术对模型进行优化；

6、结合卷积神经网络模型的性能和边缘计算的处理效率，并根据板材的生产状态提供决策支持。

7、优选的，运用光照补偿算法对实时采集的图像进行动态调整的过程为：

8、对采集到的板材图像进行高斯模糊处理，生成光照估计图像，将原始图像除以光照估计图像以去除不均匀光照的影响，对补偿后的图像进行对比度和亮度调整以增强细节，输出处理后的图像。

9、优选的，根据retinex算法生成的光照估计图像对图像进行调整的具体步骤为:

10、对板材图像使用高斯模糊进行处理获取代表光照的平滑图像l(x,y)，定义l(x,y)表示图像为光照估计图像；

11、将原始图像除以光照估计图像计算反射率图像r(x,y)，r(x,y)的计算表达式为式中，i(x,y)为板材图像的亮度值，l(x,y)为通过高斯模糊获得的光照估计值；

12、通过对数变换对反射率图像进行动态范围压缩，计算表达式为r1(x,y)＝log(1+r(x,y))；

13、对图像中的每个颜色通道单独应用retinex算法，结合颜色恢复因子进行颜色恢复，计算表达式为式中，c(x,y)为原始的颜色通道值，c1(x,y)为恢复后的颜色通道值，g为全局增益系数；

14、输出经retinex算法处理后的图像。

15、优选的，对板材图像数据进行预处理包括运用灰度归一化方法对图像数据进行归一化，使用自适应直方图均衡化对图像进行增强，并采用高通滤波方法对图像进行去噪。

16、优选的，运用灰度归一化方法对图像数据进行归一化的方法为：

17、标定图像像素(x,y)的灰度值为gr(dx,y)，归一化计算表达式为grno(x,y)＝z×log(1+gr(x,y))，式中，grno(x,y)为归一化后的像素灰度值，z为缩放常数。

18、优选的，使用自适应直方图均衡化对图像进行增强的方法为：

19、将图像分割成若干个小局部区域，对每个局部区域单独进行直方图均衡化；

20、计算每个局部区域的直方图并对局部区域进行直方图均衡化；

21、使用插值方法对邻近的局部区域进行平滑处理，将所有经过处理的局部区域重新合并形成增强图像；

22、采用高通滤波方法对图像进行去噪的具体过程为：

23、使用laplacian滤波器与图像进行卷积操作，以突出图像的边缘和细节并压制平滑区域；

24、将原图像与滤波结果相结合，保留增强的边缘，并减弱其他区域的噪声；

25、针对高频成分的抑制去噪，通过频域滤波器将图像转换至频域进行处理，处理方法为：

26、对图像进行傅里叶变换转换为频域表示；

27、使用高通滤波器应用于频域图像并抑制低频分量；

28、对滤波后的图像进行逆傅里叶变换，返回到空间域获得处理后的图像。

29、优选的，卷积神经网络模型的建模过程为：

30、根据板材图像数据，包括在不同光照条件下采集的样本，标注缺陷类型以及图像的光照条件，使用数据增强技术扩展训练集；

31、使用卷积神经网络模型提取图像的层次特征，层次包括卷积层、池化层、relu激活函数，以及全连接层；

32、在卷积神经网络模型前端设计共享的卷积层，用于提取图像的通用特征，通用特征在不同任务之间共享；

33、在共享特征提取层之后，设计缺陷检测分支和光照分类分支，缺陷检测分支针对不同缺陷类型，并使用卷积层和全连接层进行分类，光照分类分支用于分类图像的光照条件；

34、定义联合损失函数，将缺陷检测损失和光照分类损失结合起来同时优化；

35、使用现有的图像分类数据集进行模型的预训练，然后在板材图像数据上微调模型，采用学习率衰减或自适应学习率优化器对训练的后期模型进行促进收敛；

36、使用k折交叉验证评估模型的性能，通过混淆矩阵评估模型在不同光照条件下的分类表现，当模型性能和分类能力达到生产标准时输出模型。

37、优选的，联合损失函数的设定方法为：

38、对于板材缺陷的分类任务使用交叉熵损失函数，分类任务有ca个缺陷类别，对于类别i模型预测的类别概率为pi，真实标签为yi，则分类任务的损失函数表示为

39、对于光照适应性任务对光照条件进行分类使用交叉熵损失函数，假设光照分类任务有lig个类别，对于类别j模型预测的光照类别概率为qj，真实标签为zj，则光照适应性任务的损失函数表示为

40、联合损失函数的表达式为ltot＝α*lcro+β*lill，式中，ltot为联合损失函数，α、β分别为lcro和lill的权重系数，且α、β均为正整数；

41、对联合损失函数添加正则化项进行l2正则化，l2正则化的计算表达式为ltot＝α*lcro+β*lill+λ*r(w)，式中，λ是正则化系数，r(w)为表示模型权重w的正则化项。

42、优选的，提供决策支持的逻辑为：

43、标定神经网络模型在边缘计算中进行一次完整推理的时间为int，图像数据从边缘设备传输到云端的时间为trl，检测板材的移动速度为vp，根据基于卷积神经网络和多任务学习的板材表面缺陷检测模型应用后实际监控日志数据计算模型的实际误报率与漏报率，并标记误报率为far，漏报率为fnr，则板材表面缺陷检测的平衡控制指数为式中，e为自然常数；

44、将计算所得的平衡控制指数bcr与预设的第一平衡控制限值bt1、第二平衡控制限值bt2进行比对，第一平衡控制限值bt1小于第二平衡控制限值bt2，当平衡控制指数bcr大于等于第二平衡控制限值bt2时，则标记板材表面缺陷检测的拟合过深，提示缺陷检测的误报率与漏报率失衡；

45、当平衡控制指数bcr小于等于第一平衡控制限值bt1时，则标记板材表面缺陷检测的拟合过浅，提示缺陷检测的误报率与漏报率失衡；

46、当第一平衡控制限值bt1小于平衡控制指数bcr小于第二平衡控制限值bt2时，标记板材表面缺陷检测的拟合适宜，提示缺陷检测的误报率与漏报率平衡。

47、基于机器视觉的板材表面缺陷检测系统，包括多元成像模块、卷积建模模块、边缘计算模块、决策支持模块；

48、多元成像模块用于对检测环境的光照条件进行适应性调整，通过多元成像方式对板材图像进行采集，运用光照补偿算法对实时采集的图像进行动态调整，并对板材图像数据进行预处理；

49、卷积建模模块用于建立卷积神经网络模型对板材图像数据进行缺陷检测和分类，并通过多任务学习方法提高卷积神经网络模型对光照条件的适应能力；

50、边缘计算模块用于通过边缘计算方法降低图像数据的传输延迟和计算时间，采用模型压缩技术对模型进行优化；

51、决策支持模块用于结合卷积神经网络模型的性能和边缘计算的处理效率，并根据板材的生产状态提供决策支持。

52、在上述技术方案中，本发明提供的技术效果和优点：

53、本技术通过将卷积神经网络与多任务学习方法相互结合，设定联合损失函数同时对板材表面缺陷检测的检测能力和分类能力进行优化，通过将边缘计算的处理能力和生产数据中的实际误报率、漏报率相结合，对板材表面缺陷检测的应用效果进行综合评估，有效对检测的拟合能力进行验证，避免拟合过度和拟合不足的控制难题，有效的通过实际检测表现对模型的建模方法进行验证，降低了模型的复用能力，提高了模型的优化空间。