一种太阳能电池晶硅组件缺陷检测方法

本发明涉及材料工业缺陷检测领域，特别涉及一种太阳能电池晶硅组件缺陷检测方法。

背景技术：

1、图像缺陷检测技术在材料工业领域有着广泛的应用。利用计算机视觉技术和深度学习算法，可以实现对太阳能电池晶硅组件图像的自动化缺陷检测，提高检测的准确性和效率。太阳能电池晶硅组件的生产过程中，常常会受到各种因素的影响，例如材料缺陷、生产环境等，导致晶硅组件可能出现缺陷。为了确保晶硅组件的质量和性能，需要进行缺陷检测。然而，传统的人工检测方法效率低下且易受主观因素影响。因此，基于计算机视觉和深度学习技术的晶硅组件缺陷检测方法备受关注。

2、现有的缺陷检测方案主要都是使用深度神经网络来检测和定位图像中存在缺陷的部分，如公开号为cn116523820a、名称为一种基于注意力卷积神经网络的太阳能电池缺陷检测方法的专利文献，采用的是yolov5s的卷积神经网络，能够有效地检测和定位缺陷。然而，针对晶硅组件的缺陷检测面临着一些挑战，例如缺陷形状和尺寸多样，图像质量受到光照条件和拍摄角度等因素的影响，市面上的检测方法往往难以满足实际需求。

技术实现思路

1、为了解决上述技术问题，本发明提供一种高鲁棒性、高精确度的太阳能电池晶硅组件缺陷检测方法。

2、本发明解决上述技术问题的技术方案是：一种太阳能电池晶硅组件缺陷检测方法，包括以下步骤：

3、步骤一：建立太阳能电池晶硅组件的缺陷检测模型，缺陷检测模型包括特征提取网络、区域候选网络、池化层模块、分类和回归模块；

4、步骤二：将原始图像输入到太阳能电池晶硅组件的缺陷检测模型中；

5、步骤三：通过特征提取网络提取图像中的基础特征，并生成特征图即为骨干特征图，在特征提取网络中引入混合通道空间注意力机制hcsa，加强高层次的特征表示；

6、步骤四：区域候选网络rpn在骨干特征图上运行，通过滑动窗口技术在骨干特征图上提取候选框，并为每个候选框预测其包含目标的概率以及边界框的调整参数；

7、步骤五：从骨干特征图中提取与候选框对应的特征，并使用池化层模块将每个候选框内的特征图裁剪或拉伸至固定大小的特征向量；

8、步骤六：将经过池化的特征向量送入分类和回归模块，分类和回归模块中的分类器判断每个候选框是否包含缺陷目标，分类和回归模块中的回归器精确调整候选框的位置和大小；

9、步骤七：应用非极大值抑制算法对重叠的候选框进行筛选和合并，以消除重复检测，保留最具代表性的候选框作为最终的检测结果；

10、步骤八：输出最终的检测结果，其中包含缺陷位置和类型的详细信息，提供给下一步的评估和应用；

11、步骤九：对监测结果进行评估，采用四种评价指标，即召回率、精确率、f1值和map。

12、上述太阳能电池晶硅组件缺陷检测方法，所述步骤一中，所述特征提取网络通过多层卷积网络构建，采用resnext-50，resnext-50采用了分组卷积的结构，通过增加网络的宽度而不是深度，从而提高网络的表示能力。

13、上述太阳能电池晶硅组件缺陷检测方法，所述步骤一中，所述区域候选网络用于生成候选区域，这些候选区域是可能包含物体的区域；区域候选网络通过滑动窗口在特征图上生成多个不同尺寸和比例的锚框，然后对每个锚框预测两个值：1、锚框是否包含物体；2、对锚框进行调整以更好地适应物体的位置；这样，区域候选网络通过筛选和调整锚框，生成具有不同形状和尺寸的候选区域，为后续的物体检测提供了一系列可能包含物体的建议框；

14、为使区域候选网络生成的候选框更适合太阳能电池晶硅组件缺陷数据集，对区域候选网络的锚框尺寸以及纵横比等参数进行了调整，设定候选框尺寸包括162、322、642、1282、2562和5122，候选框纵横比分别为3:1、2:1、1:1、1:2、1:3。

15、上述太阳能电池晶硅组件缺陷检测方法，所述步骤一中，所述池化层模块用于从提取的特征图中针对每个候选框提取固定大小的特征，以便将其输入到后续的分类和回归网络中进行进一步处理；

16、池化层模块采用roipooling，它通过将不同尺寸的感兴趣区域roi映射到固定大小的特征图上，并对每个roi内的特征进行分块池化操作，从而实现对不同大小和比例的目标区域进行特征提取；

17、为了解决传统roi池化在处理不同尺寸的感兴趣区域时，需要将roi映射到固定大小的特征图上，导致信息损失和不适合非固定大小的roi的问题，设计一个自适应roi池化层，以代替传统的固定大小的roipooling池化层；

18、自适应roi池化层根据每个roi的实际尺寸和形状来动态地调整池化窗口的大小和形状：首先，在进行自适应roi池化之前，根据检测到的roi的坐标信息计算每个roi的实际大小和形状，这些信息将用于动态调整池化窗口的大小和形状；接着，利用roi的大小和形状信息，动态调整自适应roi池化层中的池化窗口，使其与每个roi的实际形状和大小相匹配，以确保在进行特征提取时，每个roi都充分地覆盖并捕获到相关的特征信息；最后，对于每个调整后的池化窗口，应用池化操作以提取roi区域的特征表示，并将池化得到的特征表示与原始roi的大小和形状进行匹配，以确保特征与原始roi的尺寸一致。

19、上述太阳能电池晶硅组件缺陷检测方法，所述步骤一中，所述分类和回归模块负责两个任务：目标分类和边界框回归；目标分类任务是将每个候选框中的目标进行分类，确定其所属类别，而边界框回归任务则是对每个候选框进行微调，以更准确地框出目标的位置，这两个任务共同构成了网络结构中的分类回归模块；

20、分类和回归模块利用已经获得的候选框特征图，通过全连接层和softmax函数对每个候选框进行分类，确定其属于不同类别，并输出类别概率向量；同时，再次利用边界框回归技术，获取每个候选框位置更加精确的边界框偏移量，以便进一步调整候选框的位置，使目标检测框的位置更加精确。

21、上述太阳能电池晶硅组件缺陷检测方法，所述步骤三中，在特征提取网络的conv2层后引入混合通道空间注意力机制hcsa，以增强高层次的特征表示；hcsa由通道注意力模块与空间注意力模块构成，通过叠加的方式对两部分信息进行增强，以捕获图像特征之间的通道相关性和空间相关性，从而提高晶硅组件缺陷检测的性能；

22、通道注意力模块通过对多个通道信息进行压缩加权，从而增强了不同暗部通道信息之间的交互作用，通过这种方式捕获图像中通道间的相关性，进一步提升了灰度值相近的缺陷的可检测性；

23、通道注意力模块采用了三种不同的池化方式，即3×3全局平均池化、1×1全局平均池化和1×1全局最大池化，以压缩不同结构下的通道特征，从而加强通道间的结构信息；为了后续聚合通道中的特征映射，对池化后的特征图进行了reshape操作，以获得统一的特征映射；同时，为了增强不同结构的跨通道信息，在各层均采用了多层感知机mlp；

24、定义通道注意力模块的公式如下：

25、

26、其中x1表示输出特征图，x表示输入特征图，avgpool3()表示3×3全局平均池化，avgpool()表示1×1全局平均池化，maxpool()表示1×1全局最大池化，resize()表示对特征图进行归一化操作，mlp()表示多层感知机，σ表示激活函数。

27、上述太阳能电池晶硅组件缺陷检测方法，所述步骤三中，空间注意力模块通过对缺陷在整个晶硅组件图像中的位置特征进行加强，从而提高对边缘缺陷的检测精度，增强整体检测效果；通过引入空间注意力机制，关注缺陷在图像空间中的位置分布，有助于网络更准确地捕获边缘位置的缺陷信息；

28、为了在模型中有效地嵌入坐标信息，首先对输入图像进行全局平均池化操作，这样分别得到水平方向和垂直方向的一维特征编码向量；接下来，将这些编码向量通过非线性映射，以更好地捕获不同维度的坐标信息；最终，得到两个特征图，两个特征图分别包含了x坐标和y坐标的信息；

29、定义空间注意力公式如下：

30、xh＝conv(nonlinear(batch(conv(conact(avgpoolh(x)+avgpoolw(x)))))) (2)

31、xw＝conv(nonlinear(batch(conv(conact(avgpoolh(x)+avgpoolw(x)))))) (3)

32、其中，x表示输入特征图，xh表示垂直方向上的输出特征图，xw表示水平方向上的输出特征图，nonlinear()表示非线性激活函数，avgpoolh()和avgpoolw()分别表示在垂直和水平方向上的空间信息进行编码的中间特征映射，conact()用于将不同维度的特征图合并；batch()为batchnorm操作，其作用是对每个特征通道的数据进行归一化处理，确保了每一层输入数据的均值和方差接近于0和1，以便稳定和加速网络的训练过程；conv()表示1×1卷积操作，σ表示sigmoid激活函数。

33、上述太阳能电池晶硅组件缺陷检测方法，所述步骤六之后，为了衡量模型预测结果与真实数值之间的差异，定义分类损失函数lcls：

34、

35、其中，n表示样本数量，c表示类别数量，yi,c是样本i的实际标签，如果样本属于类别c则为1，否则为0，pi,c是模型预测样本i属于类别c的概率值，使用softmax函数得到，损失函数通过将模型输出的概率分布与实际的标签进行比较，衡量了模型预测与真实标签之间的差异，帮助模型进行分类任务的优化训练；

36、边界框回归损失采用siou损失函数来度量模型对目标边界框位置的预测准确性；对于每个候选框，模型预测其与真实目标边界框之间的偏移量，然后使用siou损失函数计算模型预测的偏移量与真实偏移量之间的差异；边界框回归损失函数lreg为：

37、

38、其中，iou表示交并比，是用来衡量预测框和真实框重叠度的指标，它的值范围从0到1，1表示完美的重叠，0表示没有重叠；δ是一个超参数，用于控制中心点距离在损失函数中的贡献，中心点距离是指预测框的中心点与真实框的中心点之间的距离；δ的值越大，中心点之间的距离对总损失的影响就越大，促使模型更加重视框的位置准确性；ω也是一个超参数，用于控制iou在损失函数中的影响，通过调整ω的值，用于平衡iou和中心点距离对损失的贡献；

39、总损失函数是分类损失和边界框回归损失的加权和，总损失函数ltotal定义为：

40、ltotal＝lcls+λlreg                                  (6)

41、其中，lcls是分类损失，用来度量用来度量模型对目标类别的分类准确性，lreg是边界框回归损失，用来度量模型对目标边界框位置的预测准确性，λ是两种损失的平衡参数，用来调节分类损失和边界框回归损失在总损失中的权重；通过调节λ的值，控制模型在训练过程中对分类准确性和边界框位置预测准确性的重视程度。

42、上述太阳能电池晶硅组件缺陷检测方法，所述步骤九中，召回率recall衡量了模型能够正确检测出所有正样本的能力，指的是在所有实际正样本中，模型成功检测到的正样本的比例，召回率recall计算方式如下：

43、

44、其中，tp表示模型正确检测到的正样本数量，fn表示模型未能正确检测到的正样本数量；

45、精确率precision衡量了模型在所有被分类为正样本的样本中，实际为正样本的样本的比例，即衡量了模型将负样本错误分类为正样本的程度，精确率precision计算方式如下：

46、

47、其中，tp表示模型正确检测到的正样本数量，fp表示模型错误将负样本错误分类为正样本的数量；

48、f1值是综合考虑精确率和召回率的一个指标，即为精确率和召回率的调和平均值，f1值同时考虑了模型的精确率和召回率，其计算方式如下：

49、

50、map是precision-recall曲线下的平均精度，用来衡量模型在不同类别下的检测准确性；对于每个类别，首先根据模型的输出结果按照置信度排序，然后计算不同置信度阈值下的精确率和召回率，将精确率-召回率曲线下的面积作为该类别的平均精度，即ap值，再将所有类别的ap值取平均得到map值，map的计算方式如下：

51、

52、其中，n表示类别的数量，apτ表示第τ个类别的平均精度。

53、本发明的有益效果在于：

54、1、本发明采用resnext-50作为骨干网络，resnext-50是一种高效的特征提取网络，能够很好地捕获缺陷图像中的细微特征，这有助于提高晶硅组件缺陷的检测精度。

55、2、本发明对区域候选网络网络rpn参数进行了优化，使生成的候选框更适合缺陷数据集，从而为检测任务提供更精确的区域建议，这一改进有助于提高检测效率和准确性。

56、3、本发明设计了自适应roi池化层，代替传统的固定尺寸roi池化层。这种自适应设计可以根据候选框的不同尺寸和形状，动态调整池化层的大小和位置，更有效地提取目标区域的特征。

57、4、本发明提出了一种全新的注意力机制，命名为混合通道空间注意力(hybridchannel-spatial attention，hcsa)。该注意力机制由通道注意力模块(channelattention module)与空间注意力模块(spatial attention module)构成，通过叠加的方式对两部分信息进行增强，旨在更好地捕获图像特征之间的通道相关性和空间相关性，从而提高晶硅组件缺陷检测的性能。

58、5、本发明使用siou损失函数替代了传统的边界框回归损失函数，siou损失函数可以提高模型在训练过程中的稳定性和收敛速度，有助于获得更精确的缺陷检测结果。