太阳能光伏板隐裂检测方法、装置、电子设备及存储介质与流程

1.本发明涉及缺陷检测研究技术领域，更具体地说，涉及一种太阳能光伏板隐裂检测方法、装置、电子设备及存储介质。


背景技术：

2.太阳能是一种清洁能源，被广泛运用于工业界与人们的生活中。太阳能光伏板上的隐裂会极大地降低太阳能的发电效率，从而造成影响。因此，对太阳能电池光伏板隐裂进行准确并且高效率的检测是十分有必要的。
3.太阳能光伏板隐裂检测是指通过对捕捉到的太阳能光伏板图像进行识别来确定太阳能光伏板是否存在隐裂。传统的太阳能光伏板隐裂检测主要是基于机器学习模型，比如svm(support vector machine，支持向量机)，先对太阳能光伏板图像进行特征提取，再使用svm对特征进行分析，从而判断是否存在隐裂；再比如卷积神经网络，其是一种广泛使用的深度学习模型，其识别成功率高、识别效率也较好。
4.然而，传统的太阳能光伏板隐裂检测鲁棒性都比较差，面对一些特殊情况，如存在大面积遮挡或者对抗攻击等，无法准确识别出太阳能电池光伏板是否存在隐裂。除此以外，卷积运算是一种局部操作，只会对太阳能光伏板图像的局部进行特征提取，在该过程中，可能会导致一些图像像素之间的远距离关系不能得到较好地建模。
5.因此，亟需一种有着同样较高的检测准确率和较好的检测效率的太阳能光伏板隐裂检测方法，在各种情况下更鲁棒并且对图像关系建模更好，从而解决现有传统太阳能光伏板隐裂检测中存在的各种问题。


技术实现要素：

6.有鉴于此，为解决上述问题，本发明提供一种太阳能光伏板隐裂检测方法、装置、电子设备及存储介质，技术方案如下：
7.一种太阳能光伏板隐裂检测方法，所述方法包括：
8.获取待检测的太阳能光伏板的目标图像；
9.将所述目标图像输入至图像检测模型中，所述图像检测模型通过自注意力机制和多层感知机所构建、并训练得到的；
10.获取所述图像检测模型针对所述目标图像所输出的隐裂检测结果。
11.优选的，所述图像检测模型的训练过程，包括：
12.获取用于训练的太阳能光伏板的样本图像，所述样本图像具有隐裂标注结果；
13.从所述样本图像中获取本次训练的目标样本图像；
14.将所述目标样本图像进行分块处理，得到所述目标样本图像对应的多个图像块；使用所述自注意力机制对所述目标样本图像所对应多个图像块之间的全局关系进行建模，得到所述目标样本图像对应的多尺度特征；使用所述多层感知机对所述目标样本图像所对应多尺度特征进行通道线性变换、特征融合、以及特征分类，得到所述目标样本图像的隐裂
预测结果；基于所述目标样本图像的隐裂标注结果和隐裂预测结果计算所述多层感知机本次训练的损失函数值；
15.如果本次训练的损失函数值不满足对应的训练结束条件，则调整所述多层感知机的参数，并返回执行所述从所述样本图像中获取本次训练用的目标样本图像，这一步骤；
16.如果本次训练的损失函数值满足对应的训练结束条件，则结束训练，将所述自注意力机制和本次训练后的多层感知机所构建的模型作为所述图像检测模型。
17.优选的，所述从所述样本图像中获取本次训练的目标样本图像之前，所述图像检测模型的训练过程，还包括：
18.对所述样本图像进行预处理，所述预处理包括随机裁剪的数据增强、归一化、以及混淆数据增强中的一种或多种。
19.优选的，所述使用所述自注意力机制对所述目标样本图像所对应多个图像块之间的全局关系进行建模，包括：
20.将所述样本图像划分为多个窗口，一个窗口与所述样本图像所对应多个图像块中的部分图像块相对应、且多个窗口中任意两个窗口之间不重叠；
21.针对所述多个窗口中的每个窗口，使用所述自注意力机制对该窗口对应的图像块之间的全局关系进行建模；
22.对所述多个窗口中不同窗口的建模结果进行交互。
23.优选的，所述多层感知机中插入有激活函数，以引入非线性。
24.一种太阳能光伏板隐裂检测装置，所述装置包括：
25.目标图像获取模块，用于获取待检测的太阳能光伏板的目标图像；
26.隐裂检测模块，用于将所述目标图像输入至图像检测模型中，所述图像检测模型通过自注意力机制和多层感知机所构建、并训练得到的；获取所述图像检测模型针对所述目标图像所输出的隐裂检测结果。
27.优选的，所述隐裂检测模块训练所述图像检测模型的过程，包括：
28.获取用于训练的太阳能光伏板的样本图像，所述样本图像具有隐裂标注结果；从所述样本图像中获取本次训练的目标样本图像；将所述目标样本图像进行分块处理，得到所述目标样本图像对应的多个图像块；使用所述自注意力机制对所述目标样本图像所对应多个图像块之间的全局关系进行建模，得到所述目标样本图像对应的多尺度特征；使用所述多层感知机对所述目标样本图像所对应多尺度特征进行通道线性变换、特征融合、以及特征分类，得到所述目标样本图像的隐裂预测结果；基于所述目标样本图像的隐裂标注结果和隐裂预测结果计算所述多层感知机本次训练的损失函数值；如果本次训练的损失函数值不满足对应的训练结束条件，则调整所述多层感知机的参数，并返回执行所述从所述样本图像中获取本次训练用的目标样本图像，这一步骤；如果本次训练的损失函数值满足对应的训练结束条件，则结束训练，将所述自注意力机制和本次训练后的多层感知机所构建的模型作为所述图像检测模型。
29.优选的，所述隐裂检测模块训练所述图像检测模型的过程，还包括：
30.对所述样本图像进行预处理，所述预处理包括随机裁剪的数据增强、归一化、以及混淆数据增强中的一种或多种。
31.一种电子设备，所述电子设备包括：至少一个存储器和至少一个处理器；所述存储
器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现所述的太阳能光伏板隐裂检测方法。
32.一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行所述的太阳能光伏板隐裂检测方法。
33.相较于现有技术，本发明实现的有益效果为：
34.本发明提供一种太阳能光伏板隐裂检测方法、装置、电子设备及存储介质，对于待检测的太阳能光伏板的目标图像，通过将该目标图像输入至图像检测模型中，来获得该目标图像的隐裂检测结果。自注意力机制特殊的全局信息捕获能力使其面对遮挡等特殊情况时，依然能保持高效和优越的隐裂检测表现，而由该自注意力机制与多层感知机搭建并训练得到的图像检测模型能够快速且准确地检测出太阳能光伏板是否存在隐裂，可应用于真实的电网运行中，提高光伏发电的效率。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
36.图1为本发明实施例提供的太阳能光伏板隐裂检测方法的方法流程图；
37.图2为本发明实施例提供的太阳能光伏板隐裂检测方法的部分方法流程图；
38.图3为本发明实施例提供的太阳能光伏板隐裂检测方法的另一部分方法流程图；
39.图4为本发明实施例提供的太阳能光伏板隐裂检测装置的结构示意图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
42.针对传统的太阳能光伏板隐裂检测在特殊情况下的鲁棒性弱、同时无法全局地对太阳能光伏板图像进行特征提取的缺陷，本发明提供一种太阳能光伏板隐裂检测方案，一方面克服了只能捕获图像局部信息的缺点，使用自注意力机制捕获图像不同部分之间的全局关系，除此以外，局部增强的多层感知机也能在全局关系建模的基础上进一步捕获图像的局部特征；另一方面本发明可以捕获全局信息，因此对于遮挡、对抗攻击等特殊的输入图片更加鲁棒。由此，在现实应用中，本发明可以很好地应对不同条件下的隐裂检测。
43.参见图1，图1为本发明实施例提供的太阳能光伏板隐裂检测方法的方法流程图，该太阳能光伏板隐裂检测方法包括如下步骤：
44.s101，获取待检测的太阳能光伏板的目标图像。
45.本发明实施例中，目标图像即为待检测的太阳能光伏板的图像，其可以为单晶光
伏板图像、也可以为多晶光伏板图像，本发明对此不做限定。
46.s102，将目标图像输入至图像检测模型中，图像检测模型通过自注意力机制和多层感知机所构建、并训练得到的。
47.本发明实施例中，自注意力机制特殊的全局信息捕获能力使其面对遮挡等特殊情况时，依然能保持高效和优越的隐裂检测表现，而由该自注意力机制与多层感知机搭建并训练得到的图像检测模型能够快速且准确地检测出目标图像是否存在隐裂，由此输出相应的隐裂检测结果。
48.s103，获取图像检测模型针对目标图像所输出的隐裂检测结果。
49.具体实现过程中，图像检测模型的训练过程，包括如下步骤，方法流程图如图2所示：
50.s201，获取用于训练的太阳能光伏板的样本图像，样本图像具有隐裂标注结果。
51.本发明实施例中，样本图像即为用于训练的太阳能光伏板的图像，其包括单晶光伏板图像和多晶光伏板图像。
52.s202，从样本图像中获取本次训练的目标样本图像。
53.本发明实施例中，每次训练所需的目标样本图像可以从样本图像中随机获取，或者，采用一定规则获取，本发明对此不做限定。
54.s203，将目标样本图像进行分块处理，得到目标样本图像对应的多个图像块；使用自注意力机制对目标样本图像所对应多个图像块之间的全局关系进行建模，得到目标样本图像对应的多尺度特征；使用多层感知机对目标样本图像所对应多尺度特征进行通道线性变换、特征融合、以及特征分类，得到目标样本图像的隐裂预测结果；基于目标样本图像的隐裂标注结果和隐裂预测结果计算多层感知机本次训练的损失函数值。
55.本发明实施例中，在本次训练过程中，可以使用一个较小的卷积神经网络对目标样本图像进行分块处理，快速地将目标样本图像分为多个图像块，该卷积神经网络可以由4层卷积核大小为3、步长为2的卷积层组成，每个图像块都对应着原图16*16图像块的信息。
56.进而，在获得目标样本图像对应的多个图像块之后，需要对不同图像块之间的信息进行建模，本发明使用自注意力机制来捕获图像块之间的关系，与传统的卷积神经网络只建模局部关系不同，自注意力机制可以建模不同图像块之间的全局关系，该全局关系即对目标样本图像对应的多个图像块加权提取特征，由此得到多尺度特征，不同尺度的特征分辨率不同。
57.举例来说，目标样本图像的大小为224*224，在经过分块处理后变成14*14分辨率的特征(14*14的特征就可以被看作14*14个图像块，即14行、14列的图像块)，每个图像块对应原来图像16*16的像素，14*14图像块的排列还是14行和14列，全局关系就是某个图像块和其他195个图像块的关系。传统方法主要关注某个图像块附近的图像块，而本发明可以关注所有图像块。
58.假设q、k和v分别代表注意力机制中的问询特征、键特征和值特征，不同图像块之间的全局关系矩阵a可以由以下公式获得：
[0059][0060]
其中，d代表特征的嵌入层维度，该嵌入层维度是预先设置好的网络参数。
[0061]
进一步，自注意力机制可以对不同图像块之间的特征进行建模，但是忽略了特征通道的语义信息。因此，为了增强特征的语义信息，本发明使用多层感知机模型对对特征的通道进行线性变换，具体可以通过与指定的权重进行矩阵乘法所实现。
[0062]
对于线性变换后所获得的不同尺度的特征，高尺度(分辨率小)的特征语义信息较弱、但是包含丰富的低层次信息，低尺度(分辨率大)的特征语义信息较强、信息也更加抽象。
[0063]
举例来说，目标样本图像的大小为224*224，会产生4个尺度的特征，分辨率分别为56*56、28*28、14*14、7*7，其中，28*28由56*56得来、14*14由28*28得来、7*7由14*14得来，纹理特征就是指56*56这种大分辨率、一些图片细节可以保留，而语义特征就是指7*7这种小分辨率的、主要是图像总体的特征。由于太阳能光伏板的隐裂主要是与纹理信息有关，需要本发明可以使用基于交叉注意力的多尺度融合模块将低尺度的纹理特征与高尺度的语义特征进行特征融合来进一步提高隐裂检测的准确率。
[0064]
在对多尺度特征进行特征融合后，需要对最终的特征进行分类，以判断输入的目标样本图像是否包含隐裂，本发明通过多层感知机中的一个全连接层对最终的输出进行线性变换，再使用归一化函数得到最终的分数，该分数能够表示目标样本图像的隐裂预测结果。
[0065]
最后，目标样本图像已被预先设置标签，该标签表征隐裂标注结果，通过比对目标样本图像的隐裂预测结果和隐裂标注结果，来确定多层感知机本次训练的损失函数值。
[0066]
在其他一些实施例中，还可以在多层感知机中插入有激活函数，以引入非线性，增强多层感知机的表达能力。另外，为了进一步增强局部特征的提取能力，还可以在多层感知机之前使用一层卷积捕获目标样本图像的局部特征。
[0067]
s204，如果本次训练的损失函数值不满足对应的训练结束条件，则调整多层感知机的参数，并返回执行步骤s202。
[0068]
本发明实施例中，如果本次训练的损失函数值不在预设的允许范围内，则需要启动下一次的训练，由此返回步骤s202开始下次的训练。
[0069]
s205，如果本次训练的损失函数值满足对应的训练结束条件，则结束训练，将自注意力机制和本次训练后的多层感知机所构建的模型作为图像检测模型。
[0070]
本发明实施例中，如果本次训练的损失函数值在预设的允许范围内，则可以结束训练，输出由自注意力机制和本次训练后的多层感知机所在组成的模型作为图像检测模型。
[0071]
在其他一些实施例中，为增强样本的多样性，提高模型训练的效率。本发明实施例中，还可以对样本图像进行预处理，预处理包括随机裁剪的数据增强、归一化、以及混淆数据增强中的一种或多种。
[0072]
对于随机裁剪的数据增强，举例来说，样本图像的大小大于256*256，可以将样本图像使用双线性插值缩放到256*256的大小，再随机在图片上裁剪一部分，该部分裁剪图像的大小为224*224。
[0073]
对该样本图像进行归一化处理，则可以使样本图像的输入更加稳定。
[0074]
由于视觉transformer需要大量数据进行训练，因此本发明还可以对样本图像进行不同数据的加权实现数据增强，即混淆数据增强。假设xi和xj是不同的两个样本图像，各
自对应的标签为yi和yj，使用混淆数据增强后，可以得到
[0075]
新的样本图像及其相应的标签y，x和y由以下公式得到：
[0076]
x＝p
×
xi (1-p)
×
xj[0077]
y＝p
×
yi (1-p)
×
yi[0078]
需要说明的是，p是一个0到1之间的随机概率，可以随机取值。
[0079]
还需要数说明的是，样本图像的标签包括0和1两种，其中标签0所表征的隐裂标注结果为“不存在隐裂”、标签1所表征的隐裂标注结果为“存在隐裂”，由此，图像检测模型所输出的分数越接近0，则目标图像不存在隐裂的概率越高，反之，越接近1，则目标图像存在隐裂的概率越高。对此，可以设置一阈值，比如为0.5，对于图像检测模型针对目标图像所输出的分数，其大于等于0.5时，隐裂检测结果为“存在隐裂”，反之，小于0.5时，隐裂检测结果为“不存在隐裂”。
[0080]
具体实现过程中，步骤s203中“使用自注意力机制对目标样本图像所对应多个图像块之间的全局关系进行建模”可以采用如下步骤，方法流程图如图3所示：
[0081]
s2031，将样本图像划分为多个窗口，一个窗口与样本图像所对应多个图像块中的部分图像块相对应、且多个窗口中任意两个窗口之间不重叠。
[0082]
s2032，针对多个窗口中的每个窗口，使用自注意力机制对该窗口对应的图像块之间的全局关系进行建模。
[0083]
s2033，对多个窗口中不同窗口的建模结果进行交互。
[0084]
本发明实施例中，为降低计算量，可以将目标样本图像分为多个不重叠的窗口，每个窗口与目标样本图像所对应的多个图像块中的部分图像块相对应，继续举例来说，目标样本图像所对应的多个图像块为14行、14列的图像块，则不重叠的窗口可以为7*7个，即1个窗口对应2行、2列的图像块。因此，对于每个窗口对应的图像块，可以使用自注意力机制对其之间的全局关系进行建模，具体建模方式与上述建模目标样本图像所对应的多个图像块之间的全局关系相同，在此不再赘述，这就可以只在窗口内部计算不同图像块之间的注意力。之后，可以使用shift操作对窗口进行移动，从而实现不同窗口之间建模结果的交互。
[0085]
本发明采用一种基于视觉transformer的太阳能光伏板隐裂检测方案，训练和测试中，先使用一个小的卷积神经网络对输入的样本图像进行分块处理，然后使用窗口内部的自注意力机制来建模不同图像块之间的关系。此外，还使用局部感知的多层感知机捕获局部的信息以及增强特征的语义信息，最后使用多尺度融合模块对输出的多个尺度的特征进行融合后再进行分类判断是否存在隐裂。本发明可以实现如下效果：
[0086]
1、采用小卷积核的卷积神经网络对输入的样本图像进行分块处理，保留更多的细节信息。2、为了降低模型计算量，使用基于窗口的注意力机制来建模不同图像块之间的全局关系。3、使用局部信息增强的多层感知机丰富样本图像的语义特征。4、使用基于交叉注意力的多尺度融合模块融合低尺度的纹理特征和高尺度的语义特征。
[0087]
本发明通过自注意力机制和多层感知机，构造了一个用于太阳能光伏板隐裂检测的图像transformer，大大增强了其缺陷检测的性能。自注意力机制特殊的全局信息捕获能力使其在面对遮挡等特殊情况时，依然能够保持高效和优越的隐裂检测表现。多尺度特征融合模块将包含隐裂信息的低尺度纹理特征与用于分类的语义特征进行融合，进一步优化了整体性能。本发明可应用于真实场景的电网运行中，快速并且准确地识别出存在隐裂的
光伏电板，从而提高光伏发电的效率。
[0088]
基于上述实施例提供的太阳能光伏板隐裂检测方法，本发明实施例还对应提供一种执行该太阳能光伏板隐裂检测方法的装置，该装置的结构示意图如图4所示，包括：
[0089]
目标图像获取模块10，用于获取待检测的太阳能光伏板的目标图像；
[0090]
隐裂检测模块20，用于将目标图像输入至图像检测模型中，图像检测模型通过自注意力机制和多层感知机所构建、并训练得到的；获取图像检测模型针对目标图像所输出的隐裂检测结果。
[0091]
可选的，隐裂检测模块20训练图像检测模型的过程，包括：
[0092]
获取用于训练的太阳能光伏板的样本图像，样本图像具有隐裂标注结果；从样本图像中获取本次训练的目标样本图像；将目标样本图像进行分块处理，得到目标样本图像对应的多个图像块；使用自注意力机制对目标样本图像所对应多个图像块之间的全局关系进行建模，得到目标样本图像对应的多尺度特征；使用多层感知机对目标样本图像所对应多尺度特征进行通道线性变换、特征融合、以及特征分类，得到目标样本图像的隐裂预测结果；基于目标样本图像的隐裂标注结果和隐裂预测结果计算多层感知机本次训练的损失函数值；如果本次训练的损失函数值不满足对应的训练结束条件，则调整多层感知机的参数，并返回执行从样本图像中获取本次训练用的目标样本图像，这一步骤；如果本次训练的损失函数值满足对应的训练结束条件，则结束训练，将自注意力机制和本次训练后的多层感知机所构建的模型作为图像检测模型。
[0093]
可选的，隐裂检测模块20训练图像检测模型的过程，还包括：
[0094]
对样本图像进行预处理，预处理包括随机裁剪的数据增强、归一化、以及混淆数据增强中的一种或多种。
[0095]
可选的，隐裂检测模块20使用自注意力机制对目标样本图像所对应多个图像块之间的全局关系进行建模，包括：
[0096]
将样本图像划分为多个窗口，一个窗口与样本图像所对应多个图像块中的部分图像块相对应、且多个窗口中任意两个窗口之间不重叠；针对多个窗口中的每个窗口，使用自注意力机制对该窗口对应的图像块之间的全局关系进行建模；对多个窗口中不同窗口的建模结果进行交互。
[0097]
可选的，多层感知机中插入有激活函数，以引入非线性。
[0098]
需要说明的是，本发明实施例中各模块的细化功能可以参见上述方法实施例对应公开部分，在此不再赘述。
[0099]
基于上述实施例提供的太阳能光伏板隐裂检测方法，本发明实施例还对应提供一种电子设备，电子设备包括：至少一个存储器和至少一个处理器；存储器存储有程序，处理器调用存储器存储的程序，程序用于实现太阳能光伏板隐裂检测方法。
[0100]
基于上述实施例提供的太阳能光伏板隐裂检测方法，本发明实施例还对应提供一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令用于执行太阳能光伏板隐裂检测方法。
[0101]
以上对本发明所提供的一种太阳能光伏板隐裂检测方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般
技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
[0102]
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0103]
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0104]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。