一种监控场景下光伏板异常检测方法与流程

本发明属于图像处理，尤其是一种监控场景下光伏板异常检测方法。

背景技术：

1、近年来，随着科技的飞速发展，能源需求持续增长，由于化石能源有限且不可再生，寻找替代能源成为了可持续发展的挑战。光能以其清洁、可再生的特性，成为新能源领域的重要选择。光伏发电技术，特别是光伏电池板的应用，成为能源转换的关键设备。然而，光伏电池板在实际使用中可能出现多种异常情况，如遮挡、损坏、缺失等，这些问题不仅降低能源转化效率，还可能引发安全隐患。因此，对光伏电池板的异常检测至关重要。目前，基于深度学习技术的光伏电池板异常检测主要分为有监督和无监督两种算法。有监督检测算法通常是将需要预测异常的图片输入到卷积神经网络当中，然后将网络输出的特征值编码与标签计算得到损失值，通过优化损失值来指导网络训练，在网络训练完成后可以通过训练好的网络获取到图像的异常信息。无监督检测通常是利用人为设计的特征或深度学习网络提取的特征对整张图片进行聚类分析，或是利用生成式网络对异常图像进行还原，比较还原后的图像与原图之间的差异，从而预测电路板的异常情况。上述有监督算法需要大量人力进行标注，需要精细的标注光伏电池板的异常情况，耗时耗力。且由于光伏电池板出现异常情况为偶然事件，异常情况在真实场景下出现频次较少，这导致真实异常样本数量稀少，正样本与负样本之间出现严重不平衡影响检测效果。

2、中国专利，公开号：cn115482473a，公开日：2022年12月16日，公开了一种提取航拍图像特征的图卷积网络模型及检测异常的方法，模型包括：单发多框检测模型，用于接收通过无人机的航拍图像作为输入图像，并输出航拍图像中每个特征子图像；图像特征转换压缩层，包括：k层堆叠的图像特征转换压缩模块，所述图像特征转换压缩模块包括：卷积神经网络模型、gate-conv卷积模型和输出单元，所述卷积神经网络模型用于进行卷积过滤，所述gate-conv卷积模型用于降低参数数量，并提取不同粒度大小的信息，所述图像特征转换压缩单元用于将上一层将卷积神经网络模型输出的运算结果和gate-conv卷积模型进行融合得到编码特征图；反卷积网络，用于将编码后的特征图通过多步映射到原图空间，生成特征子图像的特征表示。上述方案存在以下问题：在进行光伏板异常检测时，需要大量的异常样本进行模型训练，模型对标注数据的依赖程度高，但是现有技术中光伏板异常检测往往缺乏准确可靠的大量标注数据，进行导致光伏板异常检测不准确。

技术实现思路

1、本发明的目的是解决现有技术由于缺乏准确可靠的大量有标注的样本数据导致检测模型训练效果差，进而影响光伏板异常检测的准确性问题，提供一种监控场景下光伏板异常检测方法，本发明主要可以根据异常特征生成异常预测图像，结合随机交叉机制及损失函数对特征提取网络进行训练优化，并根据背景图新机制确定光伏板的异常状态，实现不需要标注样本数据即可实现光伏板的异常检测，显著提高了光伏电路板的检测准确度和效率。

2、为了实现上述目的，本发明采用以下技术方案：

3、一种监控场景下光伏板异常检测方法，包括如下步骤：

4、s1、获取光伏板异常图像和光伏板监控图像，将所述光伏板异常图像作为测试样本，将所述光伏板监控图像作为训练样本；

5、s2、对所述训练样本进行预处理，基于所述预处理后的训练样本进行特征划分得到若干数量的特征图像块；

6、s3、基于深度学习法构建特征提取网络，基于所述特征提取网络提取所述特征图像块对应的异常特征，基于所述异常特征对光伏板进行重构预测得到预测图像；

7、s4、采用随机交叉机制处理不同时段的预测图像，结合gms损失函数和ssim损失函数加权求和对特征提取网络进行训练优化；

8、s5、基于所述训练优化后的特征提取网络提取所述测试样本的测试特征图像，基于所述测试特征图像对应的相似度损失值确定特征提取网络是否测试通过；

9、s6、基于背景图更新机制根据测试通过的特征提取网络对光伏板实时图像对应的像素块损失与阈值进行比较，检测光伏板的异常状态。

10、上述技术方案中，通过获取光伏板异常图像和监控图像，分别作为测试样本和训练样本，不仅考虑了光伏板在各种可能情况下的表现，还通过训练样本的学习，使得模型能够更准确地识别出异常情况；通过对训练样本进行预处理和特征划分，可以提取出光伏板图像的关键特征，从而更精准地识别出异常情况，不仅提高了检测的准确性，也降低了计算复杂度，提高了检测效率；利用深度学习法构建特征提取网络，并通过预测图像对网络进行训练优化，可以进一步提高模型的性能，不仅考虑了不同时段的预测图像，还结合了多种损失函数进行加权求和，使得模型能够更好地适应各种复杂情况；通过测试样本对特征提取网络进行测试，可以确保网络的性能达到要求，测试机制不仅保证了模型的准确性，也提高了异常检测的可靠性；基于背景图更新机制对光伏板实时图像进行异常检测，可以实时地检测光伏板的运行状态，及时发现并处理异常情况，不仅提高了光伏板的运行效率，也降低了故障对系统的影响；通过异常预测图像结合随机交叉机制进行特征提取网络的训练优化，并根据背景图新机制确定光伏板异常状态，能够实现不需要标注样本数据即可实现光伏板的异常检测，显著提高了光伏电路板的检测准确度和效率。

11、优选的，所述s1包括如下步骤：

12、s11、获取不同时间下光伏板监控图像中含有异常的两帧异常画面；

13、s12、将所述含有异常的两帧异常画面转化为图片；

14、s13、对所述转化得到的图片中的异常区域进行标注得到光伏板异常图像，将所述光伏板异常图像作为测试样本；

15、s14、获取正常监控下的光伏板监控图像，将所述光伏板监控图像作为训练样本。

16、上述技术方案中，通过获取不同时间下光伏板监控图像中含有异常的两帧异常画面，能够充分考虑到光伏板异常可能在不同时间、不同环境下出现的各种情况，使得后续的训练和测试过程能够更全面地覆盖各种异常情况，从而提高模型的泛化能力；通过将含有异常的两帧异常画面转化为图片，图片格式的数据更易于进行特征提取和模型训练，同时也方便进行数据的存储和传输；通过对转化得到的图片中的异常区域进行标注得到光伏板异常图像，不仅明确了异常的具体位置，还为后续的模型训练提供了重要的标签信息；获取正常监控下的光伏板监控图像作为训练样本，使得模型能够学习到光伏板在正常工作状态下的特征，通过与异常图像的对比学习，模型能够更准确地识别出异常情况，从而提高检测的准确性。

17、优选的，所述s2包括如下步骤：

18、s21、对所述训练样本中的光伏板监控图像进行预处理得到特征图像，所述预处理包括图片缩放、翻转、旋转和随机抖动；

19、s22、将所述特征图像划分为若干个大小为l*l的图像块，所述l为图像块的边长；

20、s23、对图像块进行一次标注得到一次标注图像块，对所述一次标注图像块的邻近图像块进行二次标注得到二次标注图像块。

21、上述技术方案中，通过对训练样本中的光伏板监控图像进行包括图片缩放、翻转、旋转和随机抖动的预处理，提高了模型的泛化能力，能够帮助模型更好地学习到光伏板在不同视角下的特征，从而提高了异常检测的准确性；将预处理后的特征图像划分为若干个大小为l*l的图像块，有助于模型更细致地关注光伏板的局部特征，提高了异常检测的精度，同时通过将图像划分为多个小块，也降低了模型的计算复杂度，提高了检测效率；通过对图像块进行一次标注和二次标注得到带有标签信息的一次标注图像块和二次标注图像块，不仅明确了异常的具体位置，还为模型提供了更多的上下文信息，有助于模型更准确地识别出异常情况，同时二次标注还考虑了邻近图像块的信息，进一步提高了模型的鲁棒性和准确性。

22、优选的，所述s3包括如下步骤：

23、s31、基于深度学习法构建特征提取网络，所述特征提取网络有若干特征提取模块组成，所述特征提取模块包括线性层和自相关计算单元；

24、s32、将每个二次标记图像块的像素信息和位置信息分别进行相加得到第一特征向量；

25、s33、将所述第一特征向量输入至不同线性层进行降维运算得到各线性层对应的第二特征向量；

26、s34、基于所述不同线性层对应的第二特征向量通过自相关计算单元确定异常特征；

27、s35、基于所述异常特征对光伏板的一次标记图像块进行还原得到预测图像。

28、上述技术方案中，通过深度学习法构建的特征提取网络能够自动学习光伏板图像中的复杂特征，并有效地提取出与异常相关的关键信息；通过特征提取模块中的线性层和自相关计算单元，能够逐层深入地对图像进行特征提取和处理，使得网络能够充分捕捉到光伏板图像的细微变化，提高了异常检测的准确性；通过将二次标记图像块的像素信息和位置信息相加得到第一特征向量可以充分利用图像块的空间信息和颜色信息，为后续的特征提取和异常检测提供了更加准确的数据；通过将第一特征向量输入至不同线性层进行降维运算可以有效降低数据的维度，减少计算量，同时保留关键信息，有助于模型更好地学习和识别异常特征；通过自相关计算单元确定异常特征可以进一步挖掘出图像块之间的关联性和异常模式，提高了异常检测的准确性和可靠性；基于异常特征对光伏板的一次标记图像块进行还原得到预测图像可以实现对光伏板状态的实时预测和检测。

29、优选的，所述降维运算通过线性层的sem函数和pos函数实现；所述位置信息通过对每个图像块的相对位置信息进行编码运算得到，所述编码运算对应的编码公式如下：f(t,u)＝(t-r)×l+u-s+1；

30、式中：r与s为二次标记图像块的左上角位置信息；u为图像块的行坐标信息；t为图像块的列坐标信息；l为图像块的边长。

31、上述技术方案中，通过线性层的sem函数和pos函数实现降维运算，显著提升了数据处理效率，同时保留关键信息，使模型更好地识别异常特征；此外对图像块位置信息的编码运算，使得模型能够充分利用空间位置信息，提高异常检测的准确性。

32、优选的，所述s34包括如下步骤：

33、s341、将所述不同线性层对应的第二特征向量在对应的特征维度上进行拼接，得到拼接向量；s342、将所述拼接向量输入至线性层进行维度统一得到中间特征；

34、s343、将所述中间特征与输入特征进行相加后进行归一化运算；

35、s344、将归一化运算后的特征输入到下一自相关运算单元中进行运算得到异常特征。

36、上述技术方案中，通过将不同线性层对应的第二特征向量在对应的特征维度上进行拼接，得到拼接向量能够将不同线性层提取到的特征进行融合，充分利用各个线性层的优势，从而得到更全面的特征表示；通过将拼接向量输入至线性层进行维度统一，得到中间特征能够确保后续处理的数据维度一致，便于进行后续的特征融合和异常检测；通过将中间特征与输入特征进行相加后进行归一化运算，能够进一步强调重要特征，抑制不相关特征，使得模型更加关注与异常相关的关键信息；通过将归一化运算后的特征输入到下一自相关运算单元中进行运算，得到异常特征能够捕捉特征之间的关联性，发现异常模式，从而更准确地确定异常特征。

37、优选的，所述s35包括如下步骤：

38、s351、将异常特征通过平均值函数在所述异常特征对应维度上取平均进行一次降维；

39、s352、将经一次降维后的特征图输入至线性层进行二次降维；

40、s353、将二次降维后的特征图作为光伏板的异常判别图像。

41、上述技术方案中，通过平均值函数在异常特征对应维度上取平均进行一次降维能够有效地减少数据的复杂性，同时保留关键信息，降维后的特征更加紧凑，有助于减少后续处理的计算量，提高整体处理效率；通过将经一次降维后的特征图输入至线性层进行二次降维，能够进一步精炼特征，提取出与光伏板异常状态最为相关的特征信息，有助于模型更准确地识别异常情况，提高预测的准确性；通过将二次降维后的特征图作为光伏板的异常判别图像，将处理后的特征图转化为可视化的图像形式，使得异常状态更加直观、易于理解。

42、优选的，所述s4包括如下步骤：

43、s41、随机选择两张不同时段下预测图像进行交叉训练；

44、s42、分别基于衡量图像相似程度的gms损失函数和衡量图像质量差异的ssim损失函数对选择的预测图像进行损失计算；

45、s43、基于损失计算结果进行加权求和得到总损失值；

46、s44、基于所述总损失值更新特征提取网络的模型参数，对特征提取网络进行优化。

47、上述技术方案中，通过随机选择两张不同时段下的预测图像进行交叉训练能够使模型学习到更多不同条件下的光伏板图像特征，增强了模型的泛化能力，交叉训练方式有助于模型更好地适应各种实际情况，提高了异常检测的可靠性；采用衡量图像相似程度的gms损失函数和衡量图像质量差异的ssim损失函数对选择的预测图像进行损失计算，可以从多个角度评估预测图像与真实图像之间的差异，gms损失函数关注图像的结构相似性，而ssim损失函数则更注重图像质量的整体差异，通过综合这两种损失函数，特征提取网络能够更全面地捕捉预测图像中的异常信息，提高了异常检测的准确性；基于总损失值更新特征提取网络的模型参数，对特征提取网络进行优化能够使得模型能够根据损失反馈不断调整自身参数，逐步逼近最优解；通过不断优化特征提取网络，模型能够更准确地提取光伏板图像中的异常特征，提高了异常检测的准确性和稳定性。

48、优选的，所述s5包括如下步骤：

49、s51、将所述测试样本对应的光伏异常图像加载至特征提取网络进行前向传播获取测试特征图像；

50、s52、计算所述测试特征图像的相似度损失值并与相似度损失阈值进行比较；

51、s53、若所述相似度损失值小于或等于相似度损失阈值，则特征提取网络测试通过，执行s6；同步地，若所述相似度损失值大于相似度损失阈值，则特征提取网络测试不通过，执行s4。

52、上述技术方案中，通过将测试样本对应的光伏异常图像加载至特征提取网络进行前向传播获取测试特征图像能够实时地评估模型在未见数据上的表现，有助于发现模型可能存在的问题和不足之处；通过计算测试特征图像的相似度损失值并与相似度损失阈值进行比较可以量化地评估模型预测结果与实际异常情况的差异程度；根据相似度损失值与阈值的比较结果判断特征提取网络的测试是否通过的测试机制有助于及时发现模型的问题并进行调整，确保在实际应用中特征提取网络能够准确地提取特征。

53、优选的，所述s6包括如下步骤：

54、s61、获取光伏板图像作为检测图，选择一张所述检测图输入测试通过的特征提取网络进行一次前向传播得到复原图；

55、s62、计算每个像素块中的复原图与检测图之间的实际损失，并设定损失阈值和损失比例阈值；s63、若所述实际损失超过损失阈值的像素块比例超过损失比例阈值，则判断出现环境变化，将检测图作为背景图对背景图进行更新，基于更新后的背景图重新建立特征提取网络；

56、s64、若实际损失超过阈值的像素块比例小于比例阈值，则判断存在异常信息，对复原图与检测图之间的差值进行归一化及过滤并将异常信息输出到异常结果中；

57、s65、若未出现环境变化或异常信息，则持续更新检测图继续检测光伏板的异常信息。

58、上述技术方案中，通过获取光伏板图像作为检测图，并将其输入到测试通过的特征提取网络中进行前向传播得到复原图能够实时地对光伏板进行异常检测，使得系统具备了快速响应和实时检测的能力，有助于及时发现光伏板的异常情况；通过计算每个像素块中的复原图与检测图之间的实际损失并设定损失阈值和损失比例阈值能够量化地评估复原图与检测图之间的差异程度，通过比较实际损失与阈值的大小关系，能够准确地判断光伏板是否出现异常或环境是否发生变化；根据损失比较的结果能够做出相应的处理决策；若实际损失超过损失阈值的像素块比例超过损失比例阈值，判断出现环境变化，并更新背景图以适应新的环境条件能够使得系统具备了环境适应性，可以应对不同光照、天气等条件的变化，提高了检测的准确性；若实际损失超过阈值的像素块比例小于比例阈值，判断存在异常信息，并对复原图与检测图之间的差值进行归一化及过滤，将异常信息输出到异常结果中，有助于从大量的数据中提取出关键的异常信息，为后续的故障分析和处理提供了有力的支持；若未出现环境变化或异常信息，持续更新检测图并继续检测光伏板的异常信，使得系统能够持续运行，对光伏板进行长期的、稳定的异常检测。

59、本发明的有益效果：通过获取光伏板异常图像和监控图像，分别作为测试样本和训练样本，使模型能够更准确地识别出异常情况，并提高检测的准确性和效率。通过预处理和特征划分提取出关键特征，降低了计算复杂度，提高了泛化能力。通过深度学习法构建特征提取网络和多种损失函数加权求和，使模型适应各种复杂情况。通过测试样本对网络性能进行测试，提高了检测可靠性。通过利用交叉训练和多种损失函数综合评估预测图像，优化特征提取网络，提高了异常检测的准确性和稳定性。测试机制及时发现模型问题，保证特征提取网络准确提取特征。通过实时异常检测和环境适应性提高了系统的响应速度和检测能力，准确判断光伏板状态，提高了检测的准确性和稳定性。利用监控场景收集图像的稳定性，可以更好的对电池板运行状态进行检测；通过基于深度学习的无监督异常检测网络，无需任何额外的标注数据，可以快速对相应场景建模；通过图像预测重构机制，针对监控场景，可以节省大量设备算力，提高检测系统的检测速度。

60、上述技术实现要素：仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。