一种基于知识迁移与数据生成的光伏板碎裂检测方法与流程

本发明涉及光伏检测，具体涉及一种基于知识迁移与数据生成的光伏板碎裂检测方法。

背景技术：

1、光伏板表面裂纹会导致光伏系统发电效率降低，并引发腐蚀、灼烧等并发故障，进行光伏板碎裂状态智能识别对光伏电站发电效率和高效运维有重要意义。深度神经网络在广泛的机器学习应用中取得了许多成功。然而，这些成功是基于手动收集和标记每个特定任务的大量训练数据而获得的。由于在现实场景下很难收集到足够的光伏板碎裂的数据，因此需要从很多途径获取不同背景下的光伏板碎裂数据来弥补真实场景下光伏板碎裂样本不足的问题。由预先收集的训练数据和各种途径下载的数据的不同分布引起的分布偏移成为阻碍深度神经网络在应用中表现良好的关键障碍。

技术实现思路

1、有鉴于此，本发明提供了一种基于知识迁移与数据生成的光伏板碎裂检测方法，以解决现有技术中的对光伏板碎裂检测结果精度低的问题。

2、第一方面，本发明提供了一种基于知识迁移与数据生成的光伏板碎裂检测方法，包括：

3、将预设图像库中的光伏板图像作为源域数据集，以及将现实采集的光伏板图像作为目标域数据集，源域数据集和目标域数据集中均包括预设比例的光伏板完好图像和光伏板碎裂图像；

4、分别基于源域数据集和目标域数据集中的图像通过训练包括生成网络和识别网络的预设网络模型，得到包含源域知识的第一网络模型和包含目标域知识的第二网络模型；

5、同时利用源域数据集和目标域数据集中的图像，并与第一网络模型和第二网络模型先前学习的分布对齐来训练预设网络模型，得到包含源域样本和目标域样本统一分布的第三网络模型；

6、将第三网络模型中的生成网络移除，并在识别网络的末端增加一个分类层用于光伏板是否碎裂的检测，在训练时固定识别网络中之前训练好的参数，只对新增加的分类层中的参数训练进行知识迁移，得到训练好的网络模型作为光伏板碎裂检测网络模型；

7、将待检测的光伏图像输入光伏板碎裂检测网络模型中，得到光伏板是否碎裂的检测结果。

8、本实施例提供的基于知识迁移与数据生成的光伏板碎裂检测方法，能够从数据中尽可能多的学习知识，能够充分利用相关数据，并有效解决相关数据(源数据)和真实数据(目标数据)之间的分布差异，在采集真实现场场景数据不足的情况下，取得较好的效果。

9、在一种可选的实施方式中，预设网络模块为三维变分自动编码器3dvaenet，包括3d识别网络和3d生成网络。

10、本实施例的三维变分自动编码器3dvaenet为识别网络+生成网络的结构，生成网络能够根据识别网络输出的结果生成和输入数据差不多的数据，说明可以从数据中学习到了足够多的有用信息，相比其他网络模型在生成和检索任务重表现得更好，为下游任务提供了更多的有用信息，可以在光伏板碎裂采集真实场景数据不足的情况下，取得准确率较高的检测效果。

11、在一种可选的实施方式中，基于源域数据集中的图像通过训练包括生成网络和识别网络的预设网络模型，得到包含源域知识的第一网络模型，包括：

12、将光伏板完好图像和光伏板碎裂图像按预设比例，从源域数据集选择偶数张图像组成输入立方体xs，将输入立方体xs输入到三维变分自动编码器3dvaenet的3d识别网络中，得到3d识别网络输出y1，通过y1计算变量zs，w1是y1以及变量zs之间的权重矩阵，b1是神经元的偏差，fn为输入图像的数量，i表示第i个特征图；

13、将变量zs作为3d生成网络的输入将其通过调整形状的操作转换成和y1相同的形状的小立方体组输入是向量将其通过调整形状的操作转换成和y1相同的形状的小立方体组，是以及变量zs之间的权重矩阵,是神经元的偏差；

14、将输入到3d生成网络的主干中进行输入xs的重构得到输出的立方体维度和输入xs的维度相同；

15、通过最小化第一目标函数训练包含源域知识的网络s3dvaenet，第一目标函数为：

16、ls＝-log(p(xs|zs))+d(q(zs|xs),p(zs))

17、等式后的第一项是通过变量zs而得到的输入立方体xs的重建成本，第二项是距离函数，用来测量近似后验分布q(z|x)和变量xs的先验分布之间的差异，q和p是两个多变量高斯分布。

18、本实施例中的网络s3dvaenet通过给出从源域数据集随机采样的输入立方体xs来捕获分布以表示在变量zs上建模的源样本，从而完成对源域数据集的知识学习。

19、在一种可选的实施方式中，基于目标域数据集中的图像通过训练包括生成网络和识别网络的预设网络模型，得到包含目标域知识的第二网络模型的过程，包括：

20、将光伏板完好图像和光伏板碎裂图像按预设比例，从目标域数据集选择偶数张图像组成输入立方体xt，将输入立方体xt输入到三维变分自动编码器3dvaenet的3d识别网络中，得到3d识别网络输出y2，通过y2计算变量zt，w2是y2以及变量zt之间的权重矩阵,b2是神经元的偏差，fn为输入图像的数量，i表示第i个特征图；

21、将变量zt作为3d生成网络的输入将其通过调整形状的操作转换成和y2相同的形状的小立方体组输入是向量将其通过调整形状的操作转换成和y2相同的形状的小立方体组。是以及变量zt之间的权重矩阵,是神经元的偏差；

22、将输入到3d生成网络的主干中进行输入xt的重构得到输出的立方体维度和输入xt的维度相同；

23、通过最小化第二目标函数训练包含目标域知识的网络t3dvaenet，第二目标函数为：

24、lt＝-log(p(xt|zt))+d(q(zt|xt),p(zt))，

25、等式后的第一项是通过变量zt而得到的输入立方体xt的重建成本，第二项是距离函数，用来测量近似后验分布q(z|x)和变量xt的先验分布之间的差异，q和p是两个多变量高斯分布。

26、本实施例的网络t3dvaenet通过给出从目标域数据集随机采样的输入立方体xt来捕获分布以表示在变量zt上建模的目标样本，从而完成对目标域数据集的知识学习。

27、在一种可选的实施方式中，从源域数据集选择偶数张图像组成输入立方体xs和从目标域数据集选择偶数张图像组成输入立方体xt的过程均包括：

28、从光伏图像数据中提取预设数量的图像块，通过平移、旋转、缩放和弹性变形来变形每个图像块，将变形后的图像块打乱形成噪声；

29、将预设偶张图像进行尺寸大小归一化并将其叠加在一起输入立方体，并添加噪声到立方体的随机位置。

30、为了更好的模拟真实场景，将噪声注入3d vae的输入立方体中，利用背景数据生成噪声来模拟杂乱的背景，向输入立方体x加入一些噪声以防止过度拟合。

31、在一种可选的实施方式中，同时利用源域数据集和目标域数据集中的图像训练三维变分自动编码器3dvaenet，得到包含源样本和目标样本的统一分布的网络st3dvaenet的过程，包括：

32、从源域数据集选择预设张数图像，从目标域数据集选择预设张数图像组合在一起形成输入立方体xst，通过引入两个新的正则项来将网络st3dvaenet分布与两个先前学习的分布对齐，st3dvaenet的目标函数lst定义为：

33、lst＝-log(p(xst|zst))+d(q(zst|xst),p(zst))+λ·dst

34、λ为比例因子，用于测量与重建相比的分布对齐的重要性且随着训练迭代逐渐增加，dst是两个正则项的和：

35、dst＝d(q(zst|xst),q(zs|xst))+d(q(zst|xst),q(zt|xst))

36、在一种可选的实施方式中，两个正则项为基于网络st3dvaenet和包含源域知识的网络s3dvaenet之间的分布差以及网络st3dvaenet和包含目标域知识的网络t3dvaenet之间分布差，网络st3dvaenet的输入立方体xst由来自源域数据集和目标域数据集的随机样本组成，并且分布是基于变量zst建模的。

37、本发明实施例通过引入域自适应方法来缓解源域和目标域之间的分布差异，更准确地掌握跨领域的知识转移，并在特征空间中获得更好的对齐。

38、第二方面，本发明提供了一种基于知识迁移与数据生成的光伏板碎裂检测装置，装置包括：

39、数据集构建模块，用于将预设图像库中的光伏板图像作为源域数据集，以及将现实采集的光伏板图像作为目标域数据集，源域数据集和目标域数据集中均包括预设比例的光伏板完好图像和光伏板碎裂图像；

40、模型训练模块，用于分别基于源域数据集和目标域数据集中的图像通过训练包括生成网络和识别网络的预设网络模型，得到包含源域知识的第一网络模型和包含目标域知识的第二网络模型；

41、第一知识迁移模块，用于同时利用源域数据集和目标域数据集中的图像，并与第一网络模型和第二网络模型先前学习的分布对齐来训练预设网络模型，得到包含源域样本和目标域样本统一分布的第三网络模型；

42、第二知识迁移模块，用于将第三网络模型中的生成网络移除，并在识别网络的末端增加一个分类层用于光伏板是否碎裂的检测，在训练时固定识别网络中之前训练好的参数，只对新增加的分类层中的参数训练进行知识迁移，得到训练好的网络模型作为光伏板碎裂检测网络模型；

43、光伏板碎裂检测模块，用于将待检测的光伏图像输入光伏板碎裂检测网络模型中，得到光伏板是否碎裂的检测结果。

44、在一种可选的实施方式中，模型训练模块包括：源域知识模型训练单元，用于将光伏板完好图像和光伏板碎裂图像按预设比例，从源域数据集选择偶数张图像组成输入立方体xs，将输入立方体xs输入到三维变分自动编码器3dvaenet的3d识别网络中，得到3d识别网络输出y1，通过y1计算变量zs，w1是y1以及变量zs之间的权重矩阵，b1是神经元的偏差，fn为输入图像的数量，i表示第i个特征图；

45、将变量zs作为3d生成网络的输入将其通过调整形状的操作转换成和y1相同的形状的小立方体组输入是向量将其通过调整形状的操作转换成和y1相同的形状的小立方体组，是以及变量zs之间的权重矩阵,是神经元的偏差；

46、将输入到3d生成网络的主干中进行输入xs的重构得到输出的立方体维度和输入xs的维度相同；

47、通过最小化第一目标函数训练包含源域知识的网络s3dvaenet，第一目标函数为：

48、lt＝-log(p(xt|zt))+d(q(zt|xt),p(zt))，

49、等式后的第一项是通过变量zs而得到的输入立方体xs的重建成本，第二项是距离函数，用来测量近似后验分布q(z|x)和变量xs的先验分布之间的差异，q和p是两个多变量高斯分布。

50、在一种可选的实施方式中，模型训练模块包括：目标域知识模型训练单元，用于将光伏板完好图像和光伏板碎裂图像按预设比例，从目标域数据集选择偶数张图像组成输入立方体xt，将输入立方体xt输入到三维变分自动编码器3dvaenet的3d识别网络中，得到3d识别网络输出y2，通过y2计算变量zt，w2是y2以及变量zt之间的权重矩阵,b2是神经元的偏差，fn为输入图像的数量，i表示第i个特征图；

51、将变量zt作为3d生成网络的输入将其通过调整形状的操作转换成和y2相同的形状的小立方体组输入是向量将其通过调整形状的操作转换成和y2相同的形状的小立方体组，是以及变量zt之间的权重矩阵,是神经元的偏差；

52、将输入到3d生成网络的主干中进行输入xt的重构得到输出的立方体维度和输入xt的维度相同；

53、通过最小化第二目标函数训练包含目标域知识的网络t3dvaenet，第二目标函数为：

54、lt＝-log(p(xt|zt))+d(q(zt|xt),p(zt))，

55、等式后的第一项是通过变量zt而得到的输入立方体xt的重建成本，第二项是距离函数，用来测量近似后验分布q(z|x)和变量xt的先验分布之间的差异，q和p是两个多变量高斯分布。

56、在一种可选的实施方式中，模型训练模块包括：噪声添入单元，用于从光伏图像数据中提取预设数量的图像块，通过平移、旋转、缩放和弹性变形来变形每个图像块，将变形后的图像块打乱形成噪声；

57、将预设偶张图像进行尺寸大小归一化并将其叠加在一起输入立方体，并添加噪声到立方体的随机位置。

58、在一种可选的实施方式中，第一知识迁移模块包括：

59、数据集获取单元，用于从源域数据集选择预设张数图像，从目标域数据集选择预设张数图像组合在一起形成输入立方体xst；

60、迁移模型训练单元，用于通过引入两个正则项来将网络st3dvaenet分布与两个先前学习的分布对齐，st3dvaenet的目标函数lst定义为：

61、lst＝-log(p(xst|zst))+d(q(zst|xst),p(zst))+λ·dst

62、λ为比例因子，用于测量与重建相比的分布对齐的重要性且随着训练迭代逐渐增加，dst是两个正则项的和：

63、dst＝d(q(zst|xst),q(zs|xst))+d(q(zst|xst),q(zt|xst))。

64、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的基于知识迁移与数据生成的光伏板碎裂检测方法。

65、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于知识迁移与数据生成的光伏板碎裂检测方法。

66、第五方面，本发明提供了一种计算机程序产品，包括计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于知识迁移与数据生成的光伏板碎裂检测方法。