一种基于融合图像的光伏组件热斑检测方法及系统与流程

技术特征：
1.一种基于融合图像的光伏组件热斑检测方法，其特征在于，包括：步骤s1：采集同一场景下光伏组件的可见光图像和红外图像；步骤s2：对步骤s1中采集的可见光图像和红外图像进行预处理，得到可见光边缘图像和红外边缘图像；步骤s3：将步骤s2中得到的可见光边缘图像和红外边缘图像进行配准与融合得到融合图像f；步骤s4：对步骤s3得到的融合图像f的热斑区域进行标注，并将标注的融合图像f按预设比例创建训练集和验证集；步骤s5：基于pytorch框架搭建改进yolox模型，其中yolox的版本为yolox-s，所述改进yolox模型由输入端、backbone、neck及prediction四部分组成；在backbone及neck中的csp2_x模块的末端添加non-localattention模块；步骤s6：通过mosaic算法和mixup算法对步骤s4创建的训练集和验证集进行数据增强；步骤s7：采用步骤s6中数据增强的训练集和验证集对步骤s5搭建的所述改进yolox模型进行训练，获得训练好的模型权重，并将训练好的模型权重加载在所述改进yolox模型中，得到光伏组件热斑检测模型；步骤s8：利用步骤s7得到的光伏组件热斑检测模型对光伏组件的融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标示。2.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤s2包括以下步骤：步骤s21：通过msrcr算法对可见光图像进行图像增强；所述msrcr算法的数学表达式为：其中，c
k
(x，y)为色彩恢复因子，x，y为可见光图像和红外图像中的像素点坐标，ω
k
表示第k个中心环绕函数的权重系数，i(x，y)表示待处理的可见光图像，g
k
(x，y)表示第k个高斯中心环绕函数，*表示卷积运算符；所述c
k
(x，y)的表达式为：其中，μ为影响图像色彩恢复的增益因子，η为影响图像色彩恢复的偏移量；所述g
k
(x，y)的表达式为：其中，g
k
(x，y)满足∫∫g
k
(x，y)dxdy＝1，σ为尺度参数；步骤s22：分别对红外图像和步骤s21处理后的可见光图像进行高斯滤波、灰度化及canny边缘提取，得到红外边缘图像和可见光边缘图像。3.根据权利要求2所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所
述步骤s22中的高斯滤波可替换为中值滤波。4.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤s3包括以下步骤：步骤s31：通过asift算法，提取红外边缘图像和可见光边缘图像中的特征点；步骤s32：通过flann算法对步骤s31提取的红外边缘图像特征点及可见光边缘图像特征点进行配准，再通过ransac算法剔除可见光图像与红外图像的误匹配点，得到l对匹配点对；步骤s33：确定可见光图像和红外图像间的投影变换矩阵p；步骤s34：通过步骤s33得到的可见光图像和红外图像间的投影变换矩阵p，将经过投影变换矩阵变换后的可见光图像和红外图像在几何位置上进行对齐，并按照相同权重进行加权融合得到融合图像f。5.根据权利要求4所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤s31中的asift算法可替换为sift算法。6.根据权利要求4所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤s33中确定可见光图像和红外图像间的投影变换矩阵p的步骤为：步骤a：设初始最佳内点数量n
i
＝0，从l对匹配点对中随机抽选4对任意三点不共面的匹配点对作为初始匹配点对，通过4对初始匹配点对计算两平面的投影变换矩阵p，p的计算公式如下：或表示为a
′
＝pa；步骤b：计算剩余l-4个特征点经过投影变换矩阵后与其匹配点的距离d，若d小于阈值t，则该特征点为内点，否则为外点；若内点数量大于n
i
，则p为当前最佳投影变换矩阵，更新n
i
值；步骤c：保持步骤b中更新的ni不变，经过若干次计算，选择内点最多且误差函数最小的变换矩阵作为可见光图像和红外图像间的投影变换矩阵p；所述误差函数公式如下：其中i为匹配点对数量，d为距离。7.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤s4中的预设比例为4∶1。8.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤s6中的mosaic算法采用了四张图片随机缩放、随机裁剪、随机排布的方式进行拼接实现数据增强；所述步骤s6中的mixup算法采用将训练集中随机的两张图片按比例混合，分类的结果按比例分配的方法实现数据增强。9.根据权利要求1所述的一种基于融合图像的光伏组件热斑检测方法，其特征在于，所述步骤s7中对所述改进yolox模型进行训练的方法为：(1)向改进yolox模型中输入训练集和验证集，并通过mosaic算法和mixup算法对训练集和验证集进行数据增强；(2)通过迭代
训练的方式，使得计算损失最小；(3)在验证集上对准确率进行评估；(4)通过迭代的方式得到符合输入的数据集的模型权重的参数，即符合输入数据分布的模型。10.一种基于融合图像的光伏组件热斑检测系统，其特征在于，包括以下模块：图像采集模块，用于采集同一场景下的光伏组件的可见光图像和红外图像；图像预处理模块，用于对原始可见光图像和红外图像进行高斯滤波、灰度化及canny边缘提取，得到可见光边缘图像和红外边缘图像；图像融合模块，用于对可见光边缘图像和红外边缘图像进行配准、融合，得到可见光图像和红外图像的融合图像；数据集划分模块，用于对融合图像的热斑区域进行标注后按预设比例创建训练集和验证集；yolox模型改进模块，用于构建改进yolox模型，其中yolox的版本为yolox-s，所述改进yolox模型由输入端、backbone、neck及prediction四部分组成；在backbone及neck中的csp2_x模块的末端添加non-localattention模块；改进yolox模型训练模块，对创建的训练集和验证集进行数据增强，使用数据增强的所述训练集对改进yolox模型进行训练以及使用数据增强的所述验证集对改进yolox模型进行测试，获得训练好的模型权重，并将训练好的模型权重加载在所述改进yolox模型中，得到光伏组件热斑检测模型；光伏组件热斑检测模块，用于对光伏组件融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标注。

技术总结
本发明公开了一种基于融合图像的光伏组件热斑检测方法及系统，包括以下步骤：S1：采集光伏组件的可见光图像和红外图像；S2：对图像进行预处理；S3：将S2得到的图像进行配准与融合得到融合图像F；S4：对融合图像F的热斑区域进行标注，并创建训练集和验证集；S5：搭建改进YOLOX模型；S6：对训练集和验证集进行数据增强；S7：对改进YOLOX模型进行训练，获得训练好的模型权重并加载在改进YOLOX模型中，得到光伏组件热斑检测模型；S8：对光伏组件进行热斑检测。优点在于：将可见光图像和红外图像进行融合，实现可见光图像和红外图像的优势互补；通过改进YOLOX模型实现光伏组件的热斑缺陷检测，可保证检测精度，对硬件设备的需求较低，具有较强的应用价值。有较强的应用价值。有较强的应用价值。


技术研发人员：李东挥 马亮 王尚军
受保护的技术使用者：大唐（赤峰）新能源有限公司
技术研发日：2022.09.02
技术公布日：2022/11/29