一种基于融合图像的光伏组件热斑检测方法及系统与流程

：
1.本发明属于深度学习和工业缺陷检测技术领域，具体涉及一种基于可见光和红外融合图像的光伏组件热斑检测方法及系统。


背景技术：

2.随着光伏产业的快速发展，光伏系统的安全稳定运行受到严峻挑战。由于光伏电站所处自然环境恶劣，光伏发电组件容易受到异物遮挡，产生热斑效应，影响光伏组件的发电效率，严重时可能会发生火灾，对光伏电站的稳定运行构成了巨大威胁。为了减少热斑效应对光伏电站的影响，光伏电站运维人员必须定期利用红外成像设备或测温仪对光伏电站中的光伏组件逐一检测，检测难度大且检测效率及精度均较低。
3.随着无人机技术的发展，光伏产业开始尝试利用无人机进行光伏设备的巡检，在提高数据收集效率上展现出显著的优势，也为光伏电站运维的智能化奠定了基础。无人机收集的数据主要有可见光图像和红外图像。可见光图像和红外图像在光伏组件热斑检测方面各有优劣，例如，可见光图像具有更高的空间分辨率，可以提供丰富清晰的外观信息，有利于场景和目标的识别，但可见光图像对温度差异的识别敏感度不高；红外图像中，当目标物体温度与背景温度具有明显差异时，在所成图像中会表现出显著区别，因此，红外图像对凸显光伏热斑缺陷具有独特的优势，但红外图像易受环境因素的影响，如阳光反射等，显示出错误的热斑。
4.与此同时，基于深度学习图像处理的光伏组件热斑缺陷的自动检测算法也得到了广泛研究，但现有算法普遍存在检测精度不足、对硬件要求较高的弊端，无法满足工程应用的需求。
5.因此，亟需提出一种可融合可见光图像和红外图像优势且检测精度高、对硬件要求低的光伏组件热斑检测方法。


技术实现要素：

6.本发明的第一个目的在于提供一种基于融合图像的光伏组件热斑检测方法。
7.本发明的第二个目的在于提供一种基于融合图像的光伏组件热斑检测系统。
8.本发明由如下技术方案实施：一种基于融合图像的光伏组件热斑检测方法，包括：
9.步骤s1：采集同一场景下光伏组件的可见光图像和红外图像；
10.步骤s2：对步骤s1中采集的可见光图像和红外图像进行预处理，得到可见光边缘图像和红外边缘图像；
11.步骤s3：将步骤s2中得到的可见光边缘图像和红外边缘图像进行配准与融合得到融合图像f；
12.步骤s4：对步骤s3得到的融合图像f的热斑区域进行标注，并将标注的融合图像f按预设比例创建训练集和验证集；
13.步骤s5：基于pytorch框架搭建改进yolox模型，其中yolox的版本为yolox-s，所述
改进yolox模型由输入端、backbone、neck及prediction四部分组成；在backbone及neck中的csp2_x模块的末端添加non-localattention模块；
14.步骤s6：通过mosaic算法和mixup算法对步骤s4创建的训练集和验证集进行数据增强；
15.步骤s7：采用步骤s6中数据增强的训练集和验证集对步骤s5搭建的所述改进yolox模型进行训练，获得训练好的模型权重，并将训练好的模型权重加载在所述改进yolox模型中，得到光伏组件热斑检测模型；
16.步骤s8：利用步骤s7得到的光伏组件热斑检测模型对光伏组件的融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标示。
17.优选的，所述步骤s2包括以下步骤：
18.步骤s21：通过msrcr算法对可见光图像进行图像增强；所述msrcr算法的数学表达式为：
[0019][0020]
其中，ck(x，y)为色彩恢复因子，x，y为可见光图像和红外图像中的像素点坐标，ωk表示第k个中心环绕函数的权重系数，i(x，y)表示待处理的可见光图像，gk(x，y)表示第k个高斯中心环绕函数，*表示卷积运算符；
[0021]
所述ck(x，y)的表达式为：
[0022][0023]
其中，μ为影响图像色彩恢复的增益因子，η为影响图像色彩恢复的偏移量；
[0024]
所述gk(x，y)的表达式为：
[0025][0026]
其中，gk(x，y)满足∫∫gk(x，y)dxdy＝1，σ为尺度参数；
[0027]
步骤s22：分别对红外图像和步骤s21处理后的可见光图像进行高斯滤波、灰度化及canny边缘提取，得到红外边缘图像和可见光边缘图像。
[0028]
优选的，所述步骤s22中的高斯滤波可替换为中值滤波。
[0029]
优选的，所述步骤s3包括以下步骤：
[0030]
步骤s31：通过asift算法，提取红外边缘图像和可见光边缘图像中的特征点；
[0031]
步骤s32：通过flann算法对步骤s31提取的红外边缘图像特征点及可见光边缘图像特征点进行配准，再通过ransac算法剔除可见光图像与红外图像的误匹配点，得到l对匹配点对；
[0032]
步骤s33：确定可见光图像和红外图像间的投影变换矩阵p；
[0033]
步骤s34：通过步骤s33得到的可见光图像和红外图像间的投影变换矩阵p，将经过投影变换矩阵变换后的可见光图像和红外图像在几何位置上进行对齐，并按照相同权重进行加权融合得到融合图像f。
[0034]
优选的，所述步骤s31中的asift算法可替换为sift算法。
[0035]
优选的，所述步骤s33中确定可见光图像和红外图像间的投影变换矩阵p的步骤为：
[0036]
步骤a：设初始最佳内点数量ni＝0，从l对匹配点对中随机抽选4对任意三点不共面的匹配点对作为初始匹配点对，通过4对初始匹配点对计算两平面的投影变换矩阵p，p的计算公式如下：
[0037]
或表示为a
′
＝pa；
[0038]
步骤b：计算剩余l-4个特征点经过投影变换矩阵后与其匹配点的距离d，若d小于阈值t，则该特征点为内点，否则为外点；若内点数量大于ni，则p为当前最佳投影变换矩阵，更新ni值；
[0039]
步骤c：保持步骤b中更新的ni不变，经过若干次计算，选择内点最多且误差函数最小的变换矩阵作为可见光图像和红外图像间的投影变换矩阵p；
[0040]
所述误差函数公式如下：
[0041][0042]
其中i为匹配点对数量，d为距离。
[0043]
优选的，所述步骤s4中的预设比例为4：1。
[0044]
优选的，所述步骤s6中的mosaic算法采用了四张图片随机缩放、随机裁剪、随机排布的方式进行拼接实现数据增强；所述步骤s6中的mixup算法采用将训练集中随机的两张图片按比例混合，分类的结果按比例分配的方法实现数据增强。
[0045]
优选的，所述步骤s7中对所述改进yolox模型进行训练的方法为：(1)向改进yolox模型中输入训练集和验证集，并通过mosaic算法和mixup算法对训练集和验证集进行数据增强；(2)通过迭代训练的方式，使得计算损失最小；(3)在验证集上对准确率进行评估；(4)通过迭代的方式得到符合输入的数据集的模型权重的参数，即符合输入数据分布的模型。
[0046]
一种基于融合图像的光伏组件热斑检测系统，包括以下模块：
[0047]
图像采集模块，用于采集同一场景下的光伏组件的可见光图像和红外图像；
[0048]
图像预处理模块，用于对原始可见光图像和红外图像进行高斯滤波、灰度化及canny边缘提取，得到可见光边缘图像和红外边缘图像；
[0049]
图像融合模块，用于对可见光边缘图像和红外边缘图像进行配准、融合，得到可见光图像和红外图像的融合图像；
[0050]
数据集划分模块，用于对融合图像的热斑区域进行标注后按预设比例创建训练集和验证集；
[0051]
yolox模型改进模块，用于构建改进yolox模型，其中yolox的版本为yolox-s，所述改进yolox模型由输入端、backbone、neck及prediction四部分组成；在backbone及neck中的csp2_x模块的末端添加non-localattention模块；
[0052]
改进yolox模型训练模块，对创建的训练集和验证集进行数据增强，使用数据增强的所述训练集对改进yolox模型进行训练以及使用数据增强的所述验证集对改进yolox模型进行测试，获得训练好的模型权重，并将训练好的模型权重加载在所述改进yolox模型
中，得到光伏组件热斑检测模型；
[0053]
光伏组件热斑检测模块，用于对光伏组件融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标注。
[0054]
本发明的优点：1、通过将msrcr算法对可见光图像进行增强处理，使得复杂航拍背景下的光伏组件图像更加突出；2、通过asift算法和ransac算法对可见光图像和红外图像进行特征点匹配后再将可见光图像和红外图像进行融合，可实现可见光图像和红外图像的信息最大化保留，实现了可见光图像易于识别目标与红外图像易于凸显光伏热缺陷的优势互补；3、通过基于深度学习的改进yolox模型实现光伏组件的热斑缺陷检测，既可保证检测精度，同时，yolox模型的参数较少，易部署到边缘设备，对硬件设备的需求较低，具有较强的应用价值。
附图说明：
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1为实施例1中一种基于融合图像的光伏组件热斑检测方法的流程框图；
[0057]
图2为实施例1中引入non-localattention模块的改进yolox模型的结构示意图；
[0058]
图3为实施例1中一种基于融合图像的光伏组件热斑检测方法的整体流程图；
[0059]
图4为实施例2中一种基于融合图像的光伏组件热斑检测系统的结构示意图。
具体实施方式：
[0060]
以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0061]
实施例1：
[0062]
如图1所示，一种基于融合图像的光伏组件热斑检测方法，包括：
[0063]
步骤s1：通过搭载双光摄像头的无人机采集同一场景下光伏组件的可见光图像和红外图像；
[0064]
步骤s2：对步骤s1中采集的可见光图像和红外图像进行预处理，得到可见光边缘图像和红外边缘图像；
[0065]
步骤s3：将步骤s2中得到的可见光边缘图像和红外边缘图像进行配准与融合得到融合图像f；
[0066]
步骤s4：对步骤s3得到的融合图像f的热斑区域进行标注，并将标注的融合图像f按预设比例4：1创建训练集和验证集；
[0067]
步骤s5：基于pytorch框架搭建改进yolox模型，其中yolox的版本为yolox-s，所述改进yolox模型由输入端、backbone、neck及prediction四部分组成，其中输入端用于输入数据，并进行数据增强，backbone用于对输入的数据进行特征提取，neck用于对提取特征进行数据融合，prediction为输出层，对图片中的目标进行预测；在backbone及neck中的csp2_x模块的末端添加non-localattention模块，以捕获特征图的远程依赖关系，增强改
进yolox模型的上下文建模能力，改善原有模型精度不够的问题，使得改进后的yolox模型能够更精确的检测出光伏热斑缺陷；
[0068]
步骤s6：通过mosaic算法和mixup算法对步骤s4创建的训练集和验证集进行数据增强，以提高模型的泛化能力，提升模型的鲁棒性；
[0069]
步骤s7：采用步骤s6中数据增强的训练集和验证集对步骤s5搭建的所述改进yolox模型进行训练，获得训练好的模型权重，并将训练好的模型权重加载在所述改进yolox模型中，得到光伏组件热斑检测模型；
[0070]
步骤s8：利用步骤s7得到的光伏组件热斑检测模型对光伏组件的融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标示。
[0071]
在同一实施例中，步骤s2包括以下步骤：
[0072]
步骤s21：通过msrcr算法对可见光图像进行图像增强，以突出复杂背景下的光伏组件。不同于传统的线性、非线性的只能增强图像某一类特征的方法，msrcr算法可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行自适应的增强。
[0073]
msrcr算法的数学表达式为：
[0074][0075]
其中，ck(x,y)为色彩恢复因子，x，y为可见光图像和红外图像中的像素点坐标，ωk表示第k个中心环绕函数的权重系数，i(x，y)表示待处理的可见光图像，gk(x，y)表示第k个高斯中心环绕函数，*表示卷积运符。
[0076]ck
(x，y)的表达式为：
[0077][0078]
其中，μ为影响图像色彩恢复的增益因子，η为影响图像色彩恢复的偏移量。
[0079]gk
(x，y)的表达式为：
[0080][0081]
其中，gk(x，y)满足∫∫gk(x，y)dxdy＝1，σ为尺度参数。
[0082]
步骤s22：分别对红外图像和步骤s21处理后的可见光图像进行高斯滤波、灰度化及canny边缘提取，得到红外边缘图像和可见光边缘图像；通过高斯滤波，可消除可见光图像和红外图像中的高斯噪声。
[0083]
在同一实施例中，步骤s3包括以下步骤：
[0084]
步骤s31：通过asift算法，提取红外边缘图像和可见光边缘图像中的特征点；特征点为可见光图像和红外图像中较为突出或显著的目标，例如直线的交点、边缘、轮廓、角点等。
[0085]
步骤s32：通过flann算法对步骤s31提取的红外边缘图像特征点及可见光边缘图像特征点进行配准，再通过ransac算法剔除可见光图像与红外图像的误匹配点，得到l对匹
配点对；
[0086]
步骤s33：确定可见光图像和红外图像间的投影变换矩阵p，具体步骤为：
[0087]
步骤a：设初始最佳内点数量ni＝0，从l对匹配点对中随机抽选4对任意三点不共面的匹配点对作为初始匹配点对，通过4对初始匹配点对计算两平面的投影变换矩阵p，p的计算公式如下：
[0088]
或表示为a
′
＝pa；
[0089]
步骤b：计算剩余l-4个特征点经过投影变换矩阵后与其匹配点的距离d，若d小于阈值t，则该特征点为内点，否则为外点；若内点数量大于ni，则p为当前最佳投影变换矩阵，更新ni值；
[0090]
步骤c：保持步骤b中更新的ni不变，经过若干次计算，选择内点最多且误差函数最小的变换矩阵作为可见光图像和红外图像间的投影变换矩阵p；
[0091]
误差函数公式如下：
[0092][0093]
其中i为匹配点对数量，d为距离。
[0094]
步骤s34：通过步骤s33得到的可见光图像和红外图像间的投影变换矩阵p，将经过投影变换矩阵变换后的可见光图像和红外图像在几何位置上进行对齐，并按照相同权重进行加权融合得到融合图像p，公式如下：
[0095][0096]
其中，i
rgb
为经过投影变换矩阵变换后的可见光图像，i
t
为对应的红外图像，为加权操作。
[0097]
在同一实施例中，步骤s6中的mosaic算法采用了四张图片随机缩放、随机裁剪、随机排布的方式进行拼接实现数据增强；mixup算法采用将训练集中随机的两张图片按比例混合，分类的结果按比例分配的方法实现数据增强。
[0098]
在同一实施例中，步骤s7中对改进yolox模型进行训练的方法为：(1)向改进yolox模型中输入训练集和验证集，并通过mosaic算法和mixup算法对训练集和验证集进行数据增强；(2)通过迭代训练的方式，使得计算损失最小；(3)在验证集上对准确率进行评估；(4)通过迭代的方式得到符合输入的数据集的模型权重的参数，即符合输入数据分布的模型；模型权重的参数用于确定矩形框的位置。
[0099]
实施例2：
[0100]
如图所示，一种基于融合图像的光伏组件热斑检测系统，包括以下模块：
[0101]
图像采集模块91，用于采集同一场景下的光伏组件的可见光图像和红外图像；
[0102]
图像预处理模块92，用于对原始可见光图像和红外图像进行高斯滤波、灰度化及canny边缘提取，得到可见光边缘图像和红外边缘图像；
[0103]
图像融合模块93，用于对可见光边缘图像和红外边缘图像进行配准、融合，得到可见光图像和红外图像的融合图像；
[0104]
数据集划分模块94，用于对融合图像的热斑区域进行标注后按预设比例创建训练集和验证集；
[0105]
yolox模型改进模块95，用于构建改进yolox模型，其中yolox的版本为yolox-s，所述改进yolox模型由输入端、backbone、neck及prediction四部分组成；在backbone及neck中的csp2_x模块的末端添加non-localattention模块；
[0106]
改进yolox模型训练模块96，对创建的训练集和验证集进行数据增强，使用数据增强的所述训练集对改进yolox模型进行训练以及使用数据增强的所述验证集对改进yolox模型进行测试，获得训练好的模型权重，并将训练好的模型权重加载在所述改进yolox模型中，得到光伏组件热斑检测模型；
[0107]
光伏组件热斑检测模块97，用于对光伏组件融合图像进行热斑检测，并将检测到热斑缺陷的位置用矩形框进行标注。
[0108]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。