一种双光融合的目标检测分割方法

本发明涉及计算机视觉算法，具体为一种双光融合的目标检测分割方法。传统的电力设备故障检测通常需要消耗大量的人力和物力，因为往往需要人工参与。随着人工智能技术的发展，相关计算机视觉的自动电力设备故障检测算法开始发展。传统的自动故障检测方法主要采用红外光单模态完成电力设备的目标检测，然后通过基于温度的故障检测方法来判断是否出现故障。由于红外光成像相对模糊，分辨率较低，这往往会导致红外光目标检测的准确率受到限制，从而影响整个故障检测系统的性能。为此我们提出一种双光融合的目标检测分割方法用于解决上述问题。

背景技术：

技术实现思路

1、本发明的目的在于提供一种双光融合的目标检测分割方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种双光融合的目标检测分割方法，包括以下步骤：

3、s1：通过探测装置相机拍摄，采集设备的红外图像和可见光图像；

4、s2：基于sift和pso算法完成对可见光与红外图的配准对齐，将对齐后的数据输入到mask rcnn检测分割模型中；

5、s3: 将双模态数据输入训练好的模型，并在roi-head层中进行

6、特征提取与融合并最终完成预测, 具体为：

7、s3.1：将红外图和可见光图像分别输入到训练完成的对应模态的骨干网络中、并提取特征；

8、s3.2：将两个模态拼接的特征输入到全连接层/1*1 卷积层中提取融合特征，将融合特征的维数降至与单模态特征相同；

9、s3.3将温度图模态特征、可见光模态特征与s4.2中的融合特征拼接，得到既包含单个模态特征原本信息又包含融合信息的融合特征。

10、s3.4：将融合后的特征输入到推荐候选框生成、推荐候选框分类以及分割预测模块中，完成对双光数据的电力设备图像实例分割；

11、优选的，所述可见光和红外图像，使用sift算法提取特征点，并通过粒子群优化算法对两个图像的特征点进行匹配，完成双光图像的对齐配准；

12、优选的，所述可见光与温度图双模态图像采用巡检机器人的可见光与温度图双摄像头拍摄。

13、优选的，所述s3中使用roi align对各个所述训练图像的所述更新候选区域框进行特征提取。

14、与现有技术相比，本发明的有益效果是：本发明中双光融合的目标检测分割方法，通过综合利用可见光图像的高清晰度和温度图像的温度特性这两种互补信息，实现更加准确的实例分割。该方法能够更精确地识别出场景中的电力设备，并基于此进行基于温度分析的故障检测。相比于传统方法，该方法在自动故障检测阶段的准确率得到了提升，从而提高了最终检测结果的置信度。

技术特征：

1.一种双光融合的目标检测分割方法，其特征在于，具体包括如下包括以下步骤：

2.根据权利要求1所述，一种双光融合的目标检测分割方法，其特征在于：

3.根据权利要求1所述，一种双光融合的目标检测分割方法，其特征在于：

技术总结本发明涉及一种双光融合的目标检测分割方法。其方法包括以下步骤，利用双通道采集目标配电设备的红外图像和可见光图像；基于SIFT和PSO算法完成对可见光与红外图的配准对齐，将对齐后的数据输入到Mask RCNN检测分割模型中；利用两个独立的backbone提取可见光模态与温度图模态的特征；根据FPN特征层融合中的结果，设置RPN只利用可见光模态生成推荐候选框；分别将输出的特征中推荐候选框的对应部分输入到检测与分割的ROI‑head中并继续提取特征；将两个模态在ROI‑head中提取出的特征进行融合并完成预测。使用可见光和红外图像融合的目标检测分割方法，相比于可见光或温度图单模态检测分割的准确率提升，能够有效的提高目标检测分割的精度。技术研发人员：蒋志哲,林雨欣,张宇华受保护的技术使用者：上海电力大学技术研发日：技术公布日：2024/9/12