基于相似度融合注意力机制的雾霾场景目标检测方法

本发明属于计算机视觉目标检测领域，尤其涉及一种基于相似度融合注意力机制的雾霾场景目标检测方法。

背景技术：

1、目标检测是计算机视觉众多任务分支中的一个热点研究方向，同时也是大量高级视觉任务的必备前提，结合了图像处理、统计学习等多个学科原理。其主要目的是，在复杂的图像背景中寻找感兴趣的目标，利用矩形边界框，准确高效地将其位置和大小标定出来，并且判断出该目标所属的类别。现有的目标检测研究绝大多数是针对简单干净环境下的目标，这样的目标检测模型虽然在已有的目标检测数据集上取得比较良好的效果，但是真正应用于真实场景时，由于存在烟、雾、霾等复杂天气的干扰，往往效果不佳。

2、专门用于雾霾场景下目标检测的数据集由于获取难度较大，不仅数量少，而且包含的类别少规模也小，无法将模型训练出较好的效果。为增广数据集，传统的做法是基于大气散射模型为常规目标检测数据集人工加雾，但由于无法准确获得单目视觉下的深度信息，人工加雾与自然产生的雾气在作用效果上不同，导致训练后的模型无法很好地适应真实的有雾场景。

3、传统的雾霾场景目标检测方法，或采用去雾-检测两阶段的方法，先将原始图像做去雾处理，再将去雾后的图像输入检测算法中；或采用迁移学习的方法学习无雾与有雾图像之间的领域不变性，使算法能直接对有雾图像做目标检测。两种做法本质上都是试图克服雾霾这一退化机制对图像的影响，前者试图将图像恢复到无雾时的状态，以减小雾气的影响；后者试图令算法在有雾和无雾的情况下提取到的特征尽可能相同，来忽略雾气的影响。但二者都存在着局限性。去雾的过程可能给图像带来伪影、颜色失真、雾的残留，给检测过程带来新的干扰因素，因此并非所有使用去雾算法的图像都会提升检测精度；而迁移学习不稳定性，导致出现训练困难、收敛困难和准确度低的问题。

技术实现思路

1、本发明的目的在于解决现有技术中存在的问题，并提供一种基于相似度融合注意力机制的雾霾场景目标检测方法。主要内容是提出一种基于人工加雾预训练和真实有雾场景下微调的训练方法，旨在通过预训练与微调的方法解决人工加雾的方法无法很好地适应真实有雾场景的问题；并提出一种相似度融合注意力机制，旨在通过相似特征加权融合的方法减小雾霾退化对预测置信度降低的作用，进而增加预测准确度。

2、为了实现上述发明目的，本发明具体采用如下技术方案：

3、一种基于相似度融合注意力机制的雾霾场景目标检测方法，包括：

4、s1、获取用于目标检测的预训练数据集和真实雾霾场景下用于目标检测的微调数据集，对预训练数据集采用人工加雾方法进行雾气模糊，得到新的预训练数据集，对新的预训练数据集和微调数据集分别进行预处理，得到处理后的预训练数据集和处理后的微调数据集；

5、s2、构建用于目标检测的目标检测模型，所述目标检测模型将yolov8骨干网络每个c2f模块的第一个卷积层均替换为带有相似度融合注意力机制的卷积模块；

6、在带有相似度融合注意力机制的卷积模块中，由第一标准卷积层对输入数据进行卷积，得到第一特征图，将第一特征图沿通道维度等分，得到第一分割数据，对第一分割数据从宽高维度等分成多个窗口，得到第一窗口数据，将输入数据沿通道维度等分，得到第二分割数据，对第二分割数据从宽高维度等分成多个窗口，得到第二窗口数据，由第二标准卷积层对第二窗口数据进行卷积，得到第二特征图，将第一窗口数据的宽高维度合并，得到第三特征图，计算第三特征图沿通道维度两两列向量之间的欧氏距离并对计算结果取相反数，得到距离结果矩阵，对距离结果矩阵的列向量维度做softmax操作，得到权重矩阵，将第二特征图和权重矩阵相乘，得到第四特征图，将第一特征图和第四特征图相加，得到所述卷积模块的输出数据；

7、s3、对目标检测模型中的参数进行随机初始化后，在处理后的预训练数据集上预训练目标检测模型，在处理后的微调数据集上微调经过预训练的目标检测模型，得到训练好的目标检测模型；

8、s4、将待检测的图像输入到训练好的目标检测模型中，输出待检测目标的类别和坐标信息。

9、在上述方案基础上，各步骤可以采用如下优选的具体方式实现。

10、作为优选，步骤s1中，所述预训练数据集采用mscoco数据集，微调数据集采用rtts数据集。

11、作为优选，所述人工加雾方法为对原图像通过大气散射模型加入雾气模糊，得到加入雾气后的图像i(x)：

12、i(x)＝j(x)t(x)+a(1-t(x))

13、t(x)＝e-βd(x)

14、其中，j(x)是原图像，a是大气光强度，t(x)表示大气透射率，β是大气散射系数，d(x)代表图像深度矩阵。

15、作为优选，步骤s1中，所述预处理为对新的预训练数据集和微调数据集中的图像进行5种图像增强处理，具体为随机缩放裁剪、随机颜色空间调整、随机反转旋转、随机剪切、马赛克增强。

16、作为优选，步骤s2中，所述第一标准卷积层的卷积核大小为1×1，步长为1。

17、作为优选，步骤s2中，所述第二标准卷积层的卷积核大小为1×1，步长为1。

18、本发明相对于现有技术而言，具有以下有益效果：

19、本发明提出一种基于相似度融合注意力机制的雾霾场景目标检测方法，该方法基于人工加雾预训练和真实有雾场景下进行微调训练，增强目标检测模型对真实有雾场景的适应能力，并提出基于相似度融合注意力机制，增强雾霾场景下目标检测效果。

技术特征：

1.一种基于相似度融合注意力机制的雾霾场景目标检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于相似度融合注意力机制的雾霾场景目标检测方法，其特征在于，步骤s1中，所述预训练数据集采用mscoco数据集，微调数据集采用rtts数据集。

3.如权利要求1所述的一种基于相似度融合注意力机制的雾霾场景目标检测方法，其特征在于，所述人工加雾方法为对原图像通过大气散射模型加入雾气模糊，得到加入雾气后的图像i(x)：

4.如权利要求1所述的一种基于相似度融合注意力机制的雾霾场景目标检测方法，其特征在于，步骤s1中，所述预处理为对新的预训练数据集和微调数据集中的图像进行5种图像增强处理，具体为随机缩放裁剪、随机颜色空间调整、随机反转旋转、随机剪切、马赛克增强。

5.如权利要求1所述的一种基于相似度融合注意力机制的雾霾场景目标检测方法，其特征在于，步骤s2中，所述第一标准卷积层的卷积核大小为1×1，步长为1。

6.如权利要求1所述的一种基于相似度融合注意力机制的雾霾场景目标检测方法，其特征在于，步骤s2中，所述第二标准卷积层的卷积核大小为1×1，步长为1。

技术总结本发明公开了一种基于相似度融合注意力机制的雾霾场景目标检测方法，该方法包括：获取预训练数据集和真实雾霾场景下的微调数据集，采用人工加雾方法对预训练数据集进行雾气模糊，并对两种数据集进行图像增强；将相似度融合注意力机制加入到目标检测模型中，旨在通过相似特征加权融合的方法，减小雾霾退化对预测置信度降低的作用，进而增加雾霾场景下的预测准确度。使用经过处理的预训练数据集对目标检测模型预训练，再使用经过处理的微调数据集对预训练后的目标检测模型微调，得到适应真实有雾场景的目标检测模型。最后将待检测的图像输入到训练好的目标检测模型中，输出待检测目标的类别和坐标信息。技术研发人员：徐正国,姜俊丞受保护的技术使用者：浙江大学技术研发日：技术公布日：2024/7/29