一种面向全天候的目标检测方法及系统

本发明涉及图像处理，尤其涉及一种面向全天候的目标检测方法及系统。

背景技术：

1、随着深度学习技术的不断进步，目标检测模型已广泛应用于多个领域，展现出巨大的潜力；为了实现良好的的检测性能，这些模型通常需要在大量理想环境条件下收集的数据上进行训练，例如晴朗的天气；然而，在现实世界中，模型常常面临着雨、雪、雾或光线不足等多变的环境条件，这些条件会显著降低模型的性能；这种性能下降主要是由于训练数据集(源域)与实际应用中的数据集(目标域)之间存在域偏移，即数据分布不一致所致。

2、为了减少源域与目标域之间的分布差异，现有方法包括：

3、直接收集并标注来自多种环境和场景的数据集，进行训练，这种方法对数据量的要求是巨大的，且在现实世界中，无法涵盖所有的场景；

4、joint domainalignment and discriminative feature learningforunsupervised deep domainadaptation，对于现有公开的数据集或私有的数据集，采用领域自适应技术匹配和对齐源域与目标域的数据分布。

5、self-supervised domainadaptation for computervision tasks自监督学习，通过引导模型学习更加通用的特征表示。

6、unsupervised multi-task domainadaptation多任务学习，通过训练模型同时执行多个任务以增强其泛化能力；集成学习，通过整合多个模型的预测以提高对新环境的适应性。

7、但上述方法均未考虑到直接收集和标注来自多种环境的数据集可能引发隐私问题，并且标注过程既耗时又费力。

技术实现思路

1、针对现有方法的不足，本发明选择采用领域自适应技术来有效减少源域和目标域之间的分布差异。

2、本发明所采用的技术方案是：一种面向全天候的目标检测方法包括以下步骤：

3、步骤一、渲染不同天气条件下场景和目标物体的图像，构建源域数据集；实时采集不同天气条件下场景和目标物体的图像，构建目标域数据集；

4、作为本发明的一种优选实施方式，使用unity 3d进行渲染。

5、作为本发明的一种优选实施方式，场景包括：城市街道、高速公路、隧道和乡村道路。

6、作为本发明的一种优选实施方式，天气条件包括：晴天、雨天、雾天和雪天。

7、步骤二、构建改进yolov5网络，将backbone的第1个cbs卷积、第2个cbs卷积和第8个cbs卷积替换为cbs_1卷积；将第1、2层的cbs卷积生成的低层特征、第8层生成的高层特征输入grl层，生成对于源域和目标域通用的像素层级和语义层级的特征；

8、作为本发明的一种优选实施方式，cbs_1卷积包括：conv、grl层、d-d、bn归一化和silu。

9、作为本发明的一种优选实施方式，步骤二还包括：在改进yolov5网络neck的第12层unsample、第13层concat之间依次插入grl层和d-d。

10、作为本发明的一种优选实施方式，d-d包括：由四组全连接层和relu激活函数串联后，再通过全连接层和softmax函数，并输出每个域的概率分布。

11、步骤三、将包含源域和目标域的数据集输入改进yolov5网络进行训练，利用最小化损失函数来收敛模型。

12、作为本发明的一种优选实施方式，最小化损失函数采用eiou。

13、作为本发明的一种优选实施方式，面向全天候的目标检测系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现面向全天候的目标检测方法。

14、作为本发明的一种优选实施方式，存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现面向全天候的目标检测方法。

15、本发明的有益效果：

16、1、以yolov5为基准检测器，在其基础上增加新的域自适应模块，来缓解域偏移问题；

17、2、在主干网络的低层引入像素级域对抗结构，来缓解局部特征差异(如纹理和颜色)，在主干网络的高层引入图像级域对抗结构来缓解全局特征差异(如图像布局和物体组成)；在颈部网络多个特征层的融合后引入图像级域对抗结构，从更高语义层次多个尺度进一步缓解全局特征差异；此外，我们使用eiou，其相对于iou而言，对小目标更为敏感且鲁棒性好，可以更加精准的定位目标；

18、3、整个模型的最终损失函数由两大部分组成：检测任务的损失和域适应的损失；其中，检测任务本身包含了分类和回归损失，域适应的损失包含了主干网络的两个域判别器的损失和颈部网络的一个域判别器的损失，这样的损失函数设计使得模型在源域上保持原有的性能，同时减小源域和目标域之间的分布差异，促进模型在目标域上的泛化能力；

19、4、在多个基准数据集上进行实验测试，即从晴朗天气的街景数据迁移到极端天气(雨、雾、雪、冰雹等)，结果表明，所提出的方案显著地优于原始yolov5和最先进的域自适应方法，在最通用foggy-cityscapes迁移到cityscapes任务上，map超过原始yolov5方法13.5％，极大提高了检测器适应不同天气环境的能力。

技术特征：

1.一种面向全天候的目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的面向全天候的目标检测方法，其特征在于，cbs_1卷积包括：conv、grl层、d-d、bn归一化和silu。

3.根据权利要求1所述的面向全天候的目标检测方法及系统，其特征在于，步骤二还包括：在改进yolov5网络neck的第12层unsample、第13层concat之间依次插入grl层和d-d。

4.根据权利要求3所述的面向全天候的目标检测方法，其特征在于，d-d包括：由四组全连接层和relu激活函数串联后，再通过全连接层和softmax函数，并输出每个域的概率分布。

5.根据权利要求1所述的面向全天候的目标检测方法，其特征在于，最小化损失函数采用eiou。

6.根据权利要求1所述的面向全天候的目标检测方法，其特征在于，使用unity 3d进行渲染。

7.根据权利要求1所述的面向全天候的目标检测方法，其特征在于，场景包括：城市街道、高速公路、隧道和乡村道路。

8.根据权利要求1所述的面向全天候的目标检测方法及系统，其特征在于，天气条件包括：晴天、雨天、雾天和雪天。

9.面向全天候的目标检测系统，其特征在于，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如权利要求1-8任一项所述的面向全天候的目标检测方法。

10.存储有计算机程序代码的计算机可读介质，其特征在于，计算机程序代码在由处理器执行时实现如权利要求1-8任一项所述的面向全天候的目标检测方法。

技术总结本发明涉及图像处理技术领域，尤其涉及一种面向全天候的目标检测方法及系统，包括渲染不同天气条件下场景和目标物体的图像，构建源域数据集；实时采集不同天气条件下场景和目标物体的图像，构建目标域数据集；构建改进yolov5网络，将backbone的第1个CBS卷积、第2个CBS卷积和第8个CBS卷积替换为CBS_1卷积；将第1、2层的CBS卷积生成的低层特征、第8层生成的高层特征输入GRL层，生成对于源域和目标域通用的像素层级和语义层级的特征；将包含源域和目标域的数据集输入改进yolov5网络进行训练，利用最小化损失函数来收敛模型。本发明选择采用领域自适应技术来有效减少源域和目标域之间的分布差异。技术研发人员：戴国洪,钱怡君,陈从平,唐海山受保护的技术使用者：常州大学技术研发日：技术公布日：2024/11/4