一种基于类对齐的域自适应目标检测方法

本发明涉及深度学习中的域自适应目标检测领域，针对目标检测领域中通过调整目标检测模型以适应不同数据分布，从而提高其在新域上进行目标检测的性能。

背景技术：

1、目标检测在计算机视觉领域中具有非常重要的地位，通过训练好的检测模型，能够对复杂场景图片中的物体类别和位置进行精确的预测和识别。随着生活的发展，实际应用对于目标检测的需求日益增加，这在诸如人脸识别、智能安防、车辆识别以及自动驾驶等多个领域中展现出了重要价值。要实现这些功能，目标检测算法是不可或缺的。借助目标检测算法，计算机能够感知和理解周围的世界，从而实现更为复杂的任务。近年来，许多卷积神经网络(cnn)基础上的目标检测算法被提出，例如r-cnn(基于区域的卷积神经网络)和faster r-cnn(更快的基于区域的卷积神经网络)等。这些方法显著提高了目标检测的精度和速度，推动了这一领域的快速发展。

2、随着深度学习理论的演进，目标检测模型的检测准确率和泛化性能不断提升，但是仍旧存在一些问题。当面临一个新的检测任务时，往往需要上万张标注后的数据集进行模型的训练，但是受制于多种因素，大量的数据集很难得到，比如军事目标场景、医疗场景的数据集。即使能够获取到大量的训练数据，但是目标检测的训练场景和应用场景往往存在显著差异，不属于同一分布，比如训练数据集场景为晴天场景下的数据集，应用场景为雾天场景下的数据集，在此种条件下，目标检测模型的检测准确率和泛化性能会急剧下降。

3、da(domain adaptive faster r-cnn,da)模型首次实现了针对目标检测任务的域适应架构。基于faster r-cnn架构，da主要集成了以下三个域自适应部分。首先，图像级特征对齐组件，在主干网络中提取的深度特征基础上，通过grl的应用，有效地缩减了源域与目标域在图像的整体亮度和色调等关键特征间的差异的全局距离。其次，实例级特征对齐模块，利用grl在rpn(region proposal network,rpn)阶段后对提取的候选区域特征进行处理，减少了源域和目标域在局部距离信息上的偏差，进一步加强了局部物体特征的相似性。最后，为了确保图像级与实例级对齐工作的一致性，引入了一致性正则化，该正则化器通过使两种级别的判别器在识别同一对象时产生相同的预测，以保持域自适应过程的连贯性和准确性。

4、现有的da方法取得了良好的效果，但其明显缺点在于较少考虑到源域、目标域数据中更为精细的类别结构，即一个领域数据在特征空间中不同类别特征和相同类别特征的分布情况，造成跨域目标检测中类别语义知识的丢失。本发明对模型和损失函数进行针对性改进，提高模型获取两域之间的类别语义信息的能力。

技术实现思路

1、本发明针对各种类别特征的类内变化显著、类间差异不足的问题，利用类间分离模块和类内聚合模块。重新定义两个领域间的特征距离，构建源域与目标域之间的实例级的关系，利用挑选难度较高的样本的采样方法，在特征距离内强化类间差异，以维持两个领域不同类别特征的分离，促进了模型在深层特征层面上学习到更加区分明显的类别属性。同时，还将源域和目标域内的类别特征与共有类别中心的距离整合进模型的优化目标中，通过最小化类内差异，网络能够自适应地学习到每个类别的中心点，促使从源域和目标域提取的类别特征向这一共享中心汇聚，从而使模型掌握更加紧凑的类内特征信息。

2、本发明所采用的技术方案是：

3、步骤1：类间分离模块，采用困难样本挖掘的采样方法，在两个领域间通过距离交互增强类别间的差异，进而保证不同类别特征的分离。

4、步骤2：类内聚合模块，通过获取两个领域内同类特征与共享类别中心之间的距离，利用最小化类别内差异方法，增强类别特征的一致性，并动态调整类别中心参数。

5、步骤3：优化损失函数，包括基本的检测器损失，用于评估预测框架与实际标注框架的一致性；类别中心损失，确保类别中心的准确更新；以及三元组损失，进一步增强模型对类间差异性和类内紧凑性的学习。

6、步骤4：为了验证本方法的有效性，本部分共设置了两组实验，分别为不同背景(源域为晴天场景下cityscape数据集，目标域为雾天场景下的foggy cityscape数据集，以下部分简记为c→f)和不同的图像风格和图像质量(源域分别选用了虚拟游戏风格的simil10k数据集和不同视角拍摄的kitti数据集；目标域均为真实生活场景的cityscape数据集，以下部分简记为s→c和k→c)两组实验，和将本方法在公开的标准数据集上进行测试，与主流算法从用的实验角度进行定量和定性分析。验证了本方法的有效性。

技术特征：

1.一种基于类对齐的域自适应目标检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述方法，其特征在于，步骤1中的类间分离模块利用源域与目标域之间特征的距离差异，并借助于挑选困难样本的采样方法，在特征距离更新的过程中不断增加目标域和源域差异，维持源域和目标域的不同类别特征的各自独立性，从而使训练之后的算法类间分离能力更强。

3.如权利要求1所述方法，其特征在于，步骤2中的类内聚合模块通过计算两域的类别特征与共享类别中心之间的距离，利用不断动态约束这些距离的方法，减少同一类别内部特征的信息的差异，使算法能够自动找到类别中心，同时从源域和目标域提取的类别特征信息逐渐接近共享的类别中心，使训练之后的算法类内聚合能力更强，在模型参数更新过程中不断降低特征向量与其类别中心间的距离差异，从而实现类别特征的聚合。

4.如权利要求1所述方法，其特征在于，步骤3设计了一个由检测损失、中心类别损失和三元组损失构成的损失函数，更好的提高模型的检测性能。

技术总结本发明公开了一种基于于类对齐的域自适应目标检测方法。该方法旨在解决域自适应目标检测中存在各种类别特征的类内变化显著、类间差异不足的问题。主要步骤包括：设计类间分离模块，采用困难样本挖掘的采样方法，在两个领域间通过距离交互增强类别间的差异；类内聚合模块，通过获取两个领域内同类特征与共享类别中心之间的距离，利用最小化类别内差异方法。优化损失函数，增强模型对类间差异性和类内紧凑性的学习。实验表明，提出的方法在不同背景和图像质量下均表现出显著的检测效果提升。与现有技术相比，本发明提高了模型获取两域之间的类别语义信息的能力，验证了其在域自适应目标检测中的优势。技术研发人员：任利,刘森,钱孝伟,吴杰,许文波,贾海涛,周焕来,常乐受保护的技术使用者：电子科技大学技术研发日：技术公布日：2024/11/4