基于IST-DETR的红外小目标检测方法、系统、设备及介质

本发明涉及红外目标检测，具体涉及一种基于ist-detr的红外小目标检测方法、系统、设备及介质。

背景技术：

1、近年来，红外目标检测技术得到广泛使用，这项技术主要应用于车辆辅助驾驶、电气设备热故障检测、灾害救援、战争实时监控等。红外成像技术具有抗干扰性强、全天候工作特性。当目标处于夜间、雾天、雨天等复杂环境中，可见光图像方法无法得到清晰的成像。但是与可见光相比，红外图像往往有着缺乏颜色信息、纹理细节少、分辨率低和目标小的特点，而目标检测技术的准确率有一部分依赖于此，因此红外图像中的目标检测是一个具有挑战性和吸引力的课题。

2、为了克服局限性，来自自然语言处理领域中的transformer模型架构可以通过自我注意力捕捉远程信息之间的联系，从而更加充分的利用上下文信息。2020年，carion等人提出了一种新型的transformer目标检测框架detr(detection transformer)，为transformer在目标检测任务中的应用奠定了重要的基础。detr在目标检测模型上实现了端到端，其消除了非最大抑制组件(nms)，大大简化了目标检测流水线，更好适应不同尺度、形状、数量的目标。由于detrs需要大量的计算、训练收敛慢和优化难度高等问题，导致限制了detrs在红外目标检测的应用。而rt-detr由于其设计的混合编码器和iou-aware查询选择，在速度和精度上得以优于同等规模的yolov8。

3、yolo系列是一种高效、精确、方便部署的目标检测算法，被广泛应用于工业中。因此它是红外目标检测研究中不可或缺的一部分。zhang等人利用yolov3模型对红外目标中的车辆进行检测，实现了用小型网络达到满意的检测结果。为了解决红外检测目标周围存在干扰因素，li等人先从背景获得目标的缩放区域再确定目标的位置，增强了算法的鲁棒性和有效性。为了进一步减少背景的干扰，wei等人对yolov5算法进行了改进，利用注意力机制忽略无关信息、聚焦关键信息的功能，来增强目标检测精度。guo等人面对同样的问题尝试了在骨干网络喝neck网络中引入cbam注意力机制，来增强小目标定位能力，并且在neck网络中用aspp模块代替原有模块，在检测精度上有着明显改善。因为红外检测距离不会一成不变，当观测距离较远时，红外目标检测性能会急剧下降，为解决这类问题，yang等人提出了一种改进的yolov4算法my_yolov4。但是红外图像空间分辨率不足，信噪比低，红外小目标的纹理细节缺乏这样的问题仍然难以解决，firdiantika等人利用来自轻量级网络中的coordinate attention(ca)于yolov7结合，来减少小目标检测的不稳定性。min等人因为传统目标检测方法存在检测速度慢、准确低的问题将yolov4的骨干改进为cspdarknet53-deeper，以此增强小目标的特征提取效果。zhao等人面对没有明确的视觉线索时，尝试用改进的unet和yolo网络来共享可见光信息，以达到提高检测精度的效果。为了降低模型的计算复杂度，提搞模型的推理速度，yin等人将yolov5的主干部分替换为emo架构，并且添加cotention模块，提供了一种高效、准确的红外图像识别方法。针对由红外图像昼夜温差大导致的红外目标难以实时检测的问题，song等人提出了三种基于csp(centerand scale prediction)网络的全时红外行人检测模型，成功降低了白天和夜间检测的误检率。

4、目前红外目标检测的研究主要采用卷积神经网络(cnns)提取特征，然后对目标进行定位和分类，这种方法受卷积算子的影响，无法学习到红外图像的全局特征，从而阻碍了红外目标的准确定位和分类。此外，红外图像的检测效率还受到以下几个挑战的显著限制：与可见光图像相比，红外图像的分辨率较低，结合红外成像技术的使用场景，这导致红外目标的特征往往不足；不同使用场景下，红外目标大小不一，导致红外目标之间存在尺度差距；红外图像样本在训练时，容易因样本种类数量不均，导致精度降低。因此，虽然这些研究的方法在红外目标检测的一些方面是有效的，但是由于没有全面考虑红外图像的实际特征，并且没有从实时性去考虑进行红外小目标检测，从而限制了模型的检测效果。

技术实现思路

1、本发明的目的是提供一种基于ist-detr的红外小目标检测方法、系统、设备及介质，充分考虑红外图像的实际特征，提高红外小目标检测的检测效果。

2、为实现上述目的，本发明提供的技术方案是：

3、一种基于ist-detr的红外小目标检测方法，包括以下步骤：

4、采用骨干网提取红外小目标的多尺度特征图；

5、采用包含msf模块的混合编码器以适应红外小目标的多尺度特征图，输出特征表达的红外图像编码；

6、采用带有辅助预测头的解码器根据特征表达的红外图像编码确定红外小目标的位置和类别。

7、为优化上述技术方案，采取的具体措施/限定还包括：

8、采用resnet-18网络作为骨干网，利用主干的最后三个阶段{p3，p4，p5}的输出特征作为混合编码器的输入。

9、所述的msf模块包括特征选择模块和特征融合模块，所述的特征选择模块通过ca模块进行加权：ca模块对多尺度特征图进行全局最大池化和全局平均池化，分别计算每个通道的最大值和平均值，将生成的特征最大值和平均值进行相加，然后利用激活函数得到每个通道的权值；将ca模块生成的通道权值与相应尺度的特征图相乘，得到过滤后的特征图，通过卷积保证每层特征图的通道数一致。

10、所述的特征融合模块对红外小目标的多尺度特征图进行特征融合：不同尺度的特征图经过特征选择模块进行加权后，利用特征融合模块的筛选性特征融合机制进行自上而下的特征融合，共享红外小目标的细微特征，再进行自下而上的信息共享，集合红外小目标的位置信息；所述的筛选性特征融合机制为：利用高级语义特征作为过滤低级特征的权重，利用低级特征的位置信息来对高级语义特征进行筛选，将过滤后的图像特征与原图像特征逐点相加，实现多尺度特征融合。

11、混合编码中具有用于学习自注意力特征的内部特征图交互模块，只将骨干网输出的高级语义特征p5送入内部特征图交互模块。

12、msf模块输出经过的特征融合的红外图像后，通过改进的iou损失函数从msf模块输出的特征图中的红外图像序列中选择图像特征作为解码器的初始查询对象；所述的改进的iou损失函数的公式如下：

13、lfinal＝(1-α)linner-mpdiou+αlnwd；

14、其中，lfinal表示改进的iou损失函数，linner-mpdiou表示结合inner-iou、mpdiou计算的边界框损失函数，lnwd表示通过nwd算法计算的相似度函数，α表示损失占比调节常数。

15、用公共红外数据集flir验证该检测方法的有效性，在通过改进的iou损失函数选择图像特征时，通过ema加权函数来强调公共红外数据集flir中边界处的样本，ema加权函数的公式如下：

16、δt＝μ·δt-1+(1-μ)·θt

17、

18、式中，θt代表t时刻的改进的iou损失函数的大小，μ是一个常数，代表取前次iou损失函数值的平均数。

19、本发明还提供采用的基于ist-detr的红外小目标检测系统，包括：

20、特征图提取模块，用于采用骨干网提取红外小目标的多尺度特征图；

21、特征表达模块，用于采用包含msf模块的混合编码器以适应红外小目标的多尺度特征图，输出特征表达的红外图像；

22、损失函数计算模块，用于通过损失函数从编码器输出的特征表达的红外图像序列中选择图像特征作为解码器的初始查询对象；

23、检测结果获取模块，用于采用带有辅助预测头的解码器根据特征表达的红外图像确定红外小目标的位置和类别。

24、本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如上所述的基于ist-detr的红外小目标检测方法。

25、本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如上所述的基于ist-detr的红外小目标检测方法。

26、与现有技术相比，本发明的有益效果是：

27、本发明提供一种基于ist(infrared small target)-detr(detectiontransformer)的红外小目标检测方法、系统、设备及介质，通过骨干网获取红外目标的全局特征，使用包含msf模块的混合编码器编码图像，使用解码器获取红外目标的位置和类别，其中通过使用msf模块来增强模型的检测能力，充分考虑红外图像的实际特征，提高检测效果。

28、本发明还引入了改进的iou损失函数，以及通过ema加权函数来强调图像特征数据集中边界处的样本，增强模型对红外小目标的检测率。

29、本发明的基于ist-detr的红外小目标检测方法显著降低了红外小目标检测的复杂性，提高了检测效率。