一种基于强化学习的YOLOv3红外小目标检测方法

本发明涉及计算机视觉，主要涉及红外场景下的小目标检测与识别问题，具体涉及一种基于深度强化学习的yolov3红外小目标检测方法。

背景技术：

1、红外目标检测技术广泛应用于航空航天技术、防空预警、军事、医学成像、目标检测和跟踪等多个领域。由于红外成像使用不照明的热辐射，它可以克服影响常见成像的不利因素，如烟、雾、雨、雾等大气条件。即使在恶劣的天气下，也能提供清晰的图像，这是在早期预警系统、精确制导武器和空域监视系统等领域应用的关键技术。然而，这仍然是一个具有挑战性的问题：复杂背景下的杂波噪声会导致低信号-杂波比(scr)。具体来说，小的红外线目标可能受到云层或类似于目标干扰物的影响，容易被背景淹没。小而暗的目标通常只占据图像中的几个像素甚至一个像素，携带的特征信息较少，缺乏纹理或形状特征，极大的增加了红外小目标的检测难度。

2、对于传统的红外小目标检测，常用的方法包括中值减法滤波器、顶帽滤波器、最大均值/最大中值滤波器、多尺度模糊度量、多通道核模糊相关图和基于空间信息的改进模糊c均值。上述方法都是基于局部对比的方法，在局部对比度高、纹理特征信息丰富、无干扰的场景中表现良好，有较高的检测精度。然而，在真实世界的红外图像中，并不存在具有全局独特显著性、条纹或高对比度的理想目标。此外，这些方法需要对背景场景的先验知识，这不适用于复杂多变的背景场景，特别是不可预测的军事场景，缺乏鲁棒性。

3、随着深度学习的发展越来越多基于深度的模型被提出，为了解决红外场景下小目标特征弱的问题，研究者相继提出了具有分层连接通道和空间注意模块的三方密集嵌套交互模块以及非对称上下文模块来替代u-net的正常跳过连接，实现了渐进式特征交互和自适应特征增强并使得高级语义选择正确的低级特征并进行改进对小目标的检测精度。对于相对形成且效果较好的目标检测网络，部分研究者对现有的通用目标检测网络(如faster-rcnn和yolov3)进行了微调，用于红外小目标检测。但他们有以下两个缺点：第一，在特征融合过程中，不同层次信息的权重是相同的，不能充分突出红外模糊小目标的显著特征，容易受到类目标干扰信息的干扰。第二，在训练过程中，未将全局浅层空间特征和深度语义特征进行组合，或者只合并相邻特征，导致了模糊小目标检测的损失。

技术实现思路

1、技术问题：为了解决上述现有技术存在的不足，本发明利用强化学习来解决红外小目标特征弱的问题。利用强化学习强大的决策能力，自适应的为特征融合提供融合权重，突出红外模糊小目标的显著特征。同时，将带有边界细化的全局上下文注意模块引入到模型中，该模块将低级信息整合到高级特征中，并合并了空间信息和语义信息。通过将强化学习和带有边界细化的全局上下文注意模块引入到yolov3框架中，本发明构建了一种基于强化学习的yolov3红外小目标检测方法。在公开的红外小目标数据集上，siatd数据集和sirst数据集，本发明均获得了出色的性能。

2、技术方案：本发明的目的在于提供一种基于强化学习的yolov3红外小目标检测方法，增广了红外复杂多变场景、背景下的小目标检测的鲁棒性，增强了模型的特征融合的效果，提升红外小目标的检测准确率。

3、本发明公开了一种基于深度强化学习的yolov3红外小目标检测方法。首先，将数据集划分为训练样本集、验证样本集和测试样本集，将训练样本集输入到网络中并提取特征f；然后，构建基于强化学习的自适应权重生成模型，指导特征融合，并将每个时刻的特征权重保存到经验池中，采用ε策略选择执行相应的动作；将融合后输出的特征f'送入到全局上下文边界注意模块中使得低级空间特征与高级语义特征相融合；将检测结果获得的iou作为强化学习模块的反馈输入，若iou满足设定的马尔科夫决策条件自动选择终止或者满足设定的迭代次数则该图像的本轮训练结束；从训练集中输入下一张图像并进行训练；最后，将测试集输入到已经训练好的红外小目标检测模型中进行检测，实现高效且精准的红外小目标检测。

4、有益效果：本发明与现有技术相比，具有以下优点：

5、现有的目标检测网络中的特征融合，不同层次信息的权重是相同的，不能充分突出红外模糊小目标的显著特征，容易受到类目标干扰信息的干扰。同时，在训练过程中，未将全局浅层空间特征和深度语义特征进行组合，或者只合并相邻特征，导致了模糊小目标检测的损失。本发明提出了一种基于深度强化学习的yolov3红外小目标检测方法一种结合强化学习的金字塔特征融合网络。在进行特征融合时，使用强化学习来为特征分配相应的权重。具体来说，该模块使用多尺度卷积检查对提取的特征进行卷积，并使用强化学习自适应生成权值对最后一次卷积中的特征进行权重。然后将它们映射到主干网络的每个阶段的层中，以获取不同阶段的上下文信息。然后，在每个阶段中融合具有相同分辨率的上述特征。这不仅弥补了红外昏暗目标的纹理等信息的不足，突出了红外昏暗目标的显著特征，而且充分提取了上下文信息。

技术特征：

1.一种基于深度强化学习的yolov3红外小目标检测方法，其特征在于，所述方法包括以下骤：

2.根据权利要求1所述的强化学习的自适应权重生成模型，其特征在于，所述强化学习网络包括：

3.根据权利要求2所述的网络权重值更新，其特征在于，所述网络权重值更新方式为：

4.根据权利要求2所述的奖励函数，其特征在于，所述奖励函数设置为：

5.权利要求1所述的全局上下文边界注意模块，其特征在于，所述全局上下文边界注意模块包括：

6.权利要求4所述的两阶段的低级空间特征与高级语义特征融合，其特征在于，所述两阶段的低级空间特征与高级语义特征融合的第一阶段包括公式如下：

7.权利要求4所述的两阶段的低级空间特征与高级语义特征融合，其特征在于，所述两阶段的低级空间特征与高级语义特征融合的第二阶段包括公式如下：

技术总结本发明公开了一种基于深度强化学习的YOLOv3红外小目标检测方法，该方法包括：1)将数据集划分为训练样本集、验证样本集和测试样本集，将训练样本集输入到网络中并提取特征F；2)构建基于强化学习的自适应权重生成模型，指导特征融合，并将每个时刻的特征权重保存到经验池中，采用ε策略选择执行相应的动作；3)将融合后输出的特征F'送入到结合边界细化的全局上下文注意模块中使得低级空间特征与高级语义特征相融合；4)将检测结果获得的IoU作为强化学习模块的反馈输入，若IoU满足设定的马尔科夫决策条件自动选择终止或者满足设定的迭代次数则该图像的本轮训练结束；5)从训练集中输入下一张图像并进行训练；6)将测试集输入到已经训练好的红外小目标检测模型中进行检测，输出检测结果。本发明在红外小目标图像的目标检测中取得了良好的检测精度。技术研发人员：王喆,杨海,钮赛赛,龙华保,臧涛,傅志凌,杨孟平受保护的技术使用者：华东理工大学技术研发日：技术公布日：2024/7/29