一种基于扩散模型的遥感图像舰船目标检测与识别方法

本发明设计深度学习的目标检测与识别，具体提供一种基于扩散模型的遥感图像舰船目标检测与识别方法。

背景技术：

1、随着遥感卫星技术的飞速发展，遥感图像舰船目标检测与识别是当前遥感领域的研究热点，无论是在民用方面还是军事方面都有十分重要的意义。在民用方面，它可以通过实时监测各类舰船的位置和运行状况，有效监管海上航行秩序，对潜在风险预警，从而可以预防海上交通事故的发生，保障海员和货物的安全。它也可以通过监测渔船的位置和捕捞情况，如捕捞量和区域，了解渔场动态变化，有效监督和引导渔船捕捞行为，实现渔业资源的可持续利用和有效管理。在军事方面，它可以通过监测本国及邻国舰船动向，可以提高海上警戒水平，监督海域安全；利用监测技术预警可能的海上入侵行为，保障国家海上重要设施和领海主权。它还可以为军事行动提供重要的情报支持，并在海上搜救等应急工作中发挥重要作用。

2、近年来，深度学习在图像识别和目标检测等领域取得突破性进展。将其技术引入遥感监测数据处理，可通过以下几方面改善现有问题：首先，利用大量标注数据训练深度学习模型，可以提高对小目标和特定目标的识别精度，弥补传统遥感由于分辨率限制难以实现高清监测的不足。其次，基于深度学习的多源数据融合的方法可以有效降低天气影响等因素对图像质量的影响，提升监测系统的鲁棒性。深度学习在大数据处理上的优势也有望提升遥感监测系统的实时反应能力。同时，通过深度学习优化数据处理流程，在一定程度上可以降低监测成本。

3、目前，遥感图像舰船目标检测技术主要分为以下四类:

4、1、基于模板匹配的方法；

5、2、基于视觉显著性的方法；

6、3、基于传统机器学习的方法；

7、4、基于深度学习的方法。

8、基于模板匹配的方法，模板匹配的方法一般依据舰船目标形状轮廓等特征信息构建舰船先验模板库，之后利用滑动窗口等策略遍历图像进行区域匹配以定位舰船目标区域。由于使用了先验模板，在图像区域搜索策略上也使用效率较低的遍历策略，故存在检测效率低、检测舰船目标和背景不灵活等问题。

9、基于视觉显著性的方法，视觉显著性主要利用感兴趣物体与周围背景在亮度，颜色，纹理等方面的差异，达到快速筛选疑似目标区域的目的。该步骤能够过滤掉大部分海面区域，快速粗定位到舰船目标，增加检测模型的效率。当前引入的视觉显著性模型都是基于自然图像设计的，显著图分辨率低，目标边缘模糊。此外视觉显著性只能筛选出疑似目标区域，还需要额外设计目标鉴别过程进一步剔除虚警。

10、基于传统机器学习的方法，传统机器学习的舰船目标检测方法借鉴通用目标检测思路，使用滑动窗口在测试图像滑动，然后提取手工设计特征，输入到训练好的分类器输出该滑动窗口是否包含目标。尽管基于机器学习的方法在区分目标和背景时能力较强，但基于滑动窗口的穷举搜索有几个缺点。首先，由于舰船目标的尺寸，长宽比不确定，需要采用多尺度多长宽比窗口来增加检测准确性，导致测试窗口数量庞大，模型相对耗时。其次，在大幅光学遥感图像中，舰船目标占比较小，只有少部分窗口包含真实目标，导致检测效率低。

11、基于深度学习的方法，相比于传统舰船检测与识别方法，基于深度学习的舰船目标检测更适应于复杂场景下的目标检测和识别。深度学习模型可以通过大量样本数据的训练，对目标有更好的特征提取能力和更强的泛化能力，并且模型的可维护性好，当后续样本持续积累后，通过对模型重新训练，而无需重新设计模型，可实现检测和识别效率的提升。然而，基于深度学习方法需要大量的训练数据和复杂的训练阶段，依赖于图形处理单元(gpu)和并行操作。

12、目前获取的遥感舰船图像存在以下特点:

13、在大范围遥感图像中，舰船目标通常只占很小一部分，冗余、复杂的背景环境干扰给舰船目标检测带来了巨大挑战，并且不同类型的舰船之间尺度差距较大，近岸海域存在舰船密集排列的问题。

14、由于可见光遥感影像具有广泛的覆盖范围、复杂的背景和垂直的视角等特点导致舰船目标面临复杂的背景环境干扰以及目标尺度大小不一的问题，在此条件下能够快速且准确地检测出舰船目标成为当前急需解决的问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于扩散模型遥感图像舰船目标检测与识别方法，解决上述背景技术中所提出的问题。

2、本发明为了实现上述目的具体采用以下技术方案：

3、一种基于扩散模型的遥感图像舰船目标检测与识别方法，包括如下步骤:

4、s1:运行环境平台与数据集格式；mmdetection框架下基于python版diffusiondet网络结构，使用的数据集格式为coco格式的hrsc2016；

5、s2:将带有真值框的原始遥感图像作为输入，从标准高斯分布的噪声采样，将其加入到输入图像中，得到一张符合高斯分布的噪声图片；

6、s3:将带有真值框的原始遥感图像输入到主干网络中提取特征；

7、s4:利用具有通道混合的特征金字塔网络cf-fpn对特征图进行多尺度特征融合；

8、s5:检测解码器将一组建议框和加高斯噪声后的真值框作为输入，从图像编码器生成的特征图中裁剪感兴趣区域；

9、s6:将统一大小的矩形框经过全连接层，得到固定大小的特征向量；

10、s7:利用级联思想对输出的矩形框调整大小，得到调整后矩形框的坐标；

11、s8:最后通过两个全连接层来预测舰船目标的类别和坐标，得到边界框的回归和分类结果。

12、进一步地，所述s4中具有通道混合的特征金字塔网络cf-fpn对特征图进行多尺度特征融合的具体过程为:首先利用主干网络所提取的{m2,m3,m4,m7}阶段的特征图作为输入，对这些特征图进行1×1卷积，将不同分辨率的特征图进行上采样并与之前的特征图融合，然后进行3×3卷积，之后通过由全局平均池化、1×1卷积、组归一化、relu激活函数和1×1卷积组成的g模块对输入特征图实现不同通道之间的信息交互，并与通过3×3卷积后的特征图进行融合，最后对这四个阶段的特征图进行自底向上的特征融合得到特征图f5。将整个特征融合部分放在一起组装成一个模块，以模块为单位去组装整个网络结构。

13、进一步地，所述s4中的g模块能够充分提高不同通道之间的信息交互能力，并在网络中引入自底向上的结构，充分融合不同尺度舰船目标特征。

14、进一步地，所述s1中硬件平台为ubuntu 20.04.3系统(gnu/linux 5.13.0-44-generic x86_64)和nvidia geforce rtx 3090高性能显卡的计算机。

15、本发明在diffusiondet的基础上设计，通过对其图像编码器部分进行改进，引入具有通道混合的特征金字塔网络cf-fpn对特征图进行多尺度特征融合，实现对图像编码器部分的结构改进，从而可以有效提高遥感图像舰船目标的检测与识别精度，可以将均值平均精度值(map0.5)提升5.8个百分点，将最大平均精度(apmax)和最小平均精度(apmin)分别提升4.4个百分点和8.8个百分点。