一种基于全局上下文感知的遥感图像目标检测方法

1.本发明属于模式识别技术领域，具体涉及一种遥感图像目标检测方法。


背景技术：

2.遥感图像分析一直是计算机视觉领域研究的热点，在城市规划、土地利用管理、环境监测等领域得到了广泛的应用。目标检测是计算机视觉领域的基础任务，可以为后续的事件检测、目标跟踪、人机交互、场景分割等任务提供支持。遥感图像通常是从高空拍摄的，由于机载或者星载传感器的不同，拍摄角度和拍摄高度均不固定。与自然图像相比，遥感图像中的场景信息更加丰富，目标类别多，排列密集，因此，遥感图像目标检测面临着很大的挑战。由于存在上述问题，尽管针对遥感图像目标检测已经提出了一些算法，但是性能仍有提升空间，因此遥感图像目标检测依然是目前研究的热点问题之一。
3.史文旭(《特征增强ssd算法及其在遥感目标检测中的应用》，光子学报,2020,49(01):154-163.)为了提高对复杂场景下多尺度遥感目标的检测精度，提出了基于多尺度单发射击检测的特征增强目标检测算法。该方法通过设计浅层特征增强模块，提高网络对小目标特征提取能力；设计深层特征增强模块，替换ssd金字塔特征层中的深层网络。但是该方法没有充分利用遥感图像中丰富的场景信息，提升效果有限。
4.原有的fpn检测算法对于遥感图像中的密集目标检测效果较差，这是因为在特征金字塔网络中，缺乏充分的场景信息。密集目标的检测需要依赖场景信息，例如汽车只会出现在停车场或道路上，汽车的周围一般都是汽车。因此缺乏对场景信息即全局上下文的感知，导致网络难以识别密集目标。


技术实现要素：

5.为了克服现有技术的不足，本发明提供了一种基于全局上下文感知的遥感图像目标检测方法，使用深度残差网络(resnet 101)提取图像的特征，利用特征金字塔网络(fpn，feature pyramid network)进一步提取特征并生成候选区域；生成候选区域后，使用特征池化对齐特征；在特征提取网络的最高层加入全局上下文提取模块，提取特征与原始特征通过相加的方式融合，得到新的特征；最后利用全连接层对新特征进行分类，生成目标类别及边框。本发明利用高层特征语义信息丰富的特点，充分提取图像的场景信息，进一步加强特征表示，增加对密集目标的识别准确率，也一定程度上提高了其他目标的识别准确率，从而整体提高遥感图像中的目标检测性能。
6.本发明解决其技术问题所采用的技术方案包括如下步骤：
7.步骤1：预处理和划分数据集；
8.将标准数据集中的已标注图像统一裁剪为多幅1024*1024的图像，裁剪时宽度和高度分别保留10％像素的重合率，再随机划分为训练集、验证集和测试集，训练集、验证集和测试集没有交集；
9.步骤2：构造目标检测深度神经网络并采用梯度下降和反向传播算法训练目标检
测深度神经网络；所述目标检测深度神经网络先采用res101残差网络提取特征，再使用特征金字塔网络fpn生成候选区域，然后对候选区域进行局部上下文感知，最后经过特征池化和全连接层得到目标类别和边界框，具体如下：
10.步骤2-1：使用预训练模型初始化res101模型参数；
11.步骤2-2：将1024*1024的图像输入res101残差网络提取特征后，生成5种不同大小的特征图，记为c1～c6，尺度分别为512*512,256*256,128*128,64*64,32*32,16*16；
12.步骤2-3：对特征图c6进行全局最大池化，得到含有场景信息的场景特征；将场景特征再经过一个10*10卷积和一个1*1卷积，得到全局特征；
13.步骤2-4：将特征图c5作为特征金字塔的特征图p5；
14.将特征图c5经过上采样，与经过1*1卷积的特征图c4相加，生成特征金字塔的特征图p4；
15.将特征图c4经过上采样，与经过1*1卷积的特征图c3相加，生成特征金字塔的特征图p3；
16.将特征图c3经过上采样，与经过1*1卷积的特征图c2相加，生成特征金字塔的特征图p2；
17.步骤2-5：特征金字塔的特征图p2、p3、p4、p5的尺寸分别为2562、1282、642、322；使用区域生成网络对特征金字塔中的每张特征图生成锚点anchor，每个anchor对应的宽高比包括1:2、1:1和2:1三种；因此，特征金字塔生成15种不同的anchor；
18.使用anchor生成目标候选区域，计算公式为：
[0019][0020]
其中，(xc,yc)为anchor点坐标，(w,h)分别为目标候选区域的宽度和高度，(x1,y1)和(x2,y2)为目标候选区域的左上角和右下角坐标；
[0021]
计算目标候选区域和真实标签的交并比iou：如果iou≥0.7，则将目标候选区域设为正样本；如果iou《0.3，则将目标候选区域设为负样本；将得到的正样本和负样本作为训练目标候选区域的标签；
[0022]
步骤2-6：对目标候选区域进行特征池化，采用式(2)计算目标候选区域经过特征池化后对应的特征层：
[0023][0024]
其中，1024指输入图像尺寸，k0为基准值；
[0025]
因为目标候选区域是从四种不同的特征图p2、p3、p4、p5上经过anchor生成的，所以特征池化后也对应4种不同的特征层；
[0026]
特征池化后4种不同的特征层的取值规则为：
[0027][0028]
特征图p2、p3、p4、p5中的目标候选区域经过特征池化后，每个目标候选区域分别输出7*7个结果，即提取出49个特征；
[0029]
步骤2-7：把步骤2-6得到的49个特征和步骤2-3得到的全局特征相加，依次输入两个全连接层，两个全连接层输出结果为目标类别和目标边界框；
[0030]
步骤3：将待检测遥感图像输入训练完成的目标检测深度神经网络，输出得到目标的类别边界框。
[0031]
优选地，所述k0＝4。
[0032]
本发明的有益效果如下：
[0033]
本发明利用高层特征语义信息丰富的特点，充分提取图像的场景信息，进一步加强特征表示，增加对密集目标的识别准确率，也一定程度上提高了其他目标的识别准确率，从而整体提高遥感图像中的目标检测性能。
附图说明
[0034]
图1是本发明方法流程图。
[0035]
图2是本发明目标检测深度神经网络结构图。
具体实施方式
[0036]
下面结合附图和实施例对本发明进一步说明。
[0037]
目前已有的遥感图像目标检测算法大多使用通用目标检测方法，针对解决遥感图像中单幅图像场景信息丰富，目标类别多，排列密集的问题目标尺度不固定，本发明设计一种基于全局上下文感知的遥感图像目标检测方法，通过提取全局上下文特征增强特征表示，提高遥感图像中目标识别的准确性。
[0038]
如图1所示，一种基于全局上下文感知的遥感图像目标检测方法，包括如下步骤：
[0039]
步骤1：处理dota数据集。由于dota数据集原始数据图像尺寸不定，且测试集的标注数据未公开，因此为了方便神经网络训练，将有标注的1869幅图像统一裁剪为1024*1024的图像，裁剪时为了防止目标因为图像裁剪而缺失，宽度和高度分别保留10％像素的重合率。处理后得到19219幅图像及其标注信息，随机划分为训练集11531幅图像，验证集3844幅图像，测试集3844幅图像，保证训练集、验证集和测试集在图像样本空间上没有交集。
[0040]
步骤2：如图2所示，构造目标检测深度神经网络并采用梯度下降和反向传播算法训练目标检测深度神经网络；所述目标检测深度神经网络先采用res101残差网络提取特征，再使用特征金字塔网络fpn生成候选区域，然后对候选区域进行局部上下文感知，最后经过特征池化和全连接层得到目标类别和边界框，具体如下：
[0041]
步骤2-1：由于神经网络参数繁多且比较难训练，因此在训练模型之前，使用预训练模型初始化res101模型参数；
[0042]
步骤2-2：在训练数据集上对神经网络进行训练，将1024*1024的图像输入res101
残差网络提取特征后，生成5种不同大小的特征图，记为c1～c6，尺度分别为512*512,256*256,128*128,64*64,32*32,16*16；选择c2、c3、c4和c5建立金字塔。如果使用c1会占用过多内存，因此不用c1建立金字塔；
[0043]
步骤2-3：对特征图c6进行全局最大池化，得到含有场景信息的场景特征；将场景特征再经过一个10*10卷积和一个1*1卷积，得到全局特征；
[0044]
步骤2-4：将特征图c5作为特征金字塔的特征图p5；
[0045]
将特征图c5经过上采样，与经过1*1卷积的特征图c4相加，生成特征金字塔的特征图p4；
[0046]
将特征图c4经过上采样，与经过1*1卷积的特征图c3相加，生成特征金字塔的特征图p3；
[0047]
将特征图c3经过上采样，与经过1*1卷积的特征图c2相加，生成特征金字塔的特征图p2；
[0048]
1*1卷积是为了保证相加的特征图通道数相同；
[0049]
步骤2-5：特征金字塔的特征图p2、p3、p4、p5的尺寸分别为2562、1282、642、322；使用区域生成网络对特征金字塔中的每张特征图生成锚点anchor，每个anchor对应的宽高比包括1:2、1:1和2:1三种；因此，特征金字塔生成15种不同的anchor；
[0050]
使用anchor生成目标候选区域，计算公式为：
[0051][0052]
其中，(xc,yc)为anchor点坐标，(w,h)分别为目标候选区域的宽度和高度，(x1,y1)和(x2,y2)为目标候选区域的左上角和右下角坐标；
[0053]
计算目标候选区域和真实标签的交并比iou(intersection over union)：如果iou≥0.7，则将目标候选区域设为正样本；如果iou《0.3，则将目标候选区域设为负样本；将得到的正样本和负样本作为训练目标候选区域的标签(对应于每个anchor)；
[0054]
步骤2-6：对目标候选区域进行特征池化，采用式(2)计算目标候选区域经过特征池化后对应的特征层：
[0055][0056]
其中，1024指输入图像尺寸，k0为基准值，一般取4；
[0057]
因为目标候选区域是从四种不同的特征图p2、p3、p4、p5上经过anchor生成的，所以特征池化后也对应4种不同的特征层；
[0058]
特征池化后4种不同的特征层的取值规则为：
[0059]
[0060]
特征图p2、p3、p4、p5中的目标候选区域经过特征池化后，每个目标候选区域分别输出7*7个结果，即提取出49个特征；
[0061]
步骤2-7：把步骤2-6得到的49个特征和步骤2-3得到的全局特征相加，依次输入两个全连接层，两个全连接层输出结果为目标类别和目标边界框；
[0062]
步骤3：将待检测遥感图像输入训练完成的目标检测深度神经网络，输出得到目标的类别边界框。