自适应局部上下文嵌入的光学遥感小尺度目标检测方法

1.本发明属于遥感图像目标检测技术领域，具体涉及一种自适应局部上下文嵌入的光学遥感小尺度目标检测方法。


背景技术：

2.目标检测作为遥感图像解译和分析等任务的基本问题，是图像分割、图像描述、目标跟踪和场景理解等算法的基础。目标检测通过利用计算机视觉算法，搜索图像中是否存在感兴趣目标，并对目标出现位置进行判断。
3.由于图像中的目标数量、尺寸均不确定，且往往要求对目标进行准确的定位，因此，目标检测算法在计算机视觉中属于较为复杂的算法。早期，目标检测通常以传统的图像处理方法为基础，通过大量的人工设计的特征，对少数特定类别的目标进行描述，然后再利用传统机器学习方法完成目标检测。自从卷积神经网络得到广泛应用后，由于其具备强大的特征提取和深度学习能力，通用类别的目标检测性能和稳定性均得到了显著的提升。
4.目前，在目标检测中，对于生成目标候选区域的方法，主要包括锚框方法和无锚框方法。而传统的目标检测算法大多是以有锚框方法为主，通过使用一组具有不同尺度和比例组合的矩形候选框生成目标的候选区域，卷积神经网络对框内的区域是否包含目标进行判断，若包含目标则确定其类别归属，并将候选框回归到更精确的位置上，但是，这类方法存在运算效率低、数据冗杂等明显缺点，当目标尺度较小，或者当图像中目标尺度差异较大时，锚框的尺度不好确定，严重影响目标检测性能。
5.与锚框方法不同，无锚框方法没有显式的候选区域生成过程，而是借助关键点和特征线对目标进行建模，使用编码和解码完成目标边框的回归，可以避免锚框对目标尺寸匹配度的限制，改善正负样本不均衡的现象，减少超参数的引入，降低复杂度，可以提高对遥感图像小尺度目标的检测性能。但是，现有的无锚框的方法仍具有一些局限性。由于缺少了人为加入的大量锚框，一些基于关键点检测的无锚框方法对特征图语义信息的丰富度具有较高的要求；另外，现阶段无锚框方法主要应用在自然场景下。针对光学遥感场景下目标的尺度相对更小、难以识别的问题，无锚框方法的检测精度和准确度仍然具有较大的提升空间。


技术实现要素：

6.有鉴于此，本发明提供了一种自适应局部上下文嵌入的光学遥感小尺度目标检测方法，能够针对现有技术存在的不足和缺陷，解决在大视场高分辨率光学遥感图像中对于小尺寸目标的检测准确率和检测精度的问题。其中，所述小尺寸目标，通常是指图像像素大于8*8像素且小于20*20像素的目标图像。
7.实现本发明的技术方案如下：
8.一种自适应局部上下文嵌入的光学遥感小尺度目标检测方法，包括以下步骤：
9.步骤一、利用多尺度优化沙漏特征提取网络，对遥感图像的小尺度目标进行特征
提取；
10.步骤二、结合基于自适应局部上下文嵌入算法和通道注意力算法，对步骤一提取的特征进行深度优化；
11.其中，自适应局部上下文嵌入算法，通过使用多尺度卷积核，根据不同的输入自适应选取具有最佳判别力的卷积核尺寸来捕获上下文信息；通道注意力算法，通过对特征图中每个通道的聚合信息进行筛选，保留对目标检测有帮助的通道信息，抑制冗余通道，提高网络检测性能；之后，将两者前后串联，通过模拟人类视觉特点，生成具备注意力集中的特征图；
12.步骤三、使用步骤二生成的特征图，通过角点池化和中心点池化操作，得到目标的左上角点、右下角点和中心点位置；然后，利用交叉熵损失函数、推-拉损失函数来修正角点和中心点坐标，最终确定目标位置，实现对整幅图像的“角点-中心点”的无锚框检测。
13.进一步地，步骤一具体为：通过借助跳层连接和多尺度聚合方式，对沙漏网络中不同深度的特征图进行特征融合，得到特征提取结果。
14.进一步地，在步骤一中，多尺度优化沙漏特征提取网络主要包括提取图像深层特征、跳连接特征融合、多尺度特征聚合三个部分。
15.进一步地，首先，输入光学遥感图像，经过图像预处理后，对图像深层特征进行多尺度提取；在神经网络中，由于浅层信息有助于小尺度目标检测，因此采用跳连接的方式将浅层信息和深层信息进行特征融合，得到不同尺度的特征图；最后，再将经过特征融合的不同尺度的特征图进行多尺度聚合，最终输出同时具备浅层和深层特征信息的特征图。
16.进一步地，步骤二中的自适应局部上下文嵌入算法主要分为多尺度卷积捕获上下文信息、自适应选取卷积核最优尺寸两个部分；首先，输入步骤1的特征图，利用多尺度卷积核捕获上下文信息，通过选取尺度为3*3、5*5、7*7、
…
、(2i 1)*(2i 1)的卷积核对输入特征图进行多尺度卷积，捕获不同尺度的上下文信息；其次，将卷积后结果叠加，并对叠加后的结果进行注意力机制筛选得到具有多尺度信息的一组特征描述符；将不同尺度卷积分别与特征描述符相乘，选出合适的空间尺度信息，将经过注意力机制筛选后的特征图相加求和，得到自适应局部上下文嵌入算法的输出结果。
17.有益效果：
18.本发明方法对比现有技术，具有以下优点：
19.1.本发明方法能够显著提高对大视场高分辨率光学遥感图像场景中的小尺度目标的检测效果。特别是面对环境较为复杂，目标密集分布等复杂条件时也能取得良好效果，在提高检测率的基础上，同时提高了定位精确度，并大幅降低了虚警率。
20.2.本发明方法通过降低步骤一中特征提取网络的深度，权衡了网络的检测速度与检测精度之间的关系，具有很好的实际应用价值。
21.3.本发明方法通过采用步骤二中的自适应局部上下文嵌入算法，利用多尺度自适应特征提取方法，提升对小尺度目标上下文信息的获取能力，提高了定位精确度；同时结合通道注意力算法，抑制消除冗杂的特征信息，降低了虚警率。
附图说明
22.图1为本发明方法的流程图。
23.图2为本发明多尺度优化沙漏特征提取网络示意图。
24.图3为本发明自适应局部上下文嵌入算法示意图。
25.图4为本发明通道注意力模块示意图。
26.图5为本发明“角点-中心点”无锚框检测示意图。
具体实施方式
27.下面结合附图并举实施例，对本发明进行详细描述。
28.本发明提供了一种自适应局部上下文嵌入的光学遥感小尺度目标检测方法，如图1所示，包括以下步骤：
29.步骤1：使用多尺度优化沙漏特征提取网络，对光学遥感图像进行特征提取。
30.本发明给出了一种具体实现方法，如图2所示，包括以下步骤：
31.步骤1.1：提取图像的深层特征。
32.首先，将光学遥感图像sa输入至多尺度优化沙漏特征提取网络(由残差模块和池化层组成)，在经过一个卷积核为7
×
7、步长为2的卷积网络和1个残差网络的预处理后，经过4次卷积和下采样池化操作，提取深层特征信息，并将每一层下采样后的特征图自外层到内层分别记作
33.然后，对特征图经过4次同样的卷积和上采样操作，将上采样后的特征图自外层到内层分别记作
34.下面举例说明。
35.首先，将尺寸为640
×
640的光学遥感图像sa输入多尺度优化沙漏特征提取网络进行预处理。本实施例中，该网络包括一个卷积核为7
×
7、步长为2的卷积网络和1个残差网络，将图像尺寸降为160
×
160，通道数增加为256。
36.然后，将经过预处理的图像输入多尺度优化沙漏特征提取网络，经过4组残差和最大池化，图像记作尺寸由输入的160
×
160依次变为{80
×
80,40
×
40,20
×
20,10
×
10}，通道数依次为{256,384,384,384}。再经过与下采样过程完全对称的4组残差和上采样后，特征图从内层到外层分别记作尺寸由10
×
10依次变为{20
×
20,40
×
40,80
×
80,160
×
160}，通道数依次为{384,384,384,256}。
37.步骤1.2：跳连接特征融合。
38.由于部分信息在池化操作的过程中丢失，为了提高沙漏网络对更加全面特征信息的获取能力，要采用跳连接层保留池化过程中丢失的信息。将经过下采样前的特征图叠加到经过上采样后的特征图如式1所示：
[0039][0040]
式1中，表示经过第i次上采样后的特征图；γ表示跳连接部分的卷积操作，包括一个卷积核为3
×
3、步长为1的残差模块。
[0041]
步骤1.3：多尺度特征聚合。
[0042]
传统的沙漏网络在进行上采样之前，需要先要经过卷积操作，但这样会导致网络
层数的加深，不利于保留浅层的特征信息。
[0043]
为此，为了有效提高骨架网络输出特征图的信息丰富度，本发明对沙漏网络的上采样部分的每一层特征图直接进行叠加，将叠加后的结果与输入特征图相乘，得到最终的输出，如式2所示：
[0044][0045]
其中，ξi(i＝2,3,4)表示对特征图进行上采样和1
×
1的卷积操作；s
out
表示多尺度优化沙漏特征提取网络输出的特征图。
[0046]
步骤2：使用结合基于自适应局部上下文嵌入算法和通道注意力算法，对步骤1提取的特征图进行深度优化。
[0047]
其中，自适应局部上下文嵌入算法通过使用多尺度卷积核，根据不同的输入自适应选取具有最佳判别力的卷积核尺寸来捕获上下文信息。如图3所示，包括以下步骤：
[0048]
步骤2.1：进行多尺度卷积核捕获上下文信息。
[0049]
其中，卷积核的个数用i表示，i＝1,2,3,
…
,n；卷积核的尺寸为(2i 1)
×
(2i 1)；
[0050]
以i＝3进行举例说明，选用3
×
3,5
×
5,7
×
7三种尺度的卷积核，分别对特征图s
out
进行多尺度卷积操作，结果分别用s3×3,s5×5,s7×7表示。
[0051]
多尺度卷积操作如式3所示：
[0052]s(2i 1)
×
(2i 1)
＝conv
(2i 1)
×
(2i 1)
(s
out
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0053]
其中，conv
(2i 1)
×
(2i 1)
表示卷积核为(2i 1)
×
(2i 1)的卷积操作。
[0054]
步骤2.2：自适应选取卷积核最优尺寸。
[0055]
首先，将经过卷积后的结果s3×3,s5×5,s7×7∈rc×h×w叠加，得到s
add
∈rc×h×w，其中，r表示实数域，c表示通道数，h表示图像高度，w表示图像宽度，s
add
表示叠加后的结果。
[0056]
本实施例中，s
add
＝s3×3 s5×5 s7×7。
[0057]
然后，利用平均池化和最大池化操作聚合s
add
的空间信息，得到结果s
c1
,s
c2
∈rc×1×1：
[0058][0059]
其中，avgpoolh×w、maxpoolh×w分别表示对图像的空间方向(h
×
w)进行平均池化、最大池化操作。
[0060]
之后，将得到的结果s
c1
、s
c2
分别输入全连接层，得到z1,z2∈r
3c
×1×1：
[0061]
zi＝fc(s
ci
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0062]
fc(s
ci
)＝conv1(δ(bn(conv2(s
ci
))))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0063]
其中，zi(i＝1,2)分别表示s
c1
、s
c2
输入全连接层后的结果；s
ci
(i＝1,2)表示进行了平均池化(i＝1)/最大池化(i＝2)操作后的特征图；fc表示全连接层，conv1是卷积核为1
×
1、输入的通道数为c/r、输出的通道数为c的卷积操作；conv2是卷积核为1
×
1、输入的通道数c、输出的通道数为c/r的卷积操作；bn表示批标准化(batch normalization)；δ表示激活函数relu。
[0064]
然后，将从全连接层fc输出的结果z1,z2进行叠加，并执行softmax操作，得到包含
三种尺度信息的特征描述符η∈r
3c
×1×1，特征描述符η分解为η＝[η1,η2,η3](ηi∈rc×1×1,i＝1,2,3)。将特征描述符η＝[η1,η2,η3]与s3×3,s5×5,s7×7分别对应相乘，得到s3'
×3,s5'
×5,s7'
×7。最后，将s3'
×3,s5'
×5,s7'
×7进行尺度筛选并求和，得到最终的输出s
sa-out
。
[0065]s(
'
2i 1)
×
(2i 1)
＝η
2i 1
×s(2i 1)
×
(2i 1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0066][0067]
式7、式8中，i的取值为非0自然数，并由步骤2.1中的多尺度卷积核的个数来决定。
[0068]
步骤2.3：通道注意力筛选有效信息。
[0069]
通道注意力通过对特征图中每个通道的聚合信息进行筛选，保留对目标检测有帮助的通道信息，抑制冗余通道，提高网络检测性能。
[0070]
如图4所示，首先提取通道信息。将特征图s
sa-out
∈rc×h×w进行最大池化和平均池化操作，聚合空间信息，分别生成c
max
,c
avg
∈rc×1×1两种不同的空间特征描述符，c
max
,c
avg
分别表示对图像的空间方向h
×
w进行平均池化、最大池化操作后的结果，包含特征通道信息，如式9所示：
[0071][0072]
然后，将c
max
,c
avg
分别输入全连接层，并将全连接层的输出相加。最终结果通道注意力的输出向量用c
out
表示，如式10、式11所示：
[0073]cout
＝σ(fc(maxpool(s
sa-out
)) fc(avgpool(s
sa-out
)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0074]
fc(s
max(avg)
)＝conv1(δ(bn(conv2(s
max(avg)
))))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0075]
其中，fc表示全连接层；σ表示sigmoid函数；s
max(avg)
表示进行了平均池化/最大池化操作后的特征图；conv1是卷积核为1
×
1、输入的通道数c/r、输出的通道数为c的卷积操作；conv2是卷积核为1
×
1、输入的通道数c、输出的通道数为c/r的卷积操作；bn表示批标准化batch normalization；δ表示激活函数relu。
[0076]
最后，将经过相加的结果与输入相乘，得到特征图sc，如式12所示，实现对通道的筛选：
[0077]
sc＝c
out
×ssa-out
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0078]
步骤3：使用步骤2生成的特征图sc，通过角点池化和中心点池化操作，得到目标的左上角点、右下角点和中心点位置。利用交叉熵损失函数、推-拉损失函数，修正角点和中心点坐标，最终确定目标位置，实现对整幅图像的“角点-中心点”的无锚框检测，最终得到高精确率、低虚警率的小尺度目标检测结果。
[0079]
如图5所示，步骤3包括以下步骤：
[0080]
步骤3.1：使用步骤2生成的特征图sc，依次通过中心点池化和级联角池化操作，得到目标的左上角点、右下角点和中心点位置，并由角点得到分数最高的k个包围框。
[0081]
其中，中心点池化和级联角池化的方法如下：
[0082]
在中心点池化中，对于尺寸为h
×
w的特征图sc，在水平和垂直方向寻找最大值，并且将最大值相加，以此寻找目标的中心关键点。
[0083]
在级联角池化中，将特征图sc进行卷积核为3
×
3的卷积，得到s
c_conv3
。将s
c_conv3
进
行左向池化得到s
lp
。将池化结果s
lp
与卷积结果s
c_conv3
相加，得到将经过一个卷积核为3
×
3的卷积和竖向池化，得到最终的结果
[0084]
如式13、14所示：
[0085][0086][0087]
其中，conv3表示卷积核为3的卷积；lp、tp分别表示左向池化和竖向池化。
[0088]
对于左向池化和竖向池化，设输入特征图为f
t
，尺寸为h
×
w。将f
t
在(i,j)和(i,h)范围内的全部特征向量进行最大池化操作，获得特征向量t
ij
；然后，将特征图f
l
处在(i,j)和(w,j)范围内的全部特征向量进行最大池化操作，并获得特征向量l
ij
。最后将l
ij
和t
ij
相加。如式15、16所示：
[0089][0090][0091]
其中，f
t
、f
l
为输入池化层的特征图；和分别是f
t
和f
l
在(i，j)处的特征向量，l
ij
和t
ij
分别表示f
l
左向最大池化和f
t
竖向最大池化后在(i,j)处的特征向量。表示f
t
在(h,j)处的特征向量，表示f
l
在(i,w)处的特征向量。t
(i 1)j
表示f
t
在(i 1,j)处经过最大池化后的特征向量，l
i(j 1)
表示f
l
在(i,j 1)处经过最大池化后的特征向量。
[0092]
步骤3.2：根据得分，选取分数最高的k个中心关键点，并将k个中心关键点映射回输入图像。
[0093]
步骤3.3：在步骤3.1由角点得到的k个包围盒中，定义一个中心区域，并检查中心区域内是否存在步骤3.2中得到的中心关键点。在保证二者标签相同的前提下，保留相应的包围框。如果包围框的中心区域内不存在中心关键点，则舍弃该包围盒。
[0094]
其中，包围框中心区域选择方法如下：
[0095]
在包围框中心区域，由式决定：
[0096][0097]
其中，(tl
x
,tly),(br
x
,bry)是包围框左上角点和右下角点的坐标；(ctl
x
,ctly)、
(cbr
x
,cbry)是中心区域的左上角点和右下角点。n是一个用来决定包围框中心区域大小的奇数。
[0098]
步骤3.4：利用损失函数修正角点和中心点坐标，最终确定目标位置，实现对整幅图像的“角点-中心点”的无锚框检测。
[0099]
其中，损失函数包括“角点和中心关键点损失函数”、“推-拉损失函数”、“偏移量损失函数”三个部分，完整的损失函数表达式l
push
为：
[0100][0101]
其中，是角点和中心点的损失函数；表示同一个目标两个角点距离的最小值，表示不同目标之间两个角点的最大值；是用于预测角点和中心点的损失函数。式18中，α,β,γ分别表示“拉-损失函数”，“推-损失函数”,“偏移量损失函数”，其值可以分别设为0.1、0.1、1。
[0102]
角点和中心关键点损失函数l
det
如下：
[0103][0104]
其中，p
cij
表示预测角点和中心点后输出的特征图在第c个通道的(i,j)位置的值；y
cij
表示对应位置的真实值；n表示目标数量。
[0105]“推-拉”损失函数l
pull
、l
push
如下：
[0106][0107][0108]“推-拉”损失函数计算的隶属于同一个目标的两个“角点”之间的关系。其中，和分别是第k个目标左上角和右下角的“嵌入”(embedding)，ek是和的均值，δ取1。ej表示第j个目标左上角和右下角的“嵌入”和的均值。
[0109]
偏移量损失函数如下：
[0110][0111][0112][0113]
其中，ok表示预测的角点从原图映射到特征图的偏移量，l
off
表示偏移量损失函数，o
′k表示目标的实际角点从原图映射到特征图的偏移量，x在本实例中表示o
k-o
′k，smoothl1loss表示平滑l1损失函数。xk、yk是第k个目标的角点坐标值，m是下采样因子。
[0114]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。