一种基于粗细粒度的地基云图分类方法

1.本发明属于大气科学与计算机视觉领域，涉及一种基于粗细粒度的地基云图分类方法。


背景技术：

2.云覆盖了地表面积的60％左右，在地球的热平衡、水循环和气候系统中发挥着重要作用。传统的地基云分类方法往往依赖于手工制作的特征(例如纹理、结构、颜色等)，然而，手动标注数据既费时又费力，尤其是在数据集规模变大的情况下。近年来随着深度学习在图像分类领域越来越大的兴趣，大量学者开始对地基云分类应用领域进行研究，目前最常用的是基于强监督的分类架构，然而网络的稳定性和分类精度极大的依赖于精细化数据的标注，在一定程度上限制了深度学习算法在海量数据集上的扩展。相比严重依赖精细化标注数据的强监督算法，弱监督算法只要求图像中是否出现过某类目标的类别给出标注，因此之前已经标注好的图像分类数据同样可以作为弱监督算法的输入数据，这在一定程度上大大降低了标注成本和标注的工作量。然而，弱监督深度学习分类算法在训练过程中因为缺少对输入图像精确的位置信息而引入较高比例的背景噪声，尤其当物体较小的时候，极大的影响了模型分类的精度和模型的鲁棒性。因此，对局部辨别性特征进行有效定位的弱监督分类方法有必要进行进一步的研究。


技术实现要素：

3.本发明要解决的技术问题是如何在不添加人工辅助信息和额外的物体位置信息标注的情况下提取并定位更精细、更显著的纹理和形状特征，获得高精度的分类结果。针对该技术问题我们构建了一种弱监督学习的粗细粒度预测网络(gfcnet)，通过网络训练建立了云图全局特征与局部特征之间的联系，结合注意力学习和区域目标定位方法实现了对11类地基云的精准定位和分类。
4.首先，分析并构建本发明的模型结构gfcnet，具体包含以下步骤：
5.步骤1：粗粒度预测网络；
6.为了提取地面云图像的全局特征，该网络首先将尺寸为448*448大小的地基云图像i作为输入，经过预处理得到大小为224*224的图像i'，然后利用主干特征提取网络inceptionv3提取12*12*768大小的地基云图像的深度特征图fg。接下来，基于注意力学习机制对深度特征图fg进行卷积核大小为1*1*m的卷积操作得到注意力特征图ag，m为卷积核的通道数，每个通道的注意力图代表网络提取到的物体某一部位的显著性特征。其次，基于双线性注意力融合(bilinear attentionfusion)将分别对提取到的深度特征图fg和注意力图ag对应元素相乘得到全局目标特征图f
gt
，再经过全局平均池化(gap)得到全局特征矩阵f
gm
，最后经过全连接层(fc)输出基云图的粗粒度预测概率p1。
7.步骤2：基于注意力的区域定位模块；
8.为了抑制输入图像引入的背景噪声，同时实现对局部辨别性特征的定位和细化，
对地基云图像的纹理和形状特征可以得到有效挖掘。首先将ag进行批量归一化得到注意力权重w，并根据w从ag中随机选择两张注意力特征图a
′1和a'2。其次，设置阈值θ1和θ2分别用于产生注意力特征图a
′1和a'2的生成掩膜a
′
1_mask
和a'
2_mask
。再次，根据阈值θ1∈[0,1]确定a
′
1_mask
矩阵中所有非零值的坐标，并分别找出a
′
1_mask
横纵坐标中的最大值x
max
,y
max
和最小值x
min
,y
min
得到截取框[x
min
:x
max
,y
min
:y
max
]，根据截取框对i'进行裁剪得到截取图像crop_img；根据阈值θ2∈[0,1]确定a'
2_mask
矩阵中所有非零值的位置，使用a'
2_mask
直接对i'相乘得到擦除图像drop_img；最后，采用双线性插值上采样将crop_img和drop_img的大小调整为224*224。
[0009]
步骤3：细粒度预测网络；
[0010]
为了提取地基云图的局部特征，细粒度预测网络首先使用与步骤1中相同的主干特征提取网络inceptionv3对224*224大小的crop_img和drop_img图像提取特征得到深度特征图f
l
，并基于与步骤1相同的注意力学习机制对f
l
进行卷积操作得到注意力特征图a
l
；其次，基于双线性注意力机制将分别得到的f
l
和a
l
对应元素相乘得到局部目标特征图f
lt
；再次，对f
lt
进行全局平均池化得到局部特征矩阵f
lm
，并作为11类线性分类器的输入，得到地基云图的细粒度预测概率p2；最后，计算粗粒度分类预测概率p1和细粒度预测概率p2的平均值得到最终地基云的分类概率p。
[0011]
本发明设计了一种基于粗细粒度的地基云图分类方法，该方法将原图作为粗粒度预测网络的输入获取全局特征和粗粒度预测概率；将局部定位图像crop_img和drop_img作为细粒度网络的输入获取局部特征和细粒度预测概率。本发明有效的建立了全局特征与局部特征之间的联系。深度学习模型经过训练之后，最终能够用于提升分类的准确率，降低了标注成本和标注的工作量，为设备集成与实际应用提供了可能性。
附图说明
[0012]
图1为gfcnet网络结构。图中，(a)粗粒度预测网络、(b)基于注意力的区域定位模块、(c)细粒度预测网络
[0013]
图2为地基云图像裁剪和擦除后的可视化图像。
[0014]
图3为gfcnet在gbcid数据集上特征图的可视化结果。(a)grad-cam，(b)grad-cam的热力图，和(c)grad-cam叠加原图上的热力图。
具体实施方式
[0015]
为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，并参照附图，对本发明实施方式作进一步地详细描述。
[0016]
首先基于粗细粒度的地基云图分类方法的网络架构如图1所示，该方法包含三部分：s1，粗粒度预测网络；s2，基于注意力的区域定位模块；s3，细粒度预测网络。其中s1的输入是大小为448*448的地基云图像i，输出是(12,12,32)大小的注意力图a和地基云图的粗粒度预测概率p1；s2的输入是(12,12,32)大小的注意力图a，输出是(224,224)大小的定位图像crop_img和drop_img；s3的输入是(224,224)大小的局部定位图像crop_img和drop_img，输出是地基云图的细粒度预测概率p2；最后，计算粗粒度分类预测概率p1和细粒度预测概率p2的平均值得到最终地基云的分类概率p。具体包含一下步骤：
[0017]
s1：粗粒度预测网络；
[0018]
粗粒度预测网络的网络架构设计如图1(a),包含预处理模块，主干特征提取网络inceptionv3，注意力机制、双线性注意力机制模块、全局平均池化(gap)。首先将大小为448*448的地基云图像i作为输入，经过预处理模块得到大小224*224的图像i'，利用在imagenet上预训练好的inceptionv3网络模型作为主干特征提取网络提取地基云图的特征，选择第mix 6e层的输出作为地基云图的深度特征图fg，并基于注意力学习机制对深度特征图fg进行卷积核大小为1*1*m的卷积操作得到注意力特征图ag，m为卷积核的通道数；其次，基于双线性注意力机制将分别得到fg和ag对应元素相乘得到全局目标特征图f
gt
；最后，对全局目标特征图f
gt
进行全局平均池化得到全局特征矩阵f
gm
，并作为11类线性分类器的输入，得到地基云图的粗粒度预测概率p1，其中产生ag，f
gt
和f
gt
的具体表达式如下。
[0019]ag
＝f(fg)
ꢀꢀ
(1)
[0020][0021]
其中，f(
·
)是卷积核大小为1*1*32的卷积操作，fg是特征图,a
gi
代表物体中某个部位的显著性特征,m是注意力图的数量。
[0022][0023]fgm
＝g(f
gt
)
ꢀꢀ
(4)
[0024]
其中
⊙
表示每个注意力特征图分别和特征矩阵对应元素相乘；f
gt
是目标特征图；f
gm
是全局特征矩阵；g(
·
)是全局平均池化(gap)。
[0025]
s2：基于注意力的区域定位模块；
[0026]
区域定位模块的网络架构设计如图1(b),考虑到当物体太小时，会引入较高比例的背景噪声，设计的基于注意力的区域定位模块不仅可以抑制输入图像引入的背景噪声，同时实现对辨别性特征的定位和细化提取特征。区域定位模块中本发明充分利用注意力特征图所包含的位置信息，首先将ag进行批量归一化得到注意力权重w，并根据w从ag中随机选择两张注意力特征图a
′1和a'2。其次，设置阈值θ1和θ2分别用于产生注意力特征图a
′1和a'2的生成掩膜a
′
1_mask
和a'
2_mask
，其中产生a
′
1_mask
和a'
2_mask
的表达式如下：
[0027][0028][0029]
再次，根据阈值θ1∈[0,1]确定a
′
1_mask
矩阵中所有非零值的坐标，并分别找出a
′
1_mask
横纵坐标中的最大值x
max
,y
max
和最小值x
min
,y
min
得到截取框[x
min
:x
max
,y
min
:y
max
]，根据截取框对i'进行裁剪得到截取图像crop_img；根据阈值θ2∈[0,1]确定a'
2_mask
矩阵中所有非零值的位置，使用a'
2_mask
直接对i'相乘得到擦除图像drop_img；最后，采用双线性插值
上采样将crop_img和drop_img的大小调整为224*224，产生crop_img和drop_img的表达式如下：
[0030]
crop_img＝h(i'[h
min
:h
max
,w
min
:w
max
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0031]
drop_img＝i'*a'
2_mask
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0032]
其中，图2是对crop_img和drop_img的可视化图像。
[0033]
s3：细粒度预测网络；
[0034]
细粒度预测网络的网络架构设计如图1(c)，首先使用与步骤1中相同的主干特征提取网络inceptionv3对224*224大小的crop_img和drop_img图像(如图2)提取特征得到深度特征图f
l
，并基于与步骤1相同的注意力学习机制对f
l
进行卷积操作得到注意力特征图a
l
；其次，基于双线性注意力机制将分别得到的f
l
和a
l
对应元素相乘得到局部目标特征图f
lt
；再次，对f
lt
进行全局平均池化得到局部特征矩阵f
lm
，并作为11类线性分类器的输入，得到地基云图的细粒度预测概率p2；最后，计算粗粒度分类预测概率p1和细粒度预测概率p2的平均值得到最终地基云的分类概率p。图3的2，3列给出了地基云图i在粗粒度预测网络中生成的全局深度特征图和全局注意力特征图的可视化；4，5列给出了crop_img和drop_img在细粒度预测网络中生成的局部注意力特征图的可视化。其中(a)是grad-cam；(b)是grad-cam的热力图；(c)是grad-cam叠加原图上的热力图，根据可视化特征图可以看出本发明对地基云图的显著性局部特征具有较高的定位精度。