一种多级语义融合的云和云影检测方法、设备及存储介质

技术特征：
1.一种多级语义融合的云和云影检测方法，其特征在于，方法包括以下步骤：从谷歌地球上直接获取到的原始图片，大小为4800
×
2742像素，之后将原始图片进行统一裁剪，之后通过人工手动进行图片标签的标注，将图片中的云层标注为红色，云影标注为绿色，背景标注为黑色，使得标签与原图一一对应，再将所有图片以8：2的比例划分为训练集和验证集；构建多级特征上下文语义融合网络以及三个所属模块，其中包括多支路残差上下文语义模块，多尺度卷积子通道注意力模块和特征融合上采样模块；将数据集中的图片进行数据增强操作，以0.2的概率对数据集中的图片进行随机旋转，水平翻转或者垂直翻转操作，再将图片和标签转换为张量作为输入序列，并将输入的批量大小设置为8，将初始学习率设置为0.001，衰减系数为0.98，每训练3次更新一次学习率，一共训练了200次，其中学习率计算公式如下：lr
n
＝lr0×
β
n/s
其中lr
n
为第n次训练的学习率大小，lr0为初始学习率，β为衰减系数，s为更新间隔，损失函数选择交叉熵损失函数，计算公式如下：其中x是网络的输出张量，class是真实标签，训练过程中使用adam算法来作为优化器，从而得到训练后的多级特征上下文语义融合网络；输入一张彩色图片，将彩色图片经过训练后的多级特征上下文语义融合网络进行编码解码操作后输出得到云和云影的掩膜图像。2.根据权利要求1所述的一种多级语义融合的云和云影检测方法，其特征在于，所述多支路残差上下文语义模块采用残差结构的形式，通过对输入张量进行一个捷径连接的方式实现恒等映射，既没有引入额外的参数也没有引入计算复杂性，且保留输入的部分原始参数；主体部分采用双支路的连接方式，左边支路是一个上下文语义支路，用于提取上下文的语义信息，并且融入了自注意力机制来关注特征图中有意义的信息；右边支路是一个强化特征提取支路，在使用3x3卷积块的同时引入了两个条状卷积，用于强化特征的提取，实现效果的提升；首先将输入张量经过一个1x1的卷积进行通道压缩，将通道压缩为原来的1/2，接着经过双支路输出后将输出张量进行融合，并与输入端构成残差连接后再经过一个双通道注意力模块，建模各个通道特征之间的重要性；多支路残差上下文语义模块中引入了上下文语义支路，将卷积与注意力结合起来，使用卷积提取特征图中的局部信息，首先对于输入特征，使用一个3
×
3的卷积对输入进行特征映射来获得具有局部上下文信息联系的key，标记为k，使用一个1
×
1的卷积对输入进行特征映射来获得value，标记为v，而query仍然采用原来的值，将query标记为q，之后将key与query进行concat并且进行了两次连续的卷积操作后得到每个像素点的权重attention map，标记为a：a＝conv(conv(concat[k,q]))
其中conv(.)表示卷积操作，concat(.)表示将多个张量进行通道维度上的连接，与传统的注意力机制不同的是，这里的a是由q和局部上下文语义信息k交互得到的，利用局部上下文语义信息之间的交互联系增强了注意力机制，之后再将这个a与v进行相乘得到动态上下文信息x:x＝a*v最后将具有局部上下文信息的k与具有全局上下文信息的x相加便得到左边支路的输出结果；右边支路引入了1
×
3和3
×
1这一组条状卷积块，通过分别使用3
×
3，1
×
3和3
×
1这三种卷积核来替代单一的3
×
3卷积核进行计算，之后再将三个输出相加得到最终输出。3.根据权利要求1所述的一种多级语义融合的云和云影检测方法，其特征在于，所述多尺度卷积子通道注意力模块用于提取深层通道互相之间的联系，通过分组卷积提取不同尺度的信息后经过改进的金字塔池化模块进一步提取深层语义信息，其中使用了条状池化来精确提取云和云影的边界信息，改善分割边界粗糙的问题，使用多尺度卷积来提取不同尺度的信息以此来提升模型的表达能力，在主支路中首先使用1
×
1，3
×
3，5
×
5，7
×
7不同尺寸的卷积核提取深层特征中不同尺度的信息，这样更好的提取特征图中的信息，接着使用改进的金子塔池化层对特征图中云和云影的边缘信息进行细化提取，最后进行拼接输出，主干支路计算过程如下：c
i
＝conv(k
i
×
k
i
)(x)i＝0,1,2,3a
i1
＝avg(k
i
×
1)(c
i
)i＝0,1,2,3a
i2
＝avg(1
×
k
i
)(c
i
)i＝0,1,2,3a
i
＝a
i1
a
i2
y＝dwconv(concat[a0,a1,a2,a3])其中conv(.)表示不同尺度的卷积，k
i
表示卷积核大小，avg(.)表示不同尺寸的条状池化，dwconv(.)表示深度可分离卷积，concat(.)表示拼接操作；对输入特征图进行通道上的split，划分为不同的子通道，之后基于每个子通道上使用不同的卷积核进行卷积得到通道上的不同特征图，接着分别经过通道注意力提取不同尺度下的关注度，得到通道注意力向量，最后使用softmax进一步对通道信息进行校准；其中通道注意力模块允许对每个通道的重要性进行评估，从而关注重要的信息，同样的与大多数通道注意力一样首先使用一个自适应全局平均池化层对特征图进行通道信息的提取，接着经过两层一维卷积层对全局信息进行压缩和重新校准，最后通过非线性激活函数sigmoid计算权重，整个辅助支路的计算过程如下：f
i
＝conv(k
i
×
k
i
)(x)i＝0,1,2,3g
i
＝gap(f
i
)s
i
＝sigmoid(w1σ(w0(g
i
)))q
i
＝softmax(s
i
)w＝concat(q1,q2,q3,q4)其中σ表示非线性激活函数relu，表示一维卷积操作，通过对通道的压缩再还原能够更有效的组合通道间的相互关系，有利于维度之间的信息交互；
通过主支路的强化特征提取与辅助支路的通道权重计算得到特征图中的重要信息，将两者进行乘积，最后使用深度可分离卷积进行通道调整，计算公式如下：output＝dwconv(w*y)。4.根据权利要求1所述的一种多级语义融合的云和云影检测方法，其特征在于，所述特征融合上采样模块将高层特征的语义信息与低层特征的细节信息相互融合，使用高层特征丰富的类别信息来指导低层特征进行分类，采用双支路的模式对低级特征图中的信息进行提取，在左边支路中采用了“瓶颈结构”的模式，引入空洞卷积增大其感受野面积，右边支路同样引入空洞卷积，之后经过一个最大池化层减小邻域大小受限造成的估计值方差增大的误差，保留更多的图像背景信息，对于高级特征来说，首先采用双线性插值上采样的方法将高级特征图上采样到与低级特征图同样的大小，然后经过卷积层对其中的类别信息进行细化提取，将高层特征进行加权后与低层特征进行融合，最后将两边结果进行相加后经过1
×
1卷积对通道进行调整并输出。5.根据权利要求1所述的一种多级语义融合的云和云影检测方法，其特征在于，所述多级特征上下文语义融合网络主要采取了多级特征融合的方法，将深层特征与浅层特征进行融合并加入注意力机制，总体是一个编码器-解码器的结构，首先使用残差网络resnet-18作为主干网络并采用逐层下采样方式进行特征提取，接着将输出特征分别经过多支路残差上下文语义模块与多尺度卷积子通道注意力模块进行上下文语义的提取以及特征强化，加入大量的特征传输通道以及融合操作用于融合不同特征层的信息，编码器部分通过逐层上采样的同时将深层信息与浅层信息进行聚合使得网络中的上下文信息传播到更高分辨率的层中，最后在输出端采用一个残差模块进行通道阶梯细化。6.根据权利要求1所述的一种多级语义融合的云和云影检测方法，其特征在于，所述裁剪的方式为滑动无盖切割，所裁剪获取的图像为3通道，宽高为224的大小。7.根据权利要求6所述的一种多级语义融合的云和云影检测方法，其特征在于，所述裁剪后的图片的大小为224
×
224。8.根据权利要求2所述的一种多级语义融合的云和云影检测方法，其特征在于，经过双支路特征提取后进入一个双通道注意力模块，由于常见的通道注意力大都是直接采用全局平均池化从而会导致边缘信息的丢失，使用两种类型的全局池化操作，分别是全局平均池化和全局最大池化，使得提取到的特征信息更加丰富，接着使用1x1卷积操作提取通道之间的相互信息，主要关注不同的特征信息在不同通道之间的重要性，计算公式如下：g
max
＝conv1d(gmp(x))g
avg
＝conv1d(gap(x))其中gmp(.)，gap(.)分别为全局最大池化和全局平均池化操作，conv1d(.)为一维卷积操作，接着将两条分支的结果进行拼接后经过卷积操作，自适应的关注全局平均池化和最大池化的特征信息，加强对有用信息的关注，如云层和云影的边缘轮廓和像素颜色值，弱化了对无用信息的关注，如背景农田和房屋建筑，最后经过非线性激活函数sigmoid(.)与输入原始特征层进行乘积运算得到最后的输出结果，计算过程如下：g＝concat(g
max
,g
avg
)w＝sigmoid(conv1d(g))y
out
＝x*w
其中concat(.)表示拼接操作，sigmoid(.)表示非线性激活函数，conv1d(.)表示一维卷积操作。9.一种设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的一种多级语义融合的云和云影检测方法。10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的一种多级语义融合的云和云影检测方法。

技术总结
本发明公开了一种多级语义融合的云和云影检测方法、设备及存储介质，涉及图像处理技术领域，使用残差网络作为骨干网络对输入图片数据进行特征提取，整体采用编码器-解码器的结构，在模型中我们提出了多支路残差上下文语义模块，多尺度卷积子通道注意力模块和特征融合上采样模块三个模块用于强化特征提取，细化云和云影边缘信息，增强模型的实际分割能力，相较于当前的方法检测云和云影更加准确，有效减少背景信息的干扰，增强对云层边缘以及薄云的检测能力，解决了大多数网络对于云影的检测精度不够高的技术问题，提高了对云和云影的检测精度，增强了算法的鲁棒性能。增强了算法的鲁棒性能。增强了算法的鲁棒性能。


技术研发人员：夏旻 张恩伟 王慧琴 翁理国
受保护的技术使用者：南京信息工程大学
技术研发日：2022.06.20
技术公布日：2022/8/26