半监督遥感影像语义分割方法、装置、设备、介质及产品

本申请涉及光学遥感影像，特别涉及一种半监督遥感影像语义分割方法、装置、设备、介质及产品。

背景技术：

1、半监督语义分割方法凭借其能够高效利用有限的有标注数据和丰富的未标注数据的特性，在遥感影像语义分割领域受到了广泛关注。然而，这些方法通常基于一个核心假设——聚类假设，即假定未标记数据中存在自然的聚类结构，使得相似样本在特征空间中相互接近。这一假设虽然有效，但过度依赖高质量的特征表示，可能会导致网络在训练过程中出现学习偏差和认知偏差。

2、首先，当有标签数据稀缺时，模型往往过于关注这些有限的数据，从而无法全面捕捉所有数据的内在结构。这种基于聚类的假设在这种情况下可能导致错误的分类决策，进而产生学习偏差。其次，当两个类别在特征空间中表现出高度的相似性时，聚类算法可能难以准确区分它们，导致数据点混淆，从而削弱模型对这些类别的区分能力，产生认知偏差。其中，一旦模型对相似类别的数据点生成了错误的伪标签，这些标签将进一步强化模型的错误认知，加剧偏差。

3、针对上述问题，基于一致性的半监督语义分割方法应运而生。这种方法通过对未标记数据应用不同的扰动来改变数据点的特征表示，从而破坏原有的聚类结构，促使模型学习更加鲁棒和泛化的特征。然而，为了保持数据的原始分布特性，现有方法通常只采用微弱的扰动，如添加微小的噪声或进行轻微的变换。

4、然而，在处理遥感影像时，这种轻微的扰动并非一直有效，这主要是由于遥感影像的复杂性，包括其独特的纹理特征、光谱特征以及丰富的语义信息，使得轻微的扰动难以改变其固有的特征表示。此外，随着训练的进行，网络参数逐渐稳定并收敛至局部最优解，导致模型对数据的微小变化变得不再敏感。

技术实现思路

1、本申请提供一种半监督遥感影像语义分割方法、装置、设备、介质及产品，以解决现有技术中网络学习偏差、认知偏差、且轻微扰动效果不佳，同时训练易陷入局部最优等问题。

2、本申请第一方面实施例提供一种半监督遥感影像语义分割方法，包括以下步骤：获取光学遥感影像的有标签数据集和无标签数据集，其中，所述有标签数据集包括多个有标签影像，所述无标签数据集包括多个无标签影像；构造半监督语义分割网络的损失函数，利用所述有标签数据集、所述无标签数据集和所述损失函数训练所述半监督语义分割网络，其中，所述半监督语义分割网络包括结构对称的学生模型和教师模型，所述教师模型提取无标签影像的特征，所述学生模型同时提取无标签影像和有标签影像的特征；在训练过程中，对所述教师模型和所述学生模型各自提取无标签影像的特征进行一致性增强处理，对所述学生模型的多解码器进行弱正交约束，并将所述学生模型学习到的知识对称传递至所述教师模型；利用训练完成的半监督语义分割网络输出光学遥感影像的语义分割结果。

3、可选地，所述半监督语义分割网络对所述光学遥感影像进行多次下采样，并对所述教师模型和所述学生模型各自编码器进行随机初始化。

4、可选地，所述对所述教师模型和所述学生模型各自提取无标签影像的特征进行一致性增强处理，包括：将所述教师模型和所述学生模型各自提取无标签影像的特征展平为一维向量，并计算两个一维向量之间的欧式距离；根据所有欧式距离的平均值作为一致性约束损失。

5、可选地，所述对所述学生模型的多解码器进行弱正交约束，包括：展开所述学生模型的每个解码器的权重；对每两个解码器的权重进行弱正交约束；利用每个解码器进行特征解码，通过分类器进行分割，整合所有分割结果得到最终的分割结果。

6、可选地，所述半监督语义分割网络的损失函数为：

7、

8、其中，为监督损失，为一致性损失函数，d(fs,ft)为b节中的特征增强损失和弱正交损失，orth为c节中的特征增强损失和弱正交损失，β为损失权重，γ为b节对应损失权重。

9、可选地，在利用所述有标签数据集、所述无标签数据集和所述损失函数训练所述半监督语义分割网络之前，还包括：对所述无标签数据集的无标签影像进行数据预处理，其中所述数据预处理包括裁剪、旋转和颜色变换的至少一种处理方式。

10、本申请第二方面实施例提供一种半监督遥感影像语义分割装置，包括：获取模块，用于获取光学遥感影像的有标签数据集和无标签数据集，其中，所述有标签数据集包括多个有标签影像，所述无标签数据集包括多个无标签影像；提取模块，用于构造半监督语义分割网络的损失函数，利用所述有标签数据集、所述无标签数据集和所述损失函数训练所述半监督语义分割网络，其中，所述半监督语义分割网络包括结构对称的学生模型和教师模型，所述教师模型提取无标签影像的特征，所述学生模型同时提取无标签影像和有标签影像的特征；处理模块，用于在训练过程中，对所述教师模型和所述学生模型各自提取无标签影像的特征进行一致性增强处理，对所述学生模型的多解码器进行弱正交约束，并将所述学生模型学习到的知识对称传递至所述教师模型；输出模块，用于利用训练完成的半监督语义分割网络输出光学遥感影像的语义分割结果。

11、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上所述的半监督遥感影像语义分割方法。

12、本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上所述的半监督遥感影像语义分割方法。

13、本申请第五方面实施例提供一种计算机程序产品，包括计算机程序或指令，该程序或指令被执行时，以用于实现如上所述的半监督遥感影像语义分割方法。

14、由此，本申请至少具有如下有益效果：

15、本申请实施例通过特征一致性增强模块引入标签信息和教师模型的双重指导，减少了对标注数据的依赖，并缓解了学习偏差。为了最大化特征差异，采用多解码器结构和权重两两弱正交技术，增强特征的扰动效果，使模型能从多角度学习。同时，通过在对称的教师模型结构中应用相同的多解码器结构，提高了伪标签的置信度和一致性学习的效果，进而提升了整体模型的性能。由此，解决了现有技术中网络学习偏差、认知偏差、且轻微扰动效果不佳，同时训练易陷入局部最优等技术问题。

16、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种半监督遥感影像语义分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的半监督遥感影像语义分割方法，其特征在于，所述半监督语义分割网络对所述光学遥感影像进行多次下采样，并对所述教师模型和所述学生模型各自编码器进行随机初始化。

3.根据权利要求1所述的半监督遥感影像语义分割方法，其特征在于，所述对所述教师模型和所述学生模型各自提取无标签影像的特征进行一致性增强处理，包括：

4.根据权利要求1所述的半监督遥感影像语义分割方法，其特征在于，所述对所述学生模型的多解码器进行弱正交约束，包括：

5.根据权利要求1所述的半监督遥感影像语义分割方法，其特征在于，所述半监督语义分割网络的损失函数为：

6.根据权利要求1所述的半监督遥感影像语义分割方法，其特征在于，在利用所述有标签数据集、所述无标签数据集和所述损失函数训练所述半监督语义分割网络之前，还包括：

7.一种半监督遥感影像语义分割装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的半监督遥感影像语义分割方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的半监督遥感影像语义分割方法。

10.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被执行时，以实现权利要求1-6任一项所述的半监督遥感影像语义分割方法。

技术总结本申请涉及光学遥感影像技术领域，特别涉及一种半监督遥感影像语义分割方法、装置、设备、介质及产品，其中，方法包括：获取光学遥感影像的有标签和无标签数据集；构造损失函数，利用有标签、无标签数据集和损失函数训练半监督语义分割网络，其中，半监督语义分割网络包括学生和教师模型，教师模型提取无标签影像的特征，学生模型提取无标签影像和有标签影像的特征；对提取无标签影像的特征进行一致性增强处理，对学生模型的多解码器进行弱正交约束，并将学习到的知识对称传递至教师模型；利用训练完成的半监督语义分割网络输出语义分割结果。由此，解决了现有技术中网络学习偏差、认知偏差、且轻微扰动效果不佳，同时训练易陷入局部最优等问题。技术研发人员：张莉,李治江,郑玉芝,张雯受保护的技术使用者：武汉大学技术研发日：技术公布日：2024/9/29