一种基于域适应的遥感影像跨域语义分割方法

本公开涉及遥感应用，尤其涉及一种基于域适应的遥感影像跨域语义分割方法。

背景技术：

1、遥感（remote sensing）是指利用卫星、无人机等远距离传感器，非接触的获取地面目标的电磁波辐射信息，对地表实施遥测的技术。遥感影像作为遥感研究的信息载体，在军事和民用等领域具有重要的价值。随着卫星与无人机技术的进步，遥感影像的质量和分辨率显著提高。同时，其获取的难度也大幅度减小。各类遥感卫星（如landsat、sentinel和高分二号等）提供了大量的观测数据作为遥感影像研究的依据。这些影像为人们了解不同尺度下的地球系统提供了重要的信息基础。近年来，深度学习技术开始引发人们广泛关注，并出现了各种各样的深度学习模型。其中，深度学习技术中的语义分割模型被广泛用于遥感影像上，如全卷积网络（fcn），编码器-解码器结构的u-net和segnet，以及deeplab系列网络等。这些模型具有出色的性能，但在实际应用中，存在着一些问题导致这些模型不能更好的应用。

2、使用深度学习的方法进行语义分割通常需要足够的训练样本，这就意味着必须手动标记大量的像素级标签，但这样的成本是非常昂贵。其次，深度学习模型对数据的分布变化特别敏感，其要求训练数据（源域数据）与测试数据（目标域数据）满足独立同分布的假设前提。但在实际应用中，由于成像传感器、地理位置、空间分辨率和光照强度的不同，导致不同遥感影像之间的外观和结构特征差距较大。此时，如果将源域影像上已经训练好的语义分割模型直接应用到另一组截然不同的目标域影像上，模型的性能会显著下降。产生这种结果的主要原因是不同的成像传感器和光照强度，会导致相同的类别在不同数据上可能会表现出完全不同的颜色信息和纹理特征。因此，我们需要对新的影像数据重新标记标签用于模型训练，不能充分利用已有的标签数据。

技术实现思路

1、（一）要解决的技术问题

2、为解决现有技术中基于域适应的遥感影像跨域语义分割方法所出现的上述技术问题至少之一，本公开的实施例提供了一种基于域适应的遥感影像跨域语义分割方法、装置、设备及介质，使用源域影像和目标域影像同时训练分割模型，有效解决将源域影像上已经训练好的语义分割模型直接应用到另一组截然不同的目标域影像上，模型的性能会显著下降的问题以及需要每次对目标域影像重新标记标签的问题。

3、（二）技术方案

4、鉴于上述问题，本公开的实施例提供了一种基于域适应的遥感影像跨域语义分割方法、装置、设备及介质。

5、根据本公开的第一个方面，提供了一种基于域适应的遥感影像跨域语义分割方法，其特征在于，所述方法包括：获取目标域遥感影像；以及将所述目标域遥感影像输入预先训练的目标语义分割模型，得到所述目标域遥感影像的语义分割结果。其中，预先训练所述目标语义分割模型包括对抗域适应训练和自训练域适应训练。

6、在一些示例性的实施例中，所述对抗域适应网络包括分割网络、特征级鉴别器和输出级鉴别器，预先训练所述目标语义分割模型，包括：获取源域数据和目标域数据，其中，所述源域数据带有源域标签；利用所述特征级鉴别器和所述分割网络，通过对抗学习使所述源域数据的第一特征和所述目标域数据的第二特征的分布趋近于一致，实现特征级域适应，得到特征级对抗损失；利用所述输出级鉴别器和所述分割网络，通过协同训练使所述源域数据和所述目标域数据的输出级实现类别级对齐，得到输出级对抗损失；基于所述源域数据，利用交叉熵损失函数和代斯损失函数计算所述源域数据的监督分割损失；以及基于所述特征级对抗损失、所述特征级对抗损失和所述监督分割损失构造第一损失函数，利用所述第一损失函数对所述分割网络、所述特征级鉴别器和所述输出级鉴别器交替进行训练，使得所述第一损失函数的值最小化，得到域适应语义分割模型。

7、在一些示例性的实施例中，所述分割网络包括特征提取器，所述利用所述特征级鉴别器和所述分割网络，通过对抗学习使所述源域数据的第一特征和所述目标域数据的第二特征的分布趋近于一致，实现特征级域适应，得到特征级对抗损失，具体包括：基于所述源域数据和所述目标域数据，利用所述特征提取器提取所述源域数据的第一特征和所述目标域数据的第二特征；基于所述第一特征和所述第二特征，利用所述特征级鉴别器得到所述源域数据的域分类和所述目标域数据的域分类；基于第二损失函数实施对抗学习过程，使得所述特征提取器和所述特征级鉴别器达到特征级域适应，所述特征级域适应表明所述特征提取器获得的所述源域数据的第一特征和所述目标域数据的第二特征的分布趋近于一致；以及基于第二损失函数计算得到特征级对抗损失。

8、在一些示例性的实施例中，所述分割网络进一步包括第一分类器和第二分类器，利用所述输出级鉴别器和所述分割网络，通过协同训练使所述源域数据和所述目标域数据的输出级实现类别级对齐，包括：基于所述源域数据和所述源域标签，利用所述特征提取器提取所述源域数据的网络特征；基于所述网络特征，利用所述第一分类器和所述第二分类器分别得到所述网络特征的第一像素级预测结果和第二像素级预测结果；基于所述第一像素级预测结果和所述第二像素级预测结果，利用所述输出级鉴别器产生第一对抗损失；基于所述目标域数据，利用所述第一分类器和所述第二分类器预测得到所述目标域数据的第三像素级预测结果和第四像素级预测结果；基于所述第三像素级预测结果和所述第四像素级预测结果，利用余弦距离，生成预测结果之间的差异图；基于所述第三像素级预测结果和所述第四像素级预测结果，利用所述输出级鉴别器得到对抗损失图；基于所述差异图和所述对抗损失图，利用逐元素乘法得到加权后的第二对抗损失，其中加权的损失权重与预测结果之间余弦距离的大小相关；基于所述第一对抗损失和所述第二对抗损失构建第三损失函数，利用所述第三损失函数进行训练，在输出级实现所述源域数据和所述目标域数据的输出类别级对齐；以及基于所述第三损失函数，计算得到输出级对抗损失。

9、在一些示例性的实施例中，所述基于所述源域数据，利用交叉熵损失函数和代斯损失函数计算所述源域数据的监督分割损失，包括：基于所述第二像素级预测结果和所述源域标签，利用交叉熵损失函数计算得到所述源域数据的交叉熵损失；基于所述第二像素级预测结果和所述源域标签，利用代斯损失函数计算得到所述源域数据的代斯损失；基于所述交叉熵损失和所述代斯损失得到监督分割损失。

10、在一些示例性的实施例中，所述预先训练所述目标语义分割模型，还包括：基于所述目标域数据，利用所述域适应语义分割模型，得到目标域数据的预测结果；基于所述目标域数据的预测结果，利用超像素分割和熵的自训练方法，得到所述目标域数据的伪标签；以及加载已经训练好的域适应语义分割模型，基于所述目标域数据和所述目标域数据的伪标签继续训练域适应语义分割模型。

11、在一些示例性的实施例中，所述基于所述目标域数据的预测结果，利用超像素分割和熵的自训练方法，得到所述目标域数据的伪标签，包括：基于所述目标域数据，利用菲尔森茨瓦布超像素分割算法生成所述目标域数据的超像素分割结果；利用所述超像素分割结果与所述目标域数据的预测结果，获取所述目标域数据中的超像素块包含的类别标签；选取类别标签一致的超像素块，保留所述类别标签一致的超像素块的预测结果作为高置信度结果；基于所述熵对所述高置信度结果进一步进行置信度评估，得到每个像素的熵值，去除熵值大于阈值的像素，得到所述目标域数据的伪标签。

12、本公开的第二方面提供了一种基于域适应的遥感影像跨域语义分割装置，其特征在于，所述装置包括以下模块：获取模块，用于获取目标域遥感影像；以及预测模块，用于将所述目标域遥感影像输入预先训练的目标语义分割模型，得到所述目标域遥感影像的语义分割结果，其中，预先训练所述目标语义分割模型包括对抗域适应训练和自训练域适应训练。

13、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器以及存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

14、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

15、（三）有益效果

16、从上述技术方案可以看出，本公开的实施例提供的一种跨域语义分割方法、装置及设备至少具有以下有益效果其中之一：

17、（1）使用源域数据和目标域数据同时训练对抗域适应网络，实现特征级域适应和输出级域适应，有效解决数据分布不同，模型的性能会显著下降的问题以及需要重新标记大量目标域影像标签的问题。

18、（2）提出一种新的自训练域适应方法，该方法利用超像素分割和熵值过滤，获得目标域高置信度的伪标签。在域适应语义分割模型的基础上，通过高置信度的伪标签继续训练模型，提升模型在目标域上的性能。