一种基于风格迁移的图像分割域泛化方法

技术特征：
1.一种基于风格迁移的图像分割域泛化方法，其特征在于，该方法包括以下步骤：s1、从包含多个源域的训练数据集p中提取纹理结构特征，纹理结构特征包括原始图像与生成图像中类别c的局部二值模式特征和；s2、采用训练数据集p训练基于局部不变性的随机风格生成模型，随机风格生成模型采用包含两个生成器、和两个判别器、的循环生成对抗网络；s3、基于风格随机生成模型构建元学习的训练数据集m，训练数据集m包括元训练集和元测试集；s4、采用训练数据集m训练基于元学习范式的泛化模型，通过在训练过程中模拟域偏移来促进鲁棒优化，以得到可以应对不同风格下场景的泛化模型。2.根据权利要求1所述的图像分割域泛化方法，其特征在于，在步骤s1中，具体包括：s11、在训练数据集p中根据标签提取原始图像与生成图像中类别c的局部二值模式特征和；s12、根据局部二值模式特征和计算余弦相似度来构建局部相似损失，其用于使得图像风格生成过程中掩膜区域内的纹理结构保持不变。3.根据权利要求2所述的图像分割域泛化方法，其特征在于，在步骤s12中，局部相似损失的计算公式为：；上式中，c表示类别c的数量，和均为原始图像与生成图像中类别c的局部二值模式特征。4.根据权利要求1所述的图像分割域泛化方法，其特征在于，在步骤s2中，两个生成器和分别用于将风格为s的真实图像和风格为t的真实图像转换为中间态风格的生成图像，其中，z表示域无关的随机变量；判别器用于区别真实样本和生成样本，两个判别器和分别来判别图像和图像。5.根据权利要求1所述的图像分割域泛化方法，其特征在于，在步骤s2中，随机风格生成模型的损失函数由对抗损失、循环一致损失和局部相似损失组成，定义为：；其中，对抗损失定义为：；其中，；；
上式中，z表示域无关的随机变量，和分别代表源域和目标域的图片集合，表示计算来自数据集的所有样本的期望值，表示计算来自数据集的所有样本的期望值；循环一致损失定义为：；上式中，z表示域无关的随机变量，表示将风格为s的真实图像转换为生成图像的生成器，表示风格为t的真实图像转换为生成图像的生成器；局部相似损失定义为：；上式中，c表示类别c的数量，和均为原始图像与生成图像中类别c的局部二值模式特征。6.根据权利要求5所述的图像分割域泛化方法，其特征在于，域无关的随机变量z∈[0,1]，随机变量z越接近0时，中间态的图片风格越接近原始图像，反之当随机变量z越接近1时，中间态的图片风格越接近风格图像。7.根据权利要求1所述的图像分割域泛化方法，其特征在于，在步骤s3中，具体包括：s31、从源域s中随机选择一个域，并从该域中随机采样n张图像作为元训练集；s32、根据训练好的风格随机生成模型将n张图像的风格由原始图像转换为中间态，将生成图像作为元测试集，原始图像与其对应的生成图像共享相同的语义标签。8.根据权利要求1所述的图像分割域泛化方法，其特征在于，在步骤s4中，泛化模型采用一个基于编码器-解码器的分割网络作为元学习范式中的骨干网络。9.根据权利要求8所述的图像分割域泛化方法，其特征在于，分割网络的损失函数由交叉熵损失和dice损失组成，定义为：，其中；交叉熵损失定义为：；dice损失定义为：；上式中，m 代表该图像中像素的总和，c 代表类别数量，和分别代表第i个像素的第c个类别的预测概率和真实值。

技术总结
本发明涉及图像处理技术领域，解决了前基于风格迁移的方法难以在生成多样化风格的同时保留图像的结构信息的技术问题，尤其涉及一种基于风格迁移的图像分割域泛化方法，该方法包括以下步骤：S1、从包含多个源域的训练数据集P中提取纹理结构特征；S2、采用训练数据集P训练基于局部不变性的随机风格生成模型。本发明通过局部纹理不变约束和域无关的随机变量实现图像生成，进而构建模拟域偏移的情景训练方案，使得模型更加关注图像的内容，减少对于风格信息的依赖，能够在生成多样化风格的同时保留图像的结构信息，有效提高了模型在未知域上的分割准确率，提升了模型部署的效率。提升了模型部署的效率。提升了模型部署的效率。


技术研发人员：王瑞 宋艳枝 杨周旺
受保护的技术使用者：中国科学技术大学
技术研发日：2023.08.17
技术公布日：2023/9/19