基于领域不变的类别特征的可泛化分类方法、系统及设备

本发明属于计算机视觉处理领域，尤其涉及一种基于领域不变的类别特征的可泛化分类方法、系统及设备。

背景技术：

1、领域泛化的核心问题是如何使模型从不同的源域学习具有泛化能力的特征，以便在目标域中也能取得良好的表现。目标域中的数据在训练阶段是不可见的，因此领域泛化和领域适应不同，领域适应中，目标域的部分信息可能在训练时已经给出。而领域泛化对于目标域信息完全无法访问。

2、领域泛化的关键挑战主要有三点：（1）域移位问题。域间的差异可能体现在特征分布、背景信息、图像风格等方面，这些变化往往影响模型的预测准确性。（2）过拟合源域：模型可能会过度拟合在源域中的特定特征，这些特征并不适用于目标域，从而导致泛化失败。（3）相关性偏差：模型可能依赖于与类别相关但与领域不相关的“捷径”特征（如背景、颜色等），这些特征在目标域中无效或误导。

3、解决领域泛化的方法主要包括：不变特征学习、数据增强和元学习的方法。其中不变特征学习旨在找到跨领域共享的不变特征，使得模型对域变化的敏感性降低，提升在新域中的泛化能力。常用方法包括不变风险最小化，通过使模型在不同域上学习相同的特征表示，来增强泛化能力。另一种常见的方法是对抗性训练，即引入域判别器，强制模型学到的特征无法区分不同的域，从而确保模型提取的是与领域无关的特征。数据增强通过对训练数据进行各种变换（如图像旋转、翻转、颜色扰动等）来模拟不同领域的数据分布，使模型在训练时能看到更多可能的情况，从而提升泛化能力。元学习方法通过模拟域间变化进行训练，即将源域数据划分为多个“伪域”，并通过不断优化使模型能够适应不同域的变化。

4、领域泛化是为了让机器学习模型在跨越域间差异时保持高效的预测能力。研究者通过不变特征学习、数据增强、元学习等技术，力图解决域移位、过拟合等挑战，以提升模型的泛化性能。领域泛化的研究对机器学习模型在现实中的应用具有重要意义，尤其是面对那些分布动态变化或领域多样的任务。

技术实现思路

1、本发明的目的在于解决现有技术中存在的问题，并提供一种基于领域不变的类别特征的可泛化分类方法、系统及设备。

2、本发明的发明构思是：为了减少模型在训练阶段学习领域相关的特征或者类别共享的特征做出判断，以无法在未见目标域中做出有效预测，因此本发明提出了一种全新的可泛化分类方法。其中图像分类模型在可以基于多源域多类别的图像的特征中，寻找与领域无关且类别特殊的特征，作为可信且稳定的分类依据用于预测，以提升图像分类模型在未见目标域中的泛化性能。

3、为了实现上述发明目的，本发明具体采用如下技术方案：

4、第一方面，本发明提供了一种基于领域不变的类别特征的可泛化分类方法，其包括以下步骤：

5、s1：从不同环境中分别获取若干数目图像构建原始图像数据集，由原始图像数据集中相同环境来源的不同图像构成一个源域图像数据集，在每个源域图像数据集中采样图像，对采样得到的图像进行处理，由处理后的图像构建多个用于训练的批处理样本集合，每个处理后的图像对应一个真实类别标签；

6、s2：将目标域待分类的图像输入到训练好的图像分类模型中，输出图像类别的分类结果；其中，所述图像分类模型包含一个编码器和一个分类器；

7、在图像分类模型的训练过程中，编码器对批处理样本集合中的图像进行编码，输出混合特征，混合特征与获取到的源域特征相减后，得到领域不变的类别特征并将其存储至类别特征队列中，用于计算相似度，并将相似度计算结果作为真实类别标签的加权融合系数，以得到每个类别特征的类别软标签，将每个类别特征的类别软标签与真实类别标签之间的交叉熵损失类别不变性损失，将混合特征输入到分类器中，由分类器输出预测的类别概率，计算预测的类别概率与批处理样本集合中每个图像的真实类别标签之间的交叉熵损失，将批处理样本集合中属于相同类别的两个图像作为类别相同图像对，计算类别相同图像对的类别特征之间的相似度，并由相似度计算结果构建领域不变性损失，由类别不变性损失、交叉熵损失以及领域不变性损失加权求和作为总损失，基于最小化所述总损失更新图像分类模型参数，不断迭代训练，直至达到预设的迭代轮次，图像分类模型收敛，得到训练好的图像分类模型。

8、在上述方案基础上，各步骤可以采用如下优选的具体方式实现。

9、作为上述第一方面的优选，步骤s1中，在k个源域图像数据集中，分别采样m个不同图像组成一个采样数据集，对采样数据集中的每个图像进行随机中心裁剪，接着对裁剪后的图像以预设的概率进行图像增强，将增强后的图像转换为张量格式，并对格式转换后的图像进行正则化处理，将正则化处理后的图像对应的真实类别标签重新编码为索引值，将正则化处理后的图像及其对应的索引值组合为一个样本对，生成用于训练的批处理样本集合；其中，k表示环境来源数量；m表示采样数据集中的图像数量。

10、作为上述第一方面的优选，步骤s2中，所述图像分类模型的训练过程具体为：

11、s21：在当前迭代轮次中，按照环境来源将批处理样本集合切分为k个子数据集合，将k个子数据集合批量输入上一个迭代轮次更新后的编码器中，对k个子数据集合中的每个图像进行特征提取，将编码器提取到的特征作为混合特征，由每个子数据集合的所有混合特征构成对应每个子数据集合的编码特征集合；

12、s22：获取对应每个环境来源的上一个迭代轮次更新后的源域特征，计算相同环境来源的源域特征与对应编码特征集合中各个混合特征之间的相似度并由相似度计算结果构建对应每个源域特征的领域损失，基于最小化领域损失优化各自对应的当前迭代轮次的源域特征；

13、s23：对于每个编码特征集合，将其中的混合特征分别与当前迭代轮次对应的源域特征相减，以分离出领域不变的类别特征；

14、s24：获取当前的类别特征队列，依次计算每个类别特征与类别特征队列中各个类别特征之间的相似度，将相似度计算结果作为真实类别标签的加权融合系数，对类别特征队列中各个类别特征的真实类别标签进行加权求和，得到s23中每个类别特征的类别软标签；

15、s25：计算批处理样本集合对应的每个类别特征的类别软标签与其中每个图像的真实类别标签之间的交叉熵损失作为类别不变性损失，将s21编码器提取到的混合特征输入到上一个迭代轮次更新后的分类器中，由分类器输出预测的类别概率，计算预测的类别概率与批处理样本集合中每个图像的真实类别标签之间的交叉熵损失，将批处理样本集合中属于相同类别的两个图像作为类别相同图像对，计算类别相同图像对的类别特征之间的相似度，并由相似度计算结果构建领域不变性损失，由类别不变性损失、交叉熵损失以及领域不变性损失加权求和作为总损失，基于最小化所述总损失更新图像分类模型参数，不断迭代训练，直至达到预设的迭代轮次，图像分类模型收敛，得到训练好的图像分类模型。

16、进一步地，步骤s22中，所述领域损失的函数形式为：

17、

18、其中，表示编码器对第个子数据集合进行提取时得到的第个混合特征；表示上一个迭代轮次更新后的第个源域特征；表示相似度计算。

19、作为上述第一方面的优选，将步骤s23提取的类别特征和各自对应真实类别标签形成对应的数据对压入类别特征队列，并弹出类别特征队列中最先存入的类别特征和真实类别标签，以得到新的类别特征队列，然后当下一个迭代轮次开始时，将新的类别特征队列作为s24中当前的类别特征队列，用来进行相似度计算。

20、作为上述第一方面的优选，步骤s25中，所述领域不变性损失的函数形式为：

21、

22、其中，表示批处理样本集合中属于类别的图像个数；表示源域图像数据集中图像的类别数量；表示批处理样本集合中属于类别的第个图像的类别特征；表示批处理样本集合中属于类别的第个图像的类别特征。

23、作为上述第一方面的优选，步骤s2中，采用resnet50作为图像分类模型。

24、第二方面，本发明提供了一种基于领域不变的类别特征的可泛化分类系统，其包括：

25、数据获取模块，用于从不同环境中分别获取若干数目图像构建原始图像数据集，由原始图像数据集中相同环境来源的不同图像构成一个源域图像数据集，在每个源域图像数据集中采样图像，对采样得到的图像进行处理，由处理后的图像构建多个用于训练的批处理样本集合，每个处理后的图像对应一个真实类别标签；

26、结果获取模块，用于将目标域待分类的图像输入到训练好的图像分类模型中，输出图像类别的分类结果；其中，所述图像分类模型包含一个编码器和一个分类器；

27、在图像分类模型的训练过程中，编码器对批处理样本集合中的图像进行编码，输出混合特征，混合特征与获取到的源域特征相减后，得到领域不变的类别特征并将其存储至类别特征队列中，用于计算相似度，并将相似度计算结果作为真实类别标签的加权融合系数，以得到每个类别特征的类别软标签，将每个类别特征的类别软标签与真实类别标签之间的交叉熵损失类别不变性损失，将混合特征输入到分类器中，由分类器输出预测的类别概率，计算预测的类别概率与批处理样本集合中每个图像的真实类别标签之间的交叉熵损失，将批处理样本集合中属于相同类别的两个图像作为类别相同图像对，计算类别相同图像对的类别特征之间的相似度，并由相似度计算结果构建领域不变性损失，由类别不变性损失、交叉熵损失以及领域不变性损失加权求和作为总损失，基于最小化所述总损失更新图像分类模型参数，不断迭代训练，直至达到预设的迭代轮次，图像分类模型收敛，得到训练好的图像分类模型。

28、第三方面，本发明提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时，能实现如上述第一方面任一项方案所述的基于领域不变的类别特征的可泛化分类方法。

29、第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述第一方面任一方案所述的基于领域不变的类别特征的可泛化分类方法。

30、第五方面，本发明提供了一种计算机电子设备，其包括存储器和处理器；

31、所述存储器，用于存储计算机程序；

32、所述处理器，用于当执行所述计算机程序时，实现如上述第一方面任一方案所述的基于领域不变的类别特征的可泛化分类方法。

33、本发明相对于现有技术而言，具有以下有益效果：

34、本发明针对使用有限特定风格图像训练，提出了一种基于领域不变的类别特征的可泛化分类方法，可以在未见新风格图像分类的任务中寻找到关键特征分类，提升图像分类模型的泛化性能。本发明的方法从实际应用角度出发，对有限的训练图像进行了充分的利用。通过对比学习和不变表征学习方法，使简单的图像分类模型对未见风格图像的分类性能有了明显提升。基于本发明，在仅仅依赖有限风格的图像，便可对其他多样风格的图像进行稳定的预测，扩展了图像分类模型在真实世界中的应用场景并提升了性能表现。