基于傅里叶变换和对比学习的长尾学习方法

本发明涉及图像分类，具体为基于傅里叶变换和对比学习的长尾学习方法、长尾数据分布方法及计算机可读取存储介质。

背景技术：

1、长尾数据分布问题指的是在数据集中，各类别的样本数量呈现出不平衡的情况，即少数类别(头部类)占据了大部分的样本，而大多数类别(尾部类)只占据了少部分的样本。这种数据不平衡问题给深度学习模型的训练和测试带来了挑战，尤其是对于尾部类别的识别性能。例如在医疗图像疾病诊断领域，由于各种疾病的发病率不同，导致常见疾病样本多，罕见疾病样本少，因此具有长尾分布问题，导致深度学习模型的训练和测试难度增加。

2、为了解决长尾数据分布问题，目前已有一些方法被提出，主要可以分为两类：基于重采样或重加权的方法和基于特征学习的方法，例如，k.cao等人(k.cao，c.wei，a.gaidon，n.arechiga，t.ma，learning imbalanced datasets with label-distribution-awaremargin loss，advances in neural information processing systems 32(2019))提出了一个理论上的标签分布感知边缘损失，但是该方法还是在重新加权或重新采样的基础上应用的，这并不能有效地增加尾部类的多样性，而只是简单地重复使用已有的样本，可能会导致过拟合或模型偏差的问题；又如，x.chen等人(x.chen，y.zhou，d.wu，w.zhang，y.zhou，b.li，w.wang，imagine by reasoning：a reasoning-based implicit semantic dataaugmentation for long-tailed classification，in：proceedings of the aaaiconference on artificial intelligence，vol.36，2022，pp.356-364.)提出了一种基于推理的隐式语义数据增强方法，对尾部类样本进行自适应增强，但是该方法忽略了头部类和尾部类之间的特征关联性，头部类比起尾部类往往包含了更多样的特征信息。

3、因此，本发明的目的是提供一种新的长尾数据分布问题的解决方法，该方法可以在保持尾部类别的特征语义信息不变的同时，利用头部类别的特征的风格信息来增强尾部类别特征的多样性，从而提高模型在尾部类别上的泛化能力。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于傅里叶变换和对比学习的长尾学习方法，可以在保持尾部类别的特征语义信息不变的同时，利用头部类别的特征的风格信息来增强尾部类别特征的多样性，从而提高模型在尾部类别上的泛化能力。

2、为实现上述目的，本发明提供了如下技术方案：一种基于傅里叶变换和对比学习的长尾学习方法，包括如下步骤

3、采用均匀采样和翻转采样两种不同的采样策略，分别从数据集中抽取样本，利用均匀采样获得头部类别样本，利用翻转采样获得尾部类别样本，其中头部类别样本数量大于尾部类别样本数量；

4、将抽取的样本输入主干网络，在主干网络的每个残差块后加入傅里叶变换模块，将头部类别特征的风格信息迁移给尾部类别特征；

5、在主干网络的最后一层加入对比学习模块，对风格迁移后的尾部类别和原始的尾部类别的特征进行对比学习，使用simsiam loss来最大化风格迁移后的尾部类别数据与原始数据之间的相似度；

6、将头部类别和经过风格迁移的尾部类别的特征图输入到一个分类器中，得到它们的分类结果。

7、作为本发明的进一步改进，所述傅里叶变化模块包括以下执行步骤：

8、从网络前一层的输出中获得到头部类别和尾部类别的特征图，选择一定比例头部类别和尾部类别的特征图；

9、对选择的特征图进行二维傅里叶变换，得到其复数形式的频域表示；

10、将频域表示分解为振幅和相位两部分；

11、定义一个掩码，用于得到振幅的低频部分；

12、将尾部类别的振幅的低频部分替换为头部类别的振幅的低频部分，实现风格迁移；

13、将替换后的振幅和原始的尾部类别的相位合并，然后进行逆傅里叶变换，得到风格迁移后的尾部类别的特征图；

14、将被选择的经过风格迁移的尾部类别的特征图与未被选择的原始特征图拼接在一起；

15、风格迁移后的尾部类别的数据与原始的尾部类别的数据进行残差连接，得到下一层的特征图。

16、作为本发明的进一步改进，所述的傅里叶变换模块中，选择的特征图的比例为γ∈(0，1)；

17、所述的傅里叶变换模块中，掩码的大小为βh×βw，其中β∈(0，0.5)，h和w分别表示特征图的高度和宽度；

18、所述的残差连接的权重为λresidual，其中λresidual∈(0，1)。

19、作为本发明的进一步改进，所述的对比学习模块包括以下执行步骤：

20、将主干网络的最后一层经过傅里叶变换模块后得到的风格迁移后的尾部类别特征图和原始的尾部类别特征图，分别输入到两个感知机中，得到它们的预测向量；

21、使用simsiam loss计算尾部类别数据之间的相似度，即负余弦相似度；

22、对未进行风格迁移的尾部类别的特征图的梯度进行阻断，使得风格迁移后的尾部类别的特征图不受未进行风格迁移的尾部类别的特征图的梯度影响。

23、作为本发明的进一步改进，两个所述的感知机分别为基于全连接层的映射感知机和基于全连接层的预测感知机，映射感知机将输入的数据进行变换，将图像映射到一个低维的向量空间，预测感知机用于将投影向量映射到一个更低维的向量空间，用于预测类别。

24、本发明的有益效果：

25、(1)本发明通过引入傅里叶变换模块，可以在保持尾部类别的语义信息的同时，利用头部类别的数据的风格信息来增强尾部类别的数据的多样性，从而提高模型在所有类别上的分类准确率，尤其是提升在尾部类别上的泛化能力；

26、(2)本发明通过引入对比学习模块，可以有效地利用对比学习来拉近风格迁移后的尾部类别数据与原始数据之间的数据分布，使得尾部类别的数据分布更加紧凑，减少数据分布的差异，从而提高模型的稳定性和收敛性；

27、(3)本发明是一个通用的模块，可以加入到任何以resnet及其衍生网络为骨干网络的长尾学习方法中，不改变原有的采样器、优化器或超参数，就能提高尾部类别的识别性能。

技术特征：

1.一种基于傅里叶变换和对比学习的长尾学习方法，其特征在于，包括如下步骤

2.根据权利要求1所述的长尾学习方法，其特征在于，

3.根据权利要求2所述的长尾学习方法，其特征在于，

4.根据权利要求2或3所述的长尾学习方法，其特征在于，

5.根据权利要求4所述的长尾学习方法，其特征在于，

技术总结本发明公开了一种基于傅里叶变换和对比学习的长尾学习方法，包括如下步骤：采用两种不同的采样策略从数据集中抽取样本，分为头部类别样本和尾部类别样本；将抽取的样本输入主干网络，在主干网络的每个残差块后加入傅里叶变换模块，将头部类别的数据的风格信息迁移给尾部类别的数据；加入对比学习模块，对风格迁移后的尾部类别和原始的尾部类别的特征图进行对比学习，最大化风格迁移后的尾部类别数据与原始数据之间的相似度；将头部类别和尾部类别的特征图输入到一个分类器中，得到分类结果。本方案可以在保持尾部类别的特征语义信息不变的同时，利用头部类别的特征的风格信息来增强尾部类别特征的多样性，从而提高模型在尾部类别上的泛化能力。技术研发人员：陈钊民,胡琳涛,葛一粟受保护的技术使用者：温州大学技术研发日：技术公布日：2024/8/1