一种基于标签平滑和分布正则化的图像增量学习方法

本发明设计一种基于标签平滑和分布正则化的图像增量学习方法，涉及图像数据识别领域。

背景技术：

1、随着深度学习的发展和应用，越来越多的任务需要使用深度网络模型来解决。然而，传统的深度网络模型往往需要大量的数据和计算资源来训练，这对于某些任务来说是不切实际的。任务增量学习方法可以让深度学习模型在不断学习新任务的同时，尽可能地保留已有任务的知识。例如在医疗图像分类场景中，新的疾病类型可能会不断增加，例如新型病毒、新型癌症等。传统的深度学习模型需要重新训练才能适应新的疾病类型，但这需要大量的数据和计算资源，同时也会导致旧的疾病类型的知识丢失。而任务增量学习方法可以解决这个问题，让深度网络模型能够快速学习新的疾病类型，同时保留已有疾病类型的知识。因此任务增量学习可以提高深度网络模型的灵活性和适应性。通过不断学习新的任务，模型可以更好地适应现实世界的变化，并且可以减少重新训练的成本和时间。

2、任务增量学习面临的主要问题是灾难性遗忘问题，这会导致模型在学习新任务后忘记旧任务的知识。现有的一些任务增量学习方法被用于解决灾难性遗忘问题，如基于网络参数扩张的方法、基于回放的方法和基于正则化的方法。然而，基于网络参数扩张的方法和基于回放的方法需要消耗大量的计算资源，并且存在数据隐私泄露的风险，在实际现实场景中可用性并不高。基于正则化的方法实现和应用都比较方便，实际可用性强，但是现有的单一正则化方法在处理复杂增量学习环境下的效果不足，依旧容易出现灾难性遗忘问题。

3、本发明从正则化约束方式出发，组合构建多种正则化方式来处理复杂增量学习环境下的图像数据识别分类。任务增量学习过程中，可以通过对当前任务内部施加独立正则化约束和施加旧任务相关的参数或数据正则约束。现有方法中，通常将标签平滑作为独立正则约束，利用模型特定参数值作为旧任务相关的约束，但是一般标签平滑约束不够正确，不能起到特别好的约束效果，特定参数约束的方式不够灵活，约束效果也不够好。为了解决这些问题，我们引入了动态标签平滑和参数分布约束。总的来说，在我们的工作中，通过模型的预测输出动态构建软标签，利用动态软标签对模型进行任务内部学习的约束。同时，在模型学习每个任务的过程中，构建任务对应的模型参数分布，利用该参数分布对模型学习新任务的过程进行约束。通过组合构建多种类型的正则化约束方法对于在解决任务增量学习过程中的灾难性遗忘问题具有重要的意义。

技术实现思路

1、本发明提供一种能够解决灾难性遗忘的任务增学习方法，通过组合构建众多类型的正则化约束方式，能够提高模型在增量学习过程中的稳定性，避免灾难性遗忘的方式，并且便于实现和应用，从而提高深度网络模型在任务增量学习过程中的图像分类性能。

2、具体而言，基于标签平滑和分布正则化的增量学习的图像分类系统，包括以下步骤：

3、步骤1：将原始数据划分为多个若干个任务数据，每个任务包括训练集和测试集两部分，每个数据样本都包括图像数据、类别标签和任务标识符；

4、步骤2：任务内置信度校正模块，在每个任务训练过程中，利用模型的预测概率输出构造动态软标签，并利用该标签作为模型训练的监督信号；

5、步骤3：任务间置信度校正模块，在每个任务进入鲁棒训练过程中，通过对模型的参数进行采样，构建对应的模型参数分布，并利用该分布作为新任务学习时的约束。

6、步骤4测试步骤，从任务间置信度校正模型构建的模型参数分布中采样多个模型，然后将先前所有任务的测试图片按照任务训练顺序依次输入到这些深度网络模型的中，通过特征提取器获取特征，然后通过全连接层进行判断，之后将所有模型的判断结果进行集成判断，得到图片最终的判断结果。

7、步骤1所述的数据划分每个任务包含一个数据集，其中每个(xi,yi,t)都包括输入xi、目标标签yi和任务标识符t∈{1,…,t}。数据集中的每个样本(xi,yi)∈xt×yt都是从分布pt(x,y)中随机抽取的，因此每个样本都是独立且同分布。

8、步骤2所述的任务内置信度校正模块，在每个任务训练过程中，根据模型的对每个训练样本的预测概率输出，构建动态软标签，之后利用该动态软标签作为模型的监督信号。首先使用均匀分布初始化一个软标签。在每个训练轮次下，使用上一个训练轮次的得到的软标签作为每个训练的样本的真实标签，并计算模型的预测值与该软标签的交叉熵损失。同时，在每个训练轮次下，收集模型对于每个样本的预测概率输出值。最后，在每个训练轮次完成时，更新每个类别对应的软标签。

9、步骤3所述的任务间置信度校正模块，在每个任务训练的后期，通过采样模型参数值，构建模型的参数分布。在每个任务训练时，利用上一个任务训练后得到的模型参数分布进行约束。在任务训练后期，假设模型的参数分布满足高斯分布，进行模型参数采样，计算分布对应的均值和方差。在模型训练时，利用上一个任务训练得到的模型分布均值进行约束，具体约束的方式是利用知识蒸馏来保持当前模型的旧任务分类器与模型分布均值上旧任务分类器的响应一致。

10、所述模型在测试步骤时，会从任务间置信度校正模块中的模型参数分布中进行模型采样，之后将先前任务的测试集按任务顺序依次进行预测，将数据输入采样得到的多个模型得到预测输出，将多个模型预测进行集成预测，得到最终的预测结果

11、本发明的有益效果是：本发明是基于标签平滑和分布正则化的增量学习的图像识别系统。任务内置信度校正模块利用模型的概率输出对样本的标签进行动态生成，提高模型在单个任务上训练的稳定性，提高模型泛化性能。任务间置信度校正模块构建模型的参数分布来对模型在新任务上的学习过程进行约束，避免模型遗忘旧任务的知识，并在预测阶段通过对模型参数分布进行采样来进行集成预测，提高预测的准确性。两者结合可以使得神经网络模型可以连续学习新新任务，提高了现实场景中图像识别系统的方便与可用性。

技术特征：

1.一种基于标签平滑和分布正则化的图像增量学习方法，其特征在于，其方法包括以下步骤：

2.根据权利要求1所述的基于标签平滑和分布正则化的增量学习的图像分类方法，其特征在于：步骤2)中任务内置信度校正模块，每个任务训练过程中，根据模型的对每个训练样本的预测概率输出，构建动态软标签，之后利用该动态软标签作为模型的监督信号，首先，均匀分布来初始化样本的软标签，将样本的原始独热标签替换为相应的软标签，样本(xi,yi,t)样本的初始软标签表示为

3.根据权利要求1所述的基于标签平滑和分布正则化的增量学习的图像分类方法，其特征在于：步骤3)中任务间置信度校正模块，在每个任务训练的后期，通过采样模型参数值，构建模型的参数分布，在每个任务训练时，利用上一个任务训练后得到的模型参数分布进行约束，

4.根据权利要求1所述的基于标签平滑和分布正则化的增量学习的图像分类方法，其特征在于：步骤4)测试步骤，在测试步骤时，会从任务间置信度校正模块中的模型参数分布中进行模型采样，之后将先前任务的测试集按任务顺序依次进行预测，将数据输入采样得到的多个模型得到预测输出，将多个模型预测进行集成预测，得到最终的预测结果，首先，从模型的参数分布中进行采样，采样得到m个模型，然后，利用得到的m个模型概率分类输出进行集成预测，具体如下

技术总结本发明设计了一种基于标签平滑和分布正则化的图像增量学习方法。其采用动态标签平滑模块提高卷积神经网络学习的稳定性，并通过构建模型参数分布约束来更加灵活的约束新类学习时模型的变化，能够实现对新类的有效学习以及对旧类知识的灾难性遗忘，以实现在不使用旧样本，充分保护旧数据隐私的前提下，使得卷积神经网络能够持续学习，从而使得网络模型具备增量学习的能力，实现对不同类别图片的分类。技术研发人员：王喆,杨海,俞成威,许鑫磊受保护的技术使用者：华东理工大学技术研发日：技术公布日：2024/7/29