基于可塑蒸馏和本地类增强的联邦类增量图像分类方法

本发明涉及一种基于可塑蒸馏和本地类增强的联邦类增量图像分类方法，属于模式识别分类。

背景技术：

1、作为计算机视觉领域中的重要方向，图像分类技术已经取得了长足发展。图像分类技术旨在让计算机能够自动识别图像，并将其归类至正确类别中。传统的图像分类模型通常基于离线方式训练，模型需要一个完整成熟的数据集，利用所有训练数据进行模型训练，并使用测试集进行模型测试和评估。随着大数据技术的发展和模型应用场景的复杂化，传统训练方法存在一些弊端。在医院病理图像诊断分类中，往往会出现新的病毒变种或病毒感染诊断数据流，这是诊断模型需要将新的医疗数据集加入原数据集并从头重新进行训练，否则模型无法正确拟合数据分布。而且由于用户数据隐私的需求，在医学图像诊断中收集完整的用户数据是困难的。为此，研究人员提出将联邦学习和类增量学习概念。联邦学习是一种着重于用户隐私的分布式训练框架。而类增量学习旨在处理流式数据，允许数据分批次或分任务训练，在不访问旧任务数据的前提下让模型自动适应新的数据分布，以此避免重新训练整个数据集。二者相互结合可以使模型更好地适应复杂大数据环境。

2、在联邦类增量场景下，医疗病例图像分类模型面临严重的知识遗忘问题。传统联邦场景中，所有联邦框架下的样例类别都是已知且固定的。然而，现实场景通常是动态的，本地客户端以在线方式接收新类数据。现有的联邦学习方法通常需要在本地客户端一侧存储旧类的所有训练数据，以便通过联邦学习获取全局模型。所以当新类以动态的方式到达各客户端时，高昂的存储成本和计算代价将成为巨大的负担。现有联邦类增量方法通过对模型参数进行解耦，分发任务特定模型参数来缓解联邦类增量学习下的知识遗忘问题，或者通过基于梯度的原型通信机制在服务器上重放本地客户端的典例，并以此选取最优的全局模型，指导联邦类增量模型更好地拟合。

3、然而，现有方法未能在客户端模型训练过程进行有效干预。在联邦类增量学习场景下，客户端使用本地数据进行训练时容易出现本地类别和旧数据过拟合问题，加上各个客户端数据本身具有异构性，这将严重影响全局模型的有效收敛，进一步加剧知识遗忘问题。即使现有方法通过不同策略对模型进行了筛选，但无法从根本上缓解客户端本地过拟合问题，导致最终图像分类模型精确度不高。

技术实现思路

1、技术问题：针对现有联邦类增量图像分类框架存在本地类别和旧数据过拟合现象，无法高效训练的问题，本发明提供基于可塑蒸馏和本地类增强的联邦类增量图像分类方法，采用基于解耦logits向量的知识蒸馏来实现旧教师模型对新模型的正则约束，并且选取未完全拟合的旧任务全局模型作为教师模型，从而降低旧模型对模型新任务训练中的强约束性，同时采用mixup方式对本地客户端私有数据进行类别增强，缓解各客户端对本地类别的过拟合问题。

2、技术方案：首先根据各联邦用户端隐私需求建立联邦模型，将各联邦用户的图像数据转化成可以供模型训练用的带标签数据集。其次，将已经处理完成的数据集分为训练用数据集和测试用数据集两部分。若数据集有限，可以全用作训练。然后，在训练开始前，为每个本地客户端模型添加一个额外分类器用于本地类增强的判别训练。接着，在首轮增量任务之中，各客户端通过mixup将私有图像样例进行相互结合得到大量生成类和标签，并使用额外分类器进行生成类的判别训练。在首轮增量任务结束后，各客户端上传自己的本地模型至中央服务器聚合。每轮增量任务包含多个全局通讯轮次，本发明只在每轮增量任务中的某个固定全局通讯轮次更新教师模型，一般选取学习率最后一次衰减前的全局轮次。在后续增量任务中，将本地样例分别输入教师模型和本地模型得到概率向量，并将概率向量进行解耦成标签组和非标签组，分别进行蒸馏计算，以此约束新模型的训练。在测试步骤中，将测试用数据集输入最后得到的全局模型进行判别。

3、有益效果：本发明与现有技术相比，具有以下优点：

4、现有的联邦类增量图像分类方法在联邦通信时会发送本地数据梯度信息，这容易造成用户信息泄漏，降低了框架隐私保护性。与现有的方法不同，本发明不发送任何与用户数据有关的数据或梯度信息，仅发送本地模型至客户端，以此保证联邦用户数据的绝对隐私保护性。现有的方法在缓解联邦学习异构性加重知识遗忘性这一问题时，本质上是通过模型的选择完成的，以此带来的改进效果较为有限。本发明直接介入本地模型的训练过程，在保证模型良好拟合的前提下提供了优越的模型可塑性，以此在联邦类增量过程中自动调整至最佳拟合的全局模型。

5、本发明重新审视了知识蒸馏在联邦类增量学习中的作用，通过降低知识蒸馏中标签项的强约束性，提高了新模型学习过程中的可塑性。相对地，提高知识蒸馏中非标签项的占比，更好地向新模型传递丰富地旧模型知识。

技术特征：

1.基于可塑蒸馏和本地类增强的联邦类增量图像分类方法，其特征在于，具体步骤是：

2.根据权利要求1所述的基于可塑蒸馏和本地类增强的联邦类增量图像分类方法，其特征在于：步骤3)的本地类增强方法，首先根据本地客户端的样例进行mixup，公式为：

3.根据权利要求1所述的基于可塑蒸馏和本地类增强的联邦类增量图像分类方法，其特征在于：步骤5)中的教师模型更新，由于每轮增量任务包含10轮全局通讯，每轮全局通讯下的客户端进行20轮本地训练，因此各客户端再一个增量任务中总共会进行200轮本地训练。根据当前全局通讯可以判断各客户端已完成的本地训练轮次，进而判断客户端中学习率的衰减情况；随着学习率的衰减，各客户端模型对本地数据会逐步拟合；根据联邦类增量实验设置，在学习率最后一次衰减前更新教师模型，并保持至下一轮增量任务中，直至下一次更新教师模型，以此降低教师模型对旧增量任务的过拟合，给予模型在新增量任务中更高的可塑性。

4.根据权利要求1所述的基于可塑蒸馏和本地类增强的联邦类增量图像分类方法，其特征在于：步骤6)中的可塑蒸馏具体流程如下：

技术总结本发明设计了基于可塑蒸馏和本地类增强的联邦类增量图像分类方法。本发明以联邦类增量模型的可塑性作为出发点，分别提出可塑蒸馏和本地类增强两个模块。本发明对类增量学习中的知识蒸馏方式做进一步改进，将预测期望向量解耦成标签项和非标签项，分别进行具有不同权重系数的蒸馏。同时，在选取教师模型时，可塑蒸馏并不使用最后通讯轮次的全局模型，而使用没有完全拟合的全局模型对下一个增量阶段的模型进行蒸馏。本地类增强通过本地客户端的类间相互组合生成新类，并使用独立的类增强分类器进行分类。本地类增强通过大量生成的新类防止本地模型对本地类的过拟合，结合多次联邦模型的聚合和分发，缓解联邦学习下的异构性问题。技术研发人员：王喆,张倩,巩佳义,许鑫磊,傅志凌受保护的技术使用者：华东理工大学技术研发日：技术公布日：2024/7/29