一种模型训练方法、装置、存储介质及电子设备与流程

本说明书涉及图像处理领域，尤其涉及一种模型训练方法、装置、存储介质及电子设备。

背景技术：

1、图像处理任务中可包括语义分割、实例分割、全景分割等，其中，全景分割要求对图像中的每个像素点进行分类，并分配标识。也就是说，全景分割与实例分割的差异在于实例分割仅对前景中的对象进行分类并分配唯一标识，全景分割还会对背景中的对象进行分类并分配唯一标识。

2、用于训练全景分割模型的训练样本集通常是静态数据集，即不会在训练过程中更新或增加新的样本数据的数据集。那么，训练完成的全景分割模型可能仅可识别静态数据集中的样本数据的类别，该类别可称为旧类别。当需要更新全景分割模型，以使该全景分割模型可识别图像中存在的新类别时，常见的解决方法是在该静态数据集中加入新的样本数据，该新的样本数据的类别为新类别，新类别是指更新后的全景分割模型能识别的除旧类别以外的类别。利用加入了新的样本数据的静态数据集训练一个新的全景分割模型，但重新训练模型，得到新模型的方法的效率较低。

3、另一种解决方法是使用仅包括新类别目标物的样本数据，对之前训练完成的全景分割模型进行微调。虽然这种方式可使得全景分割模型可识别新类别，但由于神经网络的参数在模型学习识别新类别的过程中被重写，因此，在微调过程中，全景分割模型会逐渐失去识别旧类别的能力。

4、因此，如何在微调全景分割模型时，使得全景分割模型既可识别新类别，又不失去识别旧类别的能力是亟待解决的问题。

5、基于此，本说明书提供一种模型训练方法。

技术实现思路

1、本说明书提供一种模型训练方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种模型训练方法，所述方法包括：

4、获取若干包括新类别目标物的微调样本图像，并确定每个微调样本图像的真标签，其中，至少部分微调样本图像包括旧类别目标物和新类别目标物；

5、将所述微调样本图像输入当前全景分割模型，确定所述微调样本图像的第一预测结果，并，将所述微调样本图像输入历史全景分割模型，确定所述微调样本图像的第二预测结果；其中，所述当前全景分割模型是对所述历史全景分割模型微调得到的；

6、对所述第二预测结果中包含的各旧类别目标物进行筛选，将筛选出的旧类别目标物作为所述微调样本图像的伪标签；

7、根据所述第一预测结果、所述真标签及所述伪标签，对所述当前全景分割模型进行微调，得到微调后的全景分割模型，所述微调后的全景分割模型用于确定待分割图像中的每个目标物的类别。

8、可选地，全景分割模型包括主干网络、变压解码器；

9、将所述微调样本图像输入当前全景分割模型，确定所述微调样本图像的第一预测结果，具体包括：

10、将所述微调样本图像输入当前全景分割模型中的主干网络，所述主干网络输出所述微调样本图像的全局特征；

11、将所述全局特征及预设的目标物划分指令输入所述当前全景分割模型中的变压解码器，所述变压解码器输出所述微调样本图像中的若干目标物的目标特征；

12、根据所述目标特征，确定所述微调样本图像的第一预测结果。

13、可选地，根据所述目标特征，确定所述微调样本图像的第一预测结果，具体包括：

14、将所述目标特征输入线性分类器，所述线性分类器输出所述微调样本图像中每个目标物的类别。

15、可选地，所述全景分割模型还包括像素解码器，所述第一预测结果包括所述微调样本图像中每个目标物的目标掩码；

16、根据所述目标特征，确定所述微调样本图像的第一预测结果，具体包括：

17、将所述全局特征输入所述当前全景分割模型中的像素解码器，所述像素解码器输出所述微调样本图像中的每个像素点的像素特征；并将所述目标特征输入多层感知机，得到所述多层感知机输出的所述微调样本图像中的每个目标物的掩码特征；

18、针对每个目标物的掩码特征，将该掩码特征与每个像素点的像素特征点积，得到该目标物的点积结果；

19、将各个目标物的点积结果输入激活层，得到所述激活层输出的所述微调样本图像中的每个目标物的目标掩码。

20、可选地，所述第二预测结果包括所述微调样本图像中的每个目标物的目标掩码；

21、对所述第二预测结果中包含的各旧类别目标物进行筛选，将筛选出的旧类别目标物作为所述微调样本图像的伪标签，具体包括：

22、确定所述第二预测结果中旧类别目标物的目标掩码，得到若干旧类别掩码；

23、针对每个旧类别掩码，判断该旧类别掩码与所述微调样本图像的真标签中的掩码是否匹配；

24、若是，则删除该旧类别掩码；

25、若否，则保留该旧类别掩码；

26、根据保留的若干旧类别掩码，确定所述微调样本图像的伪标签。

27、可选地，所述第二预测结果包括类别对应的类别概率；

28、根据保留的若干旧类别掩码，确定所述微调样本图像的伪标签，具体包括：

29、针对每个保留的旧类别掩码，删除该保留的旧类别掩码中的噪声像素点，得到修改掩码；

30、针对所述修改掩码中的每个像素点，判断该像素点所属的掩码的数量是否大于预设掩码数；

31、若是，则针对该像素点的每个修改掩码，确定所述第二预测结果中该修改掩码的若干类别概率中的最大概率，根据所述最大概率及该修改掩码，确定该像素点对应的该修改掩码的置信度，在该像素点对应的若干置信度中，确定最大置信度，将所述最大置信度对应的修改掩码确定为该像素点的最终掩码；

32、在所述第二预测结果中确定所述最终掩码对应的目标物的类别，将所述最终掩码及所述最终掩码对应的目标物的类别作为所述微调样本图像的伪标签。

33、可选地，所述方法还包括：

34、将所述伪标签中的掩码确定为伪掩码；

35、针对每个伪掩码，确定该伪掩码对应的目标掩码中像素点的掩码值为预设掩码值的数量，得到第一数量；并确定该伪掩码中像素点的掩码值为所述预设掩码值的数量，得到第二数量；

36、当该伪掩码中的每个像素点的掩码值均不为预设掩码值时，和/或

37、当所述第二数量与所述第一数量的比例关系满足预设比例条件时，删除该伪掩码。

38、可选地，所述第二预测结果中的类别包括无类别，所述第二预测结果包括所述无类别对应的类别概率；

39、根据所述第一预测结果、所述真标签及所述伪标签，对所述当前全景分割模型进行微调，具体包括：

40、根据预设匹配算法，确定与所述第一预测结果匹配的真标签及伪标签，作为标签集；

41、确定所述第一预测结果与所述标签集的差异，并根据所述差异，确定分类损失；并

42、根据所述第二预测结果中无类别对应的类别概率，确定蒸馏权重，其中，所述蒸馏权重与所述第二预测结果中无类别对应的类别概率负相关；

43、根据所述蒸馏权重、所述第一预测结果中各个类别对应的类别概率及所述第二预测结果中各个类别对应的类别概率，确定蒸馏损失；

44、根据所述分类损失及所述蒸馏损失，确定最终损失；

45、根据所述最终损失，对所述当前全景分割模型进行微调。

46、本说明书提供了一种模型训练装置，所述装置包括：

47、样本获取模块，获取若干包括新类别目标物的微调样本图像，并确定每个微调样本图像的真标签，其中，至少部分微调样本图像包括旧类别目标物和新类别目标物；

48、预测结果确定模块，用于将所述微调样本图像输入当前全景分割模型，确定所述微调样本图像的第一预测结果，并，将所述微调样本图像输入历史全景分割模型，确定所述微调样本图像的第二预测结果；其中，所述当前全景分割模型是对所述历史全景分割模型微调得到的；

49、筛选模块，用于对所述第二预测结果中包含的各旧类别目标物进行筛选，将筛选出的旧类别目标物作为所述微调样本图像的伪标签；

50、微调模块，用于根据所述第一预测结果、所述真标签及所述伪标签，对所述当前全景分割模型进行微调，得到微调后的全景分割模型，所述微调后的全景分割模型用于确定待分割图像中的每个目标物的类别。

51、可选地，全景分割模型包括主干网络、变压解码器；

52、所述预测结果确定模块具体用于，将所述微调样本图像输入当前全景分割模型中的主干网络，所述主干网络输出所述微调样本图像的全局特征；将所述全局特征及预设的目标物划分指令输入所述当前全景分割模型中的变压解码器，所述变压解码器输出所述微调样本图像中的若干目标物的目标特征；根据所述目标特征，确定所述微调样本图像的第一预测结果。

53、可选地，所述预测结果确定模块具体用于，将所述目标特征输入线性分类器，所述线性分类器输出所述微调样本图像中每个目标物的类别。

54、可选地，所述全景分割模型还包括像素解码器，所述第一预测结果包括所述微调样本图像中每个目标物的目标掩码；

55、所述预测结果确定模块具体用于，将所述全局特征输入所述当前全景分割模型中的像素解码器，所述像素解码器输出所述微调样本图像中的每个像素点的像素特征；并将所述目标特征输入多层感知机，得到所述多层感知机输出的所述微调样本图像中的每个目标物的掩码特征；针对每个目标物的掩码特征，将该掩码特征与每个像素点的像素特征点积，得到该目标物的点积结果；将各个目标物的点积结果输入激活层，得到所述激活层输出的所述微调样本图像中的每个目标物的目标掩码。

56、可选地，所述第二预测结果包括所述微调样本图像中的每个目标物的目标掩码；

57、所述筛选模块具体用于，确定所述第二预测结果中旧类别目标物的目标掩码，得到若干旧类别掩码；针对每个旧类别掩码，判断该旧类别掩码与所述微调样本图像的真标签中的掩码是否匹配；若是，则删除该旧类别掩码；若否，则保留该旧类别掩码；根据保留的若干旧类别掩码，确定所述微调样本图像的伪标签。

58、可选地，所述第二预测结果包括类别对应的类别概率；

59、所述筛选模块具体用于，针对每个保留的旧类别掩码，删除该保留的旧类别掩码中的噪声像素点，得到修改掩码；针对所述修改掩码中的每个像素点，判断该像素点所属的掩码的数量是否大于预设掩码数；若是，则针对该像素点的每个修改掩码，确定所述第二预测结果中该修改掩码的若干类别概率中的最大概率，根据所述最大概率及该修改掩码，确定该像素点对应的该修改掩码的置信度，在该像素点对应的若干置信度中，确定最大置信度，将所述最大置信度对应的修改掩码确定为该像素点的最终掩码；在所述第二预测结果中确定所述最终掩码对应的目标物的类别，将所述最终掩码及所述最终掩码对应的目标物的类别作为所述微调样本图像的伪标签。

60、可选地，所述筛选模块具体用于，将所述伪标签中的掩码确定为伪掩码；

61、针对每个伪掩码，确定该伪掩码对应的目标掩码中像素点的掩码值为预设掩码值的数量，得到第一数量；并确定该伪掩码中像素点的掩码值为所述预设掩码值的数量，得到第二数量；当该伪掩码中的每个像素点的掩码值均不为预设掩码值时，和/或当所述第二数量与所述第一数量的比例关系满足预设比例条件时，删除该伪掩码。

62、可选地，所述第二预测结果中的类别包括无类别，所述第二预测结果包括所述无类别对应的类别概率；

63、所述微调模块具体用于，根据预设匹配算法，确定与所述第一预测结果匹配的真标签及伪标签，作为标签集；确定所述第一预测结果与所述标签集的差异，并根据所述差异，确定分类损失；并根据所述第二预测结果中无类别对应的类别概率，确定蒸馏权重，其中，所述蒸馏权重与所述第二预测结果中无类别对应的类别概率负相关；根据所述蒸馏权重、所述第一预测结果中各个类别对应的类别概率及所述第二预测结果中各个类别对应的类别概率，确定蒸馏损失；根据所述分类损失及所述蒸馏损失，确定最终损失；根据所述最终损失，对所述当前全景分割模型进行微调。

64、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练方法。

65、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练方法。

66、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

67、从本说明书提供的模型训练方法可以看出，由于历史全景分割模型具有识别旧类别目标物的能力，将微调样本图像分别输入历史全景分割模型及当前全景分割模型，可得到当前全景分割模型识别出的第一预测结果及历史全景分割模型识别出的包括旧类别目标物的第二预测结果。将筛选后的旧类别目标物作为微调样本图像的伪标签，对当前全景分割模型进行微调，可使得当前全景分割模型在微调完成后不丧失识别旧类别目标物的能力。又由于微调样本图像中包括了新类别目标物，也确定了微调样本图像的真标签，因此，微调完成后的全景分割模型具有识别新类别目标物的能力。