一种低分辨率图像分类方法、装置、存储介质、设备及程序产品

本发明涉及一种低分辨率图像分类方法、装置、存储介质、设备及程序产品，属于图像处理。

背景技术：

1、随着深度学习的迅速发展，众多分类网络在高分辨率图像上展现了较高的分类精度。但在实际应用场景中，获取的图像目标大多呈现低分辨率的特征。将在高分辨率图像数据集中训练好的分类模型直接应用到低分辨率图像分类任务上，其分类精度急剧下降。

2、在低分辨率图像分类任务研究中，许多基于深度学习的方法被提出。公开号为cn115512096a的中国发明专利基于卷积神经网络和transformer构建双分支并行网络，通过注意力特征融合网络将两个分支每一层的特征进行融合，并采用多通道注意力网络对融合后的特征进行语义信息挖掘。公开号为cn115661510a的中国发明专利构建基于超分辨率重建和类别一致性的图像分类网络模型，利用超分辨率重建网络模块间短路连接提升低分辨率图像质量，通过约束网络之间的类别概率一致，增加低分辨率特征提取网络提取到特征的分辨性。

3、此外，为了解决低分辨率图像关键区域特征缺失或模糊问题，研究者们还采用超分辨率技术提升低分辨率图像的细节。公开号为cn116452418a采用超分辨率技术先将低分辨率目标图像生成超分图像，再用高分辨率图像分类器基于超分辨率图像生成识别结果。公开号为cn115527063a的中国发明专利均提出了一种基于图像超分和知识蒸馏的低分辨率图像识别方法，用高、低分辨率图像训练超分网络，并采用知识蒸馏方法训练蒸馏子网络。

4、以上方法虽然有着较高的分类精度，但分类网络多为transformer和resnet50，参数量多、计算量大，无法落地到资源受限的移动设备上。

5、近期，状态空间模型mamba有效克服了transformer架构模型因二次计算复杂度导致的预测低效问题。研究者们基于mamba构建了高效通用的视觉状态空间模型visionmamba，其在通用图像分类、目标检测和语义分割等任务上具有优于很多主流视觉transformer的性能表现，且较transformer和resnet50参数量少、计算量低。

6、因此，如何基于视觉mamba构建低分辨率图像分类网络，并提出适用于视觉mamba网络的知识蒸馏学习方法，使得视觉mamba网络学习到高分辨率图像的细节信息，是本领域亟待解决的问题。

技术实现思路

1、本发明的目的在于克服现有技术中分辨率图像分类模型参数多、计算量大、难以落地应用的不足，提供一种低分辨率图像分类方法、装置、存储介质、设备及程序产品，能够获得更好的低分辨率图像分类精度。为达到上述目的，本发明是采用下述技术方案实现的：

2、第一方面，本发明提供一种低分辨率图像分类方法，包括：

3、获取待分类的低分辨率图像数据；

4、将所述待分类的低分辨率图像数据输入预先训练的联合超分和视觉mamba的低分辨率图像分类网络，输出待分类的低分辨率图像的分类结果；

5、其中，所述预先训练的联合超分和视觉mamba的低分辨率图像分类网络依次包括已经训练的超分辨率子网络和预先训练的视觉mamba分类子网络；所述预先训练的视觉mamba分类子网络为基于样本图像数据和预先训练的视觉mamba分类教师网络利用基于知识蒸馏的联合损失函数方法对预先构建的视觉mamba分类子网络进行训练得到的，所述预先训练的视觉mamba分类教师网络为基于样本图像数据对预先构建的视觉mamba分类教师网络进行训练得到的。

6、结合第一方面，可选地，所述将所述待分类的低分辨率图像数据输入预先训练的联合超分和视觉mamba的低分辨率图像分类网络，输出待分类的低分辨率图像的分类结果，包括：

7、将所述待分类的低分辨率图像数据输入所述已经训练的超分辨率子网络，输出待分类的超分辨率图像；

8、将所述待分类的超分辨率图像输入所述预先训练的视觉mamba分类子网络，输出待分类的低分辨率图像的分类结果。

9、结合第一方面，可选地，所述预先训练的视觉mamba分类子网络的网络结构和所述预先训练的视觉mamba分类教师网络的网络结构相同，依次包括：一个数据降维模块、一个视觉mamba编码器和一个多层感知器头；所述视觉mamba编码器有24层；

10、所述数据降维模块用于：采用扁平化操作将二维的超分辨率图像转换为二维补丁，将二维补丁线性投影到维度大小为192的向量上并添加位置编码，在二维补丁序列中间嵌入类标记表示所述超分辨率图像的整个序列，得到；

11、所述视觉mamba编码器用于：将作为视觉mamba编码器的第一层的输入，输出隐状态；重复将隐状态作为视觉mamba编码器第i层的输入，输出隐状态，通过下式表示：

12、    （1）

13、式（1）中，表示视觉mamba编码器， i的取值范围为1≤ i≤24；

14、所述多层感知器头用于：根据隐状态输出类预测概率，通过下式表示：

15、（2）

16、式（2）中，表示归一化层，表示多层感知器头。

17、结合第一方面，可选地，所述预先训练的视觉mamba分类教师网络为基于样本图像数据训练得到的，通过以下步骤训练：

18、将样本图像数据预处理得到的高分辨率图像数据输入预先构建的视觉mamba分类教师网络，输出教师网络训练分类结果；

19、基于样本图像数据的真实标签，计算教师网络训练分类结果的交叉熵损失，通过以下公式表示：

20、（3）

21、式（3）中，表示交叉熵函数，表示教师网络训练分类结果中类预测概率，表示图像真实标签；

22、判断所述交叉熵损失是否满足预设第一值；若不满足，调整视觉mamba分类教师网络的网络参数后输出教师网络训练分类结果，计算交叉熵损失；若满足，输出视觉mamba分类教师网络的网络参数，得到预先训练的视觉mamba分类教师网络。

23、结合第一方面，可选地，所述预先训练的视觉mamba分类子网络为基于样本图像数据和预先训练的视觉mamba分类教师网络利用基于知识蒸馏的联合损失函数方法对预先构建的视觉mamba分类子网络进行训练得到的，通过以下步骤训练：

24、将样本图像数据预处理得到的低分辨率图像数据输入所述已经训练的超分辨率子网络，得到样本的第一超分辨率图像；

25、将所述样本的第一超分辨率图像输入预先构建的视觉mamba分类子网络，得到第一分类结果；

26、将样本图像数据预处理得到的高分辨率图像数据输入预先训练的视觉mamba分类教师网络，得到第二分类结果；

27、基于第二分类结果，计算第一分类结果的联合损失函数；

28、判断所述联合损失函数是否满足预设第二值；若不满足，调整视觉mamba分类子网络的网络参数后输出第一分类结果，计算联合损失函数；若满足，输出视觉mamba分类子网络的网络参数，得到预先训练的视觉mamba分类子网络。

29、结合第一方面，可选地，所述第一分类结果包括第一隐状态和第一类预测概率，所述第二分类结果包括第二隐状态和第二类预测概率，所述联合损失函数，通过以下公式表示：

30、（4）

31、式（4）中，表示联合损失函数，表示基于样本图像数据的真实标签计算得到的视觉mamba分类子网络输出的第一分类结果的交叉熵损失，通过以下公式表示：

32、（5）

33、式（5）中，表示交叉熵函数，表示图像真实标签；

34、式（4）中，表示的权重，表示第二类预测概率对第一类预测概率的知识蒸馏损失，通过以下公式表示：

35、（6）

36、式（6）中，表示kl散度函数，表示kl散度函数的温度，表示softmax函数；

37、式（4）中，表示的权重，表示第二隐状态对第一隐状态的知识蒸馏损失，通过以下公式表示：

38、（7）

39、式（7）中，表示均方误差损失函数，表示第一隐状态中第i层输出的低分辨率隐状态，表示第二隐状态中第i层输出的高分辨率隐状态。

40、第二方面，本技术提供一种低分辨图像分类装置，包括：

41、获取模块：用于获取待分类的低分辨率图像数据；

42、输出模块：用于将所述待分类的低分辨率图像数据输入预先训练的联合超分和视觉mamba的低分辨率图像分类网络，输出待分类的低分辨率图像的分类结果；

43、其中，所述预先训练的联合超分和视觉mamba的低分辨率图像分类网络依次包括已经训练的超分辨率子网络和预先训练的视觉mamba分类子网络；所述预先训练的视觉mamba分类子网络为基于样本图像数据和预先训练的视觉mamba分类教师网络利用基于知识蒸馏的联合损失函数方法对预先构建的视觉mamba分类子网络进行训练得到的，所述预先训练的视觉mamba分类教师网络为基于样本图像数据对预先构建的视觉mamba分类教师网络进行训练得到的。

44、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时，实现第一方面所述的低分辨图像分类方法的步骤。

45、第四方面，本发明提供一种计算机设备，包括：

46、存储器，用于存储计算机程序/指令；

47、处理器，用于执行所述计算机程序/指令以实现第一方面所述的低分辨图像分类方法的步骤。

48、第五方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面所述的低分辨图像分类方法的步骤。

49、与现有技术相比，本发明实施例所提供的一种低分辨率图像分类方法、装置、存储介质、设备及程序产品，所达到的有益效果包括：

50、本发明获取待分类的低分辨率图像数据；将所述待分类的低分辨率图像数据输入预先训练的联合超分和视觉mamba的低分辨率图像分类网络，输出待分类的低分辨率图像的分类结果；本发明在实际使用中仅采用预先训练的联合超分和视觉mamba的低分辨率图像分类网络，舍弃视觉mamba分类教师网络，且实际使用中不采用基于知识蒸馏的联合损失函数方法进行监督训练；本发明在实际使用中采用的预先训练的联合超分和视觉mamba的低分辨率图像分类网络的参数量、计算量均相对较少；本发明能够获得更好的低分辨率图像分类精度；且实现了以低计算资源消耗高效提升模型对低分辨率图像的分类精度；

51、本发明预先训练的联合超分和视觉mamba的低分辨率图像分类网络依次包括已经训练的超分辨率子网络和预先训练的视觉mamba分类子网络；本发明在超分辨率子网络恢复重建低分辨率图像的细节信息后，视觉mamba分类子网络能够轻量高效地提取图像特征，基于知识蒸馏的学习方法能够指导视觉mamba分类子网络更好地学习到高分辨率图像的细节信息；

52、本发明将超分辨率技术、视觉mamba和知识蒸馏学习方法结合到一个框架中，该方法框架主要包括超分辨率子网络、视觉mamba分类子网络和基于知识蒸馏的学习方法，能够以更少的参数量、更低的计算量取得了相近甚至更高的分类精度。