基于异构平衡蒸馏的目标检测方法和装置与流程

本发明属于计算机视觉领域，具体涉及一种基于异构平衡蒸馏的目标检测方法和装置。

背景技术：

1、目前，基于中间层特征的知识蒸馏方法往往假设教师模型和学生模型为同种架构，而当教师模型和学生模型的架构不同时，蒸馏可能会因不同架构的特征值幅值不同而失败。因此，如何对异构模型进行知识蒸馏成为亟待解决的问题。

2、此外，现有目标检测模型往往存在目标的分类识别精度和位置标注精度不匹配的问题，如图1所示，由于定位精度在推理阶段的不可知性，检测模型在非极大值抑制过程中，通过分类识别精度来筛选最优的检测结果，导致输出定位不精确的检测框。这一问题在小型的检测模型中尤为严重。因此，如何在知识蒸馏中解决学生模型存在的分类精度和位置精度一致性问题，是另一个待解决的问题。

技术实现思路

1、为解决现有技术的不足，实现异构蒸馏，并提高目标检测模型分类精度和位置精度一致性的目的，本发明采用如下的技术方案：

2、一种基于异构平衡蒸馏的目标检测方法，包括如下步骤：

3、步骤s1：搭建异构平衡蒸馏架构，包括教师模型和学生模型，构建图像训练集并输入异构平衡蒸馏架构，获取教师模型的教师颈部特征图、教师分类概率图和教师定位预测图，以及学生模型的学生颈部特征图、学生分类概率图和学生定位预测图；

4、步骤s2：基于教师分类概率图和教师定位预测图计算教师锚框置信度，并通过教师锚框置信度和教师分类概率图计算教师分类信息量，通过教师锚框置信度和教师定位预测图计算教师定位信息量；同理，基于学生分类概率图和学生定位预测图计算学生锚框置信度，并通过学生锚框置信度和学生分类概率图计算学生分类信息量，通过学生锚框置信度和学生定位预测图计算学生定位信息量；锚框置信度能够综合分类分支和定位分支的结果，评估锚框的有效性，减轻了后续计算中分类精度和位置精度不一致问题的影响，信息量包含了锚框的类别概率信息以及模型分类精度与定位精度一致性的信息，传递了教师模型的类间分布知识和一致性知识；

5、步骤s3：基于教师分类信息量和学生分类信息量构建分类信息张量，基于教师定位信息量和学生定位信息量构建定位信息张量，通过分类信息张量和定位信息张量，计算分类权重系数和定位权重系数，分类权重系数和定位权重系数分别代表学生模型对教师模型的分类精度和定位精度的学习情况；

6、步骤s4：基于教师颈部特征图、教师分类信息量和分类权重系数，计算教师归一化分类特征图，同理，基于学生颈部特征图、教师分类信息量和分类权重系数，计算学生归一化分类特征图，并构建教师与学生相应归一化分类特征的损失；基于教师颈部特征图、教师定位信息量和定位权重系数，计算教师归一化定位特征图，同理，基于学生颈部特征图、教师定位信息量和定位权重系数，计算学生归一化定位特征图，并构建教师与学生相应归一化定位特征的损失；最后，通过归一化分类特征损失和归一化定位特征损失，构建异构平衡蒸馏损失；

7、步骤s5：通过异构平衡蒸馏损失函数对学生模型进行训练，并将训练完毕的学生模型用于图像目标检测。

8、进一步地，所述步骤s2中，锚框置信度的计算公式如下：

9、

10、其中，h表示锚框中心点的空间位置的纵坐标，w表示锚框中心点的空间位置的横坐标，表示分类概率图，表示定位预测图，ach,w表示锚框置信度。

11、进一步地，所述步骤s2中，分类信息量的计算公式如下：

12、

13、其中，表示分类信息量，表示分类概率图，ach,w表示锚框置信度；

14、定位信息量的计算公式如下：

15、

16、其中，表示定位信息量，表示定位预测图，ach,w表示锚框置信度。

17、进一步地，所述步骤s3中，分类信息张量的构建公式如下：

18、tcls＝concat(icls,t,icls,s)

19、其中，icls,t表示所述教师分类信息量，icls,s表示所述学生分类信息量，concat表示连接函数，用于在通道维度连接教师分类信息量和学生分类信息量，tcls表示分类信息张量；

20、定位信息张量的构建公式如下：

21、treg＝concat(ireg,t,ireg,s)

22、其中，ireg,t表示所述教师定位信息量，ireg,s表示所述学生定位信息量，treg表示定位信息张量。

23、进一步地，所述步骤s3中，权重系数的计算公式如下：

24、ccls,creg＝softmax(adaptiveavgpool(cov2d(tcls)),adaptiveavgpool(cov2d(tcls)))

25、其中，cov2d表示二维卷积函数，adaptiveavgpool表示自适应平均池化函数，softmax表示归一化函数，ccls表示分类权重系数，creg表示定位权重系数，由于分类信息量和定位信息量的幅值不同，因此，需要分别对分类信息张量和定位信息张量进行卷积。

26、进一步地，所述步骤s4中，归一化分类特征图的计算公式如下：

27、

28、其中，表示归一化分类特征图，ccls表示分类权重系数，norm表示标准化函数，用于将分布转化为标准正态分布，表示教师分类信息量，fh,w表示颈部特征图；

29、归一化定位特征图的计算公式如下：

30、

31、其中，表示归一化定位特征图，creg表示定位权重系数，norm表示标准化函数，用于将分布转化为标准正态分布，表示教师定位信息量，fh,w表示颈部特征图。

32、进一步地，所述步骤s4中，异构平衡蒸馏损失函数使用皮尔逊距离对加权后的颈部特征图计算损失，既消除了模型特征幅值差异带来的负面影响，又为学生模型传输了分类精度和定位精度一致性的知识，公式如下：

33、

34、

35、ldistillation＝2-(lcls+lreg)；

36、其中，c表示特征图的通道数，h表示特征图的高度，w表示特征图的宽度，lcls表示归一化分类特征损失，lreg表示归一化定位特征损失，ldistillation表示异构平衡蒸馏损失函数。

37、一种基于异构平衡蒸馏的目标检测装置，包括特征变换提取模块、信息量计算模块、权重计算模块、异构平衡蒸馏损失函数模块和模型部署模块；

38、所述特征变换提取模块，从异构平衡蒸馏架构中，获取教师模型的教师颈部特征图、教师分类概率图和教师定位预测图，以及对应学生模型的学生颈部特征图、学生分类概率图和学生定位预测图；

39、所述信息量计算模块，基于教师分类概率图和教师定位预测图计算教师锚框置信度，并通过教师锚框置信度和教师分类概率图计算教师分类信息量，通过教师锚框置信度和教师定位预测图计算教师定位信息量；同理，基于学生分类概率图和学生定位预测图计算学生锚框置信度，并通过学生锚框置信度和学生分类概率图计算学生分类信息量，通过学生锚框置信度和学生定位预测图计算学生定位信息量；锚框置信度能够综合分类分支和定位分支的结果，评估锚框的有效性，减轻了后续计算中分类精度和位置精度不一致问题的影响，信息量包含了锚框的类别概率信息以及模型分类精度与定位精度一致性的信息，传递了教师模型的类间分布知识和一致性知识；

40、所述权重计算模块，基于教师分类信息量和学生分类信息量构建分类信息张量，基于教师定位信息量和学生定位信息量构建定位信息张量，通过分类信息张量和定位信息张量，计算分类权重系数和定位权重系数，分类权重系数和定位权重系数分别代表学生模型对教师模型的分类精度和定位精度的学习情况；

41、所述异构平衡蒸馏损失函数模块，基于教师颈部特征图、教师分类信息量和分类权重系数，计算教师归一化分类特征图，同理，基于学生颈部特征图、教师分类信息量和分类权重系数，计算学生归一化分类特征图，并构建教师与学生相应归一化分类特征的损失；基于教师颈部特征图、教师定位信息量和定位权重系数，计算教师归一化定位特征图，同理，基于学生颈部特征图、教师定位信息量和定位权重系数，计算学生归一化定位特征图，并构建教师与学生相应归一化定位特征的损失；最后，通过归一化分类特征损失和归一化定位特征损失，构建异构平衡蒸馏损失；

42、所述模型部署模块，通过异构平衡蒸馏损失函数对学生模型进行训练，并将训练完毕的学生模型加载到相应设备中，并进行图像目标检测。

43、进一步地，所述异构平衡蒸馏损失函数模块中，基于教师归一化分类特征图和学生归一化分类特征图各维度的皮尔逊距离，构建归一化分类特征的损失；基于教师归一化定位特征图和学生归一化定位特征图各维度的皮尔逊距离，构建归一化定位特征的损失，既消除了模型特征幅值差异带来的负面影响，又为学生模型传输了分类精度和定位精度一致性的知识。

44、本发明的优势和有益效果在于：

45、本发明首先基于分类概率图和定位预测图计算得到锚框置信度，综合分类分支和定位分支的结果评估锚框的有效性，然后进一步计算得到分类信息量和定位信息量，用信息量传递锚框包含的分类和定位知识，求平方根操作用于软化信息量的分布，使其提供更多暗知识；其次，基于分类信息量和定位信息量计算分类权重系数和定位权重系数，根据学生模型对教师模型传输的分类和定位知识的学习情况，自行调整损失函数的权重；最后构建异构平衡蒸馏损失函数，引导学生模型学习教师模型特征分布的变化趋势，而非具体数值，避免模型特征幅值差异的干扰。本发明在中间层特征蒸馏中引入分类信息量和定位信息量，并使用异构平衡蒸馏损失函数对学生模型进行训练，在实现异构蒸馏的同时提高分类精度和位置精度一致性。