目标检测方法、装置、计算机设备、存储介质与流程

本技术涉及目标检测领域，特别是涉及一种目标检测方法、装置、计算机设备、存储介质。

背景技术：

1、对于目标检测任务，需要为每张图像的每个实例标注精确的定位坐标和类别信息，这使得标注完整的数据集需要耗费大量时间和精力。将经过标注的数据集（源域数据集）预训练的模型泛化到未标注的数据集（目标域数据集）是一个十分有潜力的方法。然而，由于源域和目标域数据集的图像是在不同的设备、天气、角度、光照等条件下采集的，这导致目标检测模型在目标域数据集中的检测精度较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供了一种目标检测方法、装置、计算机设备、存储介质。

2、第一方面，本技术提供了一种目标检测方法。所述方法包括：

3、获取带标注的源域数据、不带标注的目标域数据、学生模型；

4、基于所述源域数据训练学生模型，得到训练后的学生模型的结构、权重；

5、基于所述训练后的学生模型的结构、权重构建教师模型；

6、将所述目标域数据输入至所述教师模型，得到所述目标域数据的伪标签；

7、将所述伪标签和目标域数据输入至训练后的学生模型进行训练，得到优化后的学生模型，基于所述优化后的学生模型的模型参数更新所述教师模型的模型参数，基于所述更新后的教师模型进行目标检测。

8、在其中一个实施例中，所述基于所述源域数据训练学生模型包括：

9、基于所述学生模型提取所述源域数据中的实例特征；

10、对于同一类别中的任意多个实例特征，计算所述实例特征之间的距离；

11、在所述实例特征之间的距离小于预设距离的情况下，将所述实例特征之间的距离小于预设距离的特征实例输入至同一聚类集合，形成类别多原型结构。

12、在其中一个实施例中，所述方法还包括：

13、基于所述类别多原型结构修正所述伪标签以及生成虚拟实例特征。

14、在其中一个实施例中，通过下述方式修正所述伪标签：

15、提取图像中每个目标实例的实例特征；

16、对于每个类别，计算每个类别所有实例特征与每个类别中所有原型之间的空间距离；

17、根据以下公式计算所述空间距离：

18、=<msubsup><mi> i</mi><mi>k</mi><mi>j</mi></msubsup><mi>∙φ[dis(</mi><msubsup><mi>i</mi><mi>k</mi><mi>j</mi></msubsup><mi>,</mi><msubsup><mi>p</mi><mi>k</mi><mi>i</mi></msubsup><mi>)]&lt;</mi><msub><mi>δ</mi><mi>d</mi></msub>；

19、其中表示类别k中的第j个原型，表示类别k中的第j个实例特征，<mi>φ[∙]</mi>表示映射函数，当<mi>[</mi><mi>∙</mi><mi>]</mi>中内容为真值时，<mi>φ[∙]=1</mi>，否则<mi>φ[∙]=0</mi>，表示实例特征和类别多原型之间的距离阈值；

20、将符合所述距离阈值的实例特征进行伪标签预测。

21、在其中一个实施例中，所述方法还包括：

22、基于源域数据对学生模型新增的特征点分类分支进行参数初始化，得到初始化损失函数<msub><mi>l</mi><mi>init</mi></msub><mi>=</mi><mstyle><msub><mo>∑</mo><mi>k</mi></msub><mstyle><msub><mo>∑</mo><mi>n</mi></msub><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msub><mi>y</mi><mi>s</mi></msub></mrow></mstyle></mstyle><mi>]</mi> ；

23、其中，表示一个批量特征中类别为k中的第n个特征点，表示学生模型的特征点分类器输出，表示真实分类标签；

24、基于类别多原型结构生成虚拟实例特征，基于学生模型的输出结果、教师模型的输出结果、虚拟实例特征，得到特征一致性损失函数<msub><mi>l</mi><mi>consist</mi></msub><mi>=</mi><mstyle displaystyle="false"><munder><mo>∑</mo><mo>k</mo></munder><mstyle displaystyle="false"><munder><mo>∑</mo><mo>n</mo></munder><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><msup><mi>f</mi><mi>*</mi></msup><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msubsup><mi>h</mi><mi>cls</mi><mi>tea</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>)]</mi></mrow></mstyle></mstyle><mo>+</mo><mstyle displaystyle="false"><munder><mo>∑</mo><mo>k</mo></munder><mstyle displaystyle="false"><munder><mo>∑</mo><mo>n</mo></munder><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msubsup><mi>h</mi><mi>cls</mi><mi>tea</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>)]</mi></mrow></mstyle></mstyle>，；

25、其中，表示虚拟实例特征中类别为k中的第n个特征点，表示高斯分布，表示类别k的原型的第i个类内原型的均值，表示一个批量中的特征点之间的方差，表示学生模型的输出结果，表示教师模型的输出结果，表示交叉熵损失函数。

26、在其中一个实施例中，基于所述优化后的学生模型的模型参数更新所述教师模型的模型参数包括：

27、获取所述优化后学生模型的模型参数，基于指数移动平均算法更新教师模型的模型参数。

28、第二方面，本技术还提供了一种目标检测装置，所述装置包括：

29、获取模块，用于获取包括带标注的源域数据、包括不带标注的目标域数据、学生模型；

30、训练模块，用于基于所述源域数据训练学生模型，得到训练后的学生模型的结构、权重；

31、构建模型，用于基于所述训练后的学生模型的结构、权重构建教师模型；

32、生成模块，用于将所述目标域数据输入至所述教师模型，得到所述目标域数据的伪标签；

33、检测模块，用于将所述伪标签输入至训练后的学生模型进行训练，得到优化后的学生模型，基于所述学生模型的模型参数更新所述教师模型的模型参数，基于所述更新后的教师模型进行目标检测。

34、在其中一个实施例中，所述基于所述源域数据训练学生模型包括：

35、基于所述学生模型提取所述源域数据中的实例特征；

36、对于同一类别中的任意多个实例特征，计算所述实例特征之间的距离；

37、在所述实例特征之间的距离小于预设距离的情况下，将所述实例特征之间的距离小于预设距离的特征实例输入至同一聚类集合，形成类别多原型结构。

38、在其中一个实施例中，所述装置还包括：

39、基于所述类别多原型结构修正所述伪标签以及生成虚拟实例特征。

40、在其中一个实施例中，通过下述方式修正所述伪标签：

41、提取图像中每个目标实例的实例特征；

42、对于每个类别，计算每个类别所有实例特征与每个类别中所有原型之间的空间距离；

43、根据以下公式计算所述空间距离：

44、=<msubsup><mi> i</mi><mi>k</mi><mi>j</mi></msubsup><mi>∙φ[dis(</mi><msubsup><mi>i</mi><mi>k</mi><mi>j</mi></msubsup><mi>,</mi><msubsup><mi>p</mi><mi>k</mi><mi>i</mi></msubsup><mi>)]&lt;</mi><msub><mi>δ</mi><mi>d</mi></msub>；

45、其中表示类别k中的第j个原型，表示类别k中的第j个实例特征，<mi>φ[∙]</mi>表示映射函数，当<mi>[</mi><mi>∙</mi><mi>]</mi>中内容为真值时，<mi>φ[∙]=1</mi>，否则<mi>φ[∙]=0</mi>，表示实例特征和类别多原型之间的距离阈值；

46、将符合所述距离阈值的实例特征进行伪标签预测。

47、在其中一个实施例中，所述装置还包括：

48、基于源域数据对学生模型新增的特征点分类分支进行参数初始化，得到初始化损失函数<msub><mi>l</mi><mi>init</mi></msub><mi>=</mi><mstyle><msub><mo>∑</mo><mi>k</mi></msub><mstyle><msub><mo>∑</mo><mi>n</mi></msub><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msub><mi>y</mi><mi>s</mi></msub></mrow></mstyle></mstyle><mi>]</mi> ；

49、其中，表示一个批量特征中类别为k中的第n个特征点，表示学生模型的特征点分类器输出，表示真实分类标签；

50、基于类别多原型结构生成虚拟实例特征，基于学生模型的输出结果、教师模型的输出结果、虚拟实例特征，得到特征一致性损失函数<msub><mi>l</mi><mi>consist</mi></msub><mi>=</mi><mstyle displaystyle="false"><munder><mo>∑</mo><mo>k</mo></munder><mstyle displaystyle="false"><munder><mo>∑</mo><mo>n</mo></munder><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><msup><mi>f</mi><mi>*</mi></msup><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msubsup><mi>h</mi><mi>cls</mi><mi>tea</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>)]</mi></mrow></mstyle></mstyle><mo>+</mo><mstyle displaystyle="false"><munder><mo>∑</mo><mo>k</mo></munder><mstyle displaystyle="false"><munder><mo>∑</mo><mo>n</mo></munder><mrow><mi>h[</mi><msubsup><mi>h</mi><mi>cls</mi><mi>stu</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>),</mi><msubsup><mi>h</mi><mi>cls</mi><mi>tea</mi></msubsup><mi>(</mi><msubsup><mi>f</mi><mi>k</mi><mi>n</mi></msubsup><mi>)]</mi></mrow></mstyle></mstyle>，；

51、其中，表示虚拟实例特征中类别为k中的第n个特征点，表示高斯分布，表示类别k的原型的第i个类内原型的均值，表示一个批量中的特征点之间的方差，表示学生模型的输出结果，表示教师模型的输出结果，表示交叉熵损失函数。

52、在其中一个实施例中，基于所述优化后的学生模型的模型参数更新所述教师模型的模型参数包括：

53、获取所述优化后学生模型的模型参数，基于指数移动平均算法更新教师模型的模型参数。

54、第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现目标检测方法的步骤。

55、第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现目标检测方法的步骤。

56、第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现目标检测方法的步骤。

57、上述目标检测方法，至少包括以下有益效果：

58、本公开提供的实施例方案，在预训练阶段，利用源域数据训练学生模型，并基于学生模型构建教师模型，在互相学习阶段，将目标域数据输入至教师模型，得到伪标签，再通过伪标签训练学生模型，提高模型的目标检测能力。

59、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。