目标检测网络的训练方法、目标检测方法及相关设备与流程

本技术涉及目标检测领域，具体涉及一种目标检测网络的训练方法、目标检测方法及相关设备。

背景技术：

1、为了提高目标检测网络性能，用户往往需要采用大量的图像样本对目标检测网络进行训练。其中，有标签的图像样本需要人工手动对图像进行标注，成本较高，因此，在实际训练过程中，大量样本图像缺乏其所对应的标签。

2、然而，在采用有标签图像和无标签图像对目标检测网络进行训练时，由于有标签图像和无标签图像的数据域存在差异，因此，基于此训练出的模型性能较差。

技术实现思路

1、鉴于上述，本技术实施例提供一种目标检测网络的训练方法、目标检测方法及相关设备，不仅能够基于有标签图像和无标签图像对目标检测网络进行训练，还可以提高训练出的目标检测网络的性能。

2、本技术实施例提供一种目标检测网络的训练方法，包括：

3、获取用于训练所述目标检测网络的样本图像，所述样本图像包括有标签的源域图像和无标签的目标域图像；

4、将所述源域图像和所述目标域图像进行融合，得到融合图像；

5、将所述融合图像输入所述目标检测网络，得到融合图像检测结果；

6、将所述源域图像输入所述目标检测网络，得到源域检测结果；

7、基于所述源域图像的标签和所述源域检测结果，得到检测损失；

8、将所述目标域图像输入所述目标检测网络，得到目标域检测结果；

9、基于所述目标域检测结果和所述源域图像，得到所述融合图像的伪标签；

10、基于所述伪标签和所述融合图像检测结果，得到伪标签损失；

11、基于所述伪标签损失和所述检测损失，更新所述目标检测网络的网络参数。

12、本实施例在对目标检测网络训练的过程中，将源域图像和目标域图像进行融合，从而可以减小源域和目标域的内容差异，再将融合图像输入目标检测网络，以得到伪标签损失，然后，基于检测损失和伪标签损失更新目标检测模型的网络参数，可以使得训练出的目标检测网络在源域和目标域都能取得较好的检测效果，提高训练出的目标检测网络的性能。

13、在一些实施例中，融合图像包括第一局部图像和第二局部图像；

14、所述将所述源域图像和所述目标域图像进行融合，得到融合图像，包括：

15、在所述目标域图像中选取位于至少一局部位置的图像作为所述第一局部图像；所述局部位置用于描述局部图像在完整图像中的相对方位；

16、在所述源域图像中，将除所述局部位置的之外的图像作为所述第二局部图像；

17、拼接所述第一局部图像和所述第二局部图像，得到所述融合图像。

18、本技术实施例筛选源域图像和目标域图像的局部图像并进行拼接以得到融合图像，一方面，可以保障融合图像的尺寸与样本图像一致，便于目标检测网络后续进行处理，另一方面，保留了源域图像和目标域图像的特征，有利于目标检测网络协同学习两数据域的图像特征。

19、在一些实施例中，目标域检测结果包括基于所述目标域图像检测出的多个目标框；

20、在所述目标域图像中选取位于至少一局部位置的图像作为所述第一局部图像之前，包括：

21、获取所述多个目标框的置信度；

22、将所述目标域图像划分为多个局部区域；

23、基于所述局部区域包括的目标框的置信度，对所述局部区域的检测准确度进行评分，得到所述局部区域的分数；

24、基于每个所述局部区域的分数确定所述第一局部图像在所述目标域图像中的局部位置。

25、本技术实施例采用检测框的置信度得到局部区域的检测准确度，以此确定待拼接至融合图像的第一局部图像，有利于保障融合图像的伪标签的准确性。

26、在一些实施例中，基于所述局部区域包括的目标框的置信度，对所述局部区域的检测准确度进行评分，得到所述局部区域的分数，包括：

27、计算所述局部区域包括的目标框的置信度的均值；

28、将所述均值作为所述局部区域的分数；

29、所述基于每个所述局部区域的分数确定所述第一局部图像在所述目标域图像中的局部位置，包括：

30、将分数最大的局部区域在所述目标域图像中的位置作为所述局部位置。

31、本技术实施例可以采用局部区域的置信度均值作为分数，使得分数能够代表局部区域整体的目标框的准确性，基于分数最大的局部区域确定局部位置，进一步保障融合图像的伪标签的准确性。

32、在一些实施例中，伪标签包括：第一局部标签和第二局部标签；所述目标域检测结果包括基于所述目标域图像检测出的多个目标框；所述源域检测结果包括基于所述源域图像检测出的多个目标框；

33、所述基于所述目标域检测结果和所述源域图像，得到所述融合图像的伪标签，包括：

34、在所述目标域检测结果中，将所述第一局部图像所在局部区域内的目标框作为所述第一局部标签；

35、在所述源域检测结果中，将所述第二局部图像所在局部区域内的目标框作为所述第二局部标签。

36、本实施例基于源域检测结果和目标域检测结果确定伪标签，该伪标签可以体现当前的目标检测网络对源域图像和目标图像的理解，从而有利于进一步提高训练出的目标检测网络的性能。

37、在一些实施例中，目标检测网络包括检测头；

38、所述基于所述伪标签损失和所述检测损失，更新所述目标检测网络的网络参数，包括：

39、基于所述伪标签损失和所述检测损失对所述检测头的网络参数进行梯度下降，得到所述检测头更新后的网络参数。

40、在一些实施例中，目标检测网络包络特征提取网络，所述特征提取网络用于提取所述样本图像的图像特征；所述目标检测网络的训练方法还包括：

41、获取所述样本图像的域分类标签，所述域分类标签用于描述所述样本图像实际为所述源域图像还是为所述目标域图像；

42、将所述图像特征输入预设的域分类器，得到所述样本图像的域分类结果，其中，所述域分类器用于检测所述样本图像为所述源域图像还是为所述目标域图像；

43、基于所述域分类结果和所述域分类标签，计算所述域分类器的损失，得到域分类损失；

44、所述基于所述伪标签损失和所述检测损失，更新所述目标检测网络的网络参数，包括：

45、计算所述域分类损失对所述特征提取网络的网络参数的偏导数，得到第一梯度；

46、对所述第一梯度进行梯度反转，得到反转后梯度；

47、基于所述伪标签损失对所述特征提取网络的网络参数的偏导数，得到第二梯度；

48、基于所述检测损失对所述特征提取网络的网络参数的偏导数，得到第三梯度；

49、基于所述反转后梯度和所述第三梯度，对所述特征提取网络的网络参数进行梯度下降，得到所述特征提取网络更新后的网络参数。

50、本技术实施例还在目标检测网络训练过程中采用域分类器检测样本图像属于源域还是属于目标域，并在反向传播更新目标检测网络的网络参数的过程中，基于域分类损失进行梯度反转，使得分类器和特征提取网络形成对抗，从而进一步缩小源域和目标域的风格差异。

51、本技术实施例还提供一种目标检测方法，包括：

52、获取待进行目标检测的图像；

53、将所述图像输入预设的目标检测网络，得到目标检测结果；其中，所述目标检测网络采用上述任一项的目标检测网络的训练方法训练得到。

54、本技术实施例还提供一种电子设备，所述电子设备包括处理器及存储器，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述电子设备执行上述的目标检测网络的训练方法，或者上述的目标检测方法。

55、本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行上述的目标检测网络的训练方法，或者上述的目标检测方法。

56、上述目标检测方法、电子设备及计算机可读存储介质均与上述目标检测网络的训练方法相对应，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。