基于类别特征和公共特征解耦的持续目标检测方法及系统

本发明涉及持续目标检测，具体的是基于类别特征和公共特征解耦的持续目标检测方法及系统。

背景技术：

1、随着卷积神经网络的飞速发展，目标检测任务的精度已经取得了巨大的提升。但是目前大多数目标检测方法是基于静态的批量大数据进行训练，而实际应用中，各个行业需要处理的数据大多是动态、开放、非均衡分布的数据流。这种批量学习训练得到的模型只能识别在训练集中出现过的类别，对于未出现在训练集中的类别则只能利用包含新类的新训练集重新训练模型，不仅造成大量时间和物力的浪费，且会发生灾难性遗忘，即模型在先前学习的旧类别上性能显著下降。为了解决这个难题，研究人员开始将持续学习范式引入目标检测任务，尝试让模型能够不断地利用新到来的数据学习新的信息，学会处理新的任务，并保持对旧任务的处理能力。

2、最近，许多持续目标检测方法尝试利用知识蒸馏技术对新旧模型在存储的旧类实例上的置信度进行一致性约束。但这些方法存在两方面不足：其一，现有的蒸馏方法缺乏对新旧类别相似特征的判别能力，导致新模型在相似类别上的性能较差；其二，现有的方法依据实例级特征选择旧类实例存储，不能保证存储的实例能为知识蒸馏提供包含多样的特征。因此持续目标检测任务的关键在于如何加强对相似的新旧类别的判别能力，以及如何选取包含多样特征的旧类实例。

技术实现思路

1、为解决上述背景技术中提到的不足，本发明的目的在于提供基于类别特征和公共特征解耦的持续目标检测方法及系统。

2、第一方面，本发明的目的可以通过以下技术方案实现：基于类别特征和公共特征解耦的持续目标检测方法，方法包括以下步骤：

3、接收旧类别实例，将旧类别实例输入至预先建立的旧模型内，输出各区域上的置信度，根据各区域上的置信度计算信息熵，设定信息熵阈值，将小于信息熵阈值的旧类别实例输入至存储器内；

4、接收包含新类别实例的图片，存储器选取存储的与新类别实例外观相似的旧类别实例，将旧类别实例粘贴至图片内；

5、基于预先建立的旧模型和迭代更新中的新模型在旧类实例的各个区域上的置信度，将所有区域划分为含有类别特征的区域和含有公共特征的区域；

6、基于含有类别特征的区域和含有公共特征的区域，利用知识蒸馏生成新旧模型在类别特征区域上的置信度一致性损失，根据含有公共特征的区域，基于预先建立的反转交叉熵约束模型，生成反转交叉熵损失；

7、利用置信度一致性损失和反转交叉熵损失计算模型总损失，利用模型总损失更新新模型参数，得到更新后的新模型，利用更新后的新模型进行持续目标检测。

8、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述旧类别实例的选取存储过程如下：

9、对于各个旧类实例，切割为九块区域，各块区域送入旧模型，输出九个类别置信度，并计算这九个类别置信度的信息熵；

10、得到所有旧类实例的信息熵后，将实例按照对于的信息熵从小到大排序，设定信息熵阈值，选择小于信息熵阈值对应的旧类实例送入存储器。

11、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述存储器选取存储的与新类别实例外观相似的旧类别实例的过程：

12、基于输入的新类实例，输入至旧模型做推理，若旧模型输出的某一旧类别置信度大于设定的阈值，则认为新类实例与旧类外观相似；

13、基于存储器存储的各个旧类别实例，抽取与新类实例外观相似的旧类实例，将旧类实例粘贴在新类实例旁。

14、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述将所有区域划分为含有类别特征的区域和含有公共特征的区域的过程：

15、基于旧模型在旧类实例各区域上的置信度，若某区域背景置信度高于其他类置信度则满足条件一，若某区域旧类置信度大于设定的阈值则满足条件二；

16、基于新模型在旧类实例各区域上的置信度，若某区域的新类置信度大于旧类置信度，则满足条件三；

17、同时满足以上条件一、条件二和条件三的区域被划分为含有公共特征的区域，否则被划分为含有类别特征的区域。

18、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述置信度一致性损失和反转交叉熵损失分别为：

19、

20、式中，n代表类别特征区域的数量；和分别代表旧模型和新模型在类别特征区域上的置信度；代表指示函数，当满足方括号中的条件时值为1，不满足时值为0；δ代表设定的阈值；

21、所述反转交叉熵损失为：

22、

23、式中,m代表公共特征区域的数量，代表新模型在某一公共特征区域上的新类置信度，代表新模型在某一公共特征区域上的旧类置信度，代表新模型在某一公共特征区域上的背景置信度。

24、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述计算模型总损失的过程：

25、基于知识蒸馏技术，计算新旧模型在各个类别特征区域上的置信度差异，得到置信度一致性损失lconf；

26、基于反转交叉熵技术，将新模型在各个公共特征区域上的背景置信度、旧类置信度和新类置信度反转，得到反转置信度，并与平衡标签计算交叉熵损失，得到反转交叉熵损失lrce；

27、计算标准目标检测损失ldet，以及辅助无偏蒸馏损失lunb；

28、计算模型训练的总损失ltota：

29、ltotal＝ldet+λ1lunb+λ2lconf+λ3lrce

30、其中，λ1、λ2和λ3为用来平衡各项损失的平衡系数。

31、第二方面，为了达到上述目的，本发明公开了基于类别特征和公共特征解耦的持续目标检测系统，包括：

32、实例存储模块，用于接收旧类别实例，将旧类别实例输入至预先建立的旧模型内，输出各区域上的置信度，根据各区域上的置信度计算信息熵，设定信息熵阈值，将小于信息熵阈值的旧类别实例输入至存储器内；

33、新旧混合模块，用于接收包含新类别实例的图片，存储器选取存储的与新类别实例外观相似的旧类别实例，将旧类别实例粘贴至图片内；

34、区域划分模块，用于基于预先建立的旧模型和新模型在旧类实例的各个区域上的置信度，将所有区域划分为含有类别特征的区域和含有公共特征的区域；

35、损失计算模块，用于基于含有类别特征的区域和含有公共特征的区域，利用知识蒸馏生成新旧模型在类别特征区域上的置信度一致性损失，根据含有公共特征的区域，基于预先建立的反转交叉熵约束模型，生成反转交叉熵损失；

36、新模型更新模块，用于利用置信度一致性损失和反转交叉熵损失计算模型总损失，利用模型总损失更新新模型参数，得到更新后的新模型，利用更新后的新模型进行持续目标检测。

37、结合第二方面，在第二方面的某些实现方式中，该系统还包括：所述实例存储模块内旧类别实例的选取存储过程如下：

38、对于各个旧类实例，切割为九块区域，各块区域送入旧模型，输出九个类别置信度，并计算这九个类别置信度的信息熵；

39、得到所有旧类实例的信息熵后，将实例按照对于的信息熵从小到大排序，设定信息熵阈值，选择小于信息熵阈值对应的旧类实例送入存储器；

40、新旧混合模块内存储器选取存储的与新类别实例外观相似的旧类别实例的过程：

41、基于输入的包含新类实例的图片，输入至旧模型做推理，若旧模型输出的某一旧类别置信度大于设定的阈值，则认为新类实例与旧类外观相似；

42、基于存储器存储的各个旧类别实例，抽取与新类实例外观相似的旧类实例，将旧类实例粘贴在新类实例旁；

43、区域划分模块内将所有区域划分为含有类别特征的区域和含有公共特征的区域的过程：

44、基于旧模型在旧类实例各区域上的置信度，若某区域背景置信度高于其他类置信度则满足条件一，若某区域旧类置信度大于设定的阈值则满足条件二；

45、基于新模型在旧类实例各区域上的置信度，若某区域的新类置信度大于旧类置信度，则满足条件三；

46、同时满足以上条件一、条件二和条件三的区域被划分为含有公共特征的区域，否则被划分为含有类别特征的区域；

47、损失计算模块内置信度一致性损失和反转交叉熵损失分别为：

48、

49、式中，n代表类别特征区域的数量；和分别代表旧模型和新模型在类别特征区域上的置信度；代表指示函数，当满足方括号中的条件时值为1，不满足时值为0；δ代表设定的阈值；

50、所述反转交叉熵损失为：

51、

52、式中,m代表公共特征区域的数量，代表新模型在某一公共特征区域上的新类置信度，代表新模型在某一公共特征区域上的旧类置信度，代表新模型在某一公共特征区域上的背景置信度；

53、新模型更新模块内计算模型总损失的过程：

54、基于知识蒸馏技术，计算新旧模型在各个类别特征区域上的置信度差异，得到置信度一致性损失lconf；

55、基于反转交叉熵技术，将新模型在各个公共特征区域上的背景置信度、旧类置信度和新类置信度反转，得到反转置信度，并与平衡标签计算交叉熵损失，得到反转交叉熵损失lrce；

56、计算标准目标检测损失ldet，以及辅助无偏蒸馏损失lunb；

57、计算模型训练的总损失ltota：

58、ltotal＝ldet+λ1lunb+λ2lconf+λ3lrce

59、其中，λ1、λ2和λ3为用来平衡各项损失的平衡系数。

60、在本发明的另一方面，为了达到上述目的，公开了一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了如上所述的基于类别特征和公共特征解耦的持续目标检测方法。

61、在本发明的又一方面，为了达到上述目的，公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，采用了如上所述的基于类别特征和公共特征解耦的持续目标检测方法。

62、本发明的有益效果：

63、本发明能够很好地解决现有持续目标检测方法中普遍存在的问题，即缺乏对相似新旧类别的判别能力和不能提供包含多样特征的旧类实例，从而提高持续目标检测任务的准确性。且能极大的减少面对持续到来的数据流时重新训练目标检测模型所需的物力和时间开销。