网络训练方法、视觉检索方法和装置

本说明书一个或多个实施例涉及人工智能，尤其涉及一种网络训练方法、视觉检索方法和装置。

背景技术：

1、视觉检索的目标是从候选数据中搜索到与给定的查询最为相关的数据，视觉检索包括图像检索、视频检索等，具有广泛的应用场景，包括实例匹配、细粒度识别、产品推荐等。

2、基于深度神经网络(deep neural networks,dnns)的检索方法已经成为了近期视觉检索的主流方法。尽管dnns在视觉检索问题上带来了显著的性能提升，其计算效率仍然是一个重要的问题。

技术实现思路

1、有鉴于此，本说明书一个或多个实施例提供一种网络训练方法、视觉检索方法和装置。

2、为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

3、根据本说明书一个或多个实施例的第一方面，提出了一种网络训练方法，包括：

4、将多个样本图像对输入至预先训练的多个教师网络以及输入至学生网络，每个样本图像对为正样本对，包括第一样本图像和第二样本图像；

5、对每个教师网络输出的各个第一样本图像的特征向量和各个第二样本图像的特征向量进行白化处理，并根据白化处理后的特征向量得到第一相似度矩阵；

6、对所述多个教师网络的第一相似度矩阵进行融合，得到融合相似度矩阵；

7、根据所述融合相似度矩阵与第二相似度矩阵之间的蒸馏损失，对所述学生网络的网络参数进行调整，其中，所述第二相似度矩阵是根据所述学生网络输出的各个第一样本图像的特征向量和第二样本图像的特征向量得到的。

8、在一些实施例中，所述对每个教师网络输出的各个第一样本图像的特征向量和各个第二样本图像的特征向量进行白化处理，包括：

9、分别对所述第一样本图像的特征向量和所述第二样本图像的特征向量进行线性变换，使变换后特征向量的协方差矩阵为单位矩阵，其中，进行线性变换的参数是利用设定训练集在所述教师网络上运行的结果确定的。

10、在一些实施例中，所述方法还包括：

11、根据所述教师网络对所述设定训练集中所有训练样本进行特征提取得到的特征向量的平均均值，得到零均值向量；

12、利用所述零均值向量对所有训练样本对应的特征矩阵进行零均值化；

13、获取零均值化的特征矩阵的协方差矩阵的特征向量矩阵；

14、根据所述零均值向量和所述特征向量矩阵得到所述进行线性变换的参数。

15、在一些实施例中，所述分别对所述第一样本图像的特征向量和所述第二样本图像的特征向量进行线性变换，包括：

16、将待处理图像的特征向量减去所述零均值向量，得到零均值化的特征向量，所述待处理图像包括第一样本图像和第二样本图像；

17、根据所述特征向量矩阵与所述零均值化的特征向量的相乘结果，得到白化处理后的特征向量。

18、在一些实施例中，所述根据白化处理后的特征向量得到第一相似度矩阵，包括：

19、根据所述白化后的特征向量得到特征矩阵；

20、根据所述特征矩阵的转置矩阵与所述特征矩阵的相乘结果，得到所述第一相似度矩阵。

21、在一些实施例中，所述方法还包括：

22、对所述学生网络输出的第一样本图像的特征向量进行全连接操作，得到第一特征矩阵；

23、对所述学生网络输出的第二样本图像的特征向量进行全连接操作，得到第二特征矩阵；

24、根据所述第一特征矩阵和所述第二特征矩阵得到所述第二相似度矩阵。

25、在一些实施例中，所述对所述多个教师网络的第一相似度矩阵进行融合，得到融合相似度矩阵，包括：

26、对于所述融合相似度矩阵的对角线上的元素，根据多个第一相似度矩阵中对应元素的最大值获得元素值；

27、对于所述融合相似度矩阵的非对角线上的元素，根据以下任一种方式获得元素值：

28、根据多个第一相似度矩阵中对应元素的最小值获得；

29、根据多个第一相似度矩阵中对应元素的平均值获得；

30、根据多个第一相似度矩阵中指定第一相似度矩阵的对应元素值获得。

31、在一些实施例中，所述方法还包括：

32、利用高斯核函数对待处理相似度矩阵的每一行进行处理，得到概率分布矩阵，并利用所述概率分布矩阵更新所述待处理相似度矩阵，所述待处理相似度矩阵包括第一相似度矩阵和第二相似度矩阵。

33、在一些实施例中，所述根据所述融合相似度矩阵与第二相似度矩阵之间的蒸馏损失，对所述学生网络的网络参数进行调整，包括：

34、根据kl散度损失函数计算所述融合相似度矩阵与第二相似度矩阵之间的蒸馏损失。

35、根据本说明书一个或多个实施例的第二方面，提出了一种视觉检索方法，包括：将待检索图像输入至视觉检索网络，得到所述待检索图像的第一特征信息，所述视觉检索网络是上述实施例训练得到的学生网络；

36、将所述第一特征信息与图像库中图像的第二特征信息进行比较，将相似度符合要求的图像作为检索结果，其中，所述第二特征信息是利用所述视觉检索网络对所述图像库中图像进行特征提取得到的。

37、根据本说明书一个或多个实施例的第三方面，提出了一种网络训练装置，包括：

38、输入单元，用于将多个样本图像对输入至预先训练的多个教师网络以及输入至学生网络，每个样本图像对为正样本对，包括第一样本图像和第二样本图像；

39、白化单元，用于对每个教师网络输出的各个第一样本图像的特征向量和各个第二样本图像的特征向量进行白化处理，并根据白化处理后的特征向量得到第一相似度矩阵；

40、融合单元，用于对所述多个教师网络的第一相似度矩阵进行融合，得到融合相似度矩阵；

41、调整单元，用于根据所述融合相似度矩阵与第二相似度矩阵之间的蒸馏损失，对所述学生网络的网络参数进行调整，其中，所述第二相似度矩阵是根据所述学生网络输出的各个第一样本图像的特征向量和第二样本图像的特征向量得到的。

42、在一些实施例中，所述白化单元具体用于：

43、分别对所述第一样本图像的特征向量和所述第二样本图像的特征向量进行线性变换，使变换后特征向量的协方差矩阵为单位矩阵，其中，进行线性变换的参数是利用设定训练集在所述教师网络上运行的结果确定的。

44、在一些实施例中，所述装置还包括参数获取单元，用于：

45、根据所述教师网络对所述设定训练集中所有训练样本进行特征提取得到的特征向量的平均均值，得到零均值向量；

46、利用所述零均值向量对所有训练样本对应的特征矩阵进行零均值化；

47、获取零均值化的特征矩阵的协方差矩阵的特征向量矩阵；

48、根据所述零均值向量和所述特征向量矩阵得到所述进行线性变换的参数。

49、在一些实施例中，所述白化单元在用于分别对所述第一样本图像的特征向量和所述第二样本图像的特征向量进行线性变换时，具体用于：

50、将待处理图像的特征向量减去所述零均值向量，得到零均值化的特征向量，所述待处理图像包括第一样本图像和第二样本图像；

51、根据所述特征向量矩阵与所述零均值化的特征向量的相乘结果，得到白化处理后的特征向量。

52、在一些实施例中，所述白化单元在用于根据白化处理后的特征向量得到第一相似度矩阵时，具体用于：

53、根据所述白化后的特征向量得到特征矩阵；

54、根据所述特征矩阵的转置矩阵与所述特征矩阵的相乘结果，得到所述第一相似度矩阵。

55、在一些实施例中，所述装置还包括确定单元，用于：

56、对所述学生网络输出的第一样本图像的特征向量进行全连接操作，得到第一特征矩阵；

57、对所述学生网络输出的第二样本图像的特征向量进行全连接操作，得到第二特征矩阵；

58、根据所述第一特征矩阵和所述第二特征矩阵得到所述第二相似度矩阵。

59、在一些实施例中，所述融合单元具体用于：

60、对于所述融合相似度矩阵的对角线上的元素，根据多个第一相似度矩阵中对应元素的最大值获得元素值；

61、对于所述融合相似度矩阵的非对角线上的元素，根据以下任一种方式获得元素值：

62、根据多个第一相似度矩阵中对应元素的最小值获得；

63、根据多个第一相似度矩阵中对应元素的平均值获得；

64、根据多个第一相似度矩阵中指定第一相似度矩阵的对应元素值获得。

65、在一些实施例中，所述装置还包括更新单元，用于：

66、利用高斯核函数对待处理相似度矩阵的每一行进行处理，得到概率分布矩阵，并利用所述概率分布矩阵更新所述待处理相似度矩阵，所述待处理相似度矩阵包括第一相似度矩阵和第二相似度矩阵。

67、在一些实施例中，所述调整单元具体用于：

68、根据kl散度损失函数计算所述融合相似度矩阵与第二相似度矩阵之间的蒸馏损失。

69、根据本说明书一个或多个实施例的第四方面，提出了一种视觉检索装置，包括：

70、输入单元，用于将待检索图像输入至视觉检索网络，得到所述待检索图像的第一特征信息，所述视觉检索网络是上述实施例训练得到的学生网络；

71、检索单元，用于将所述第一特征信息与图像库中图像的第二特征信息进行比较，将相似度符合要求的图像作为检索结果，其中，所述第二特征信息是利用所述视觉检索网络对所述图像库中图像进行特征提取得到的。

72、根据本说明书一个或多个实施例的第五方面，提出了一种电子设备，包括：

73、处理器；

74、用于存储处理器可执行指令的存储器；

75、其中，所述处理器通过运行所述可执行指令以实现上述实施例提出的方法。

76、根据本说明书一个或多个实施例的第六方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实施例提出的方法的步骤。

77、在本说明书实施例中，通过预先训练的多个教师网络对多个样本图像对进行特征提取，并对各个教师网络输出的第一样本图像的特征向量和第二样本图像的特征向量进行白化处理，根据白化后的特征矩阵得到第一相似度矩阵；对多个教师网络的第一相似度矩阵进行融合，得到融合相似度矩阵；通过学生网络对所述多个样本图像对进行特征提取，并根据所述学生网络输出的第一样本图像的特征向量和第二样本图像的特征向量得到第二相似度矩阵；之后，根据所述融合相似度矩阵与第二相似度矩阵之间的蒸馏损失，对所述学生网络的网络参数进行调整。通过对教师网络的输出进行基于白化的相似度标准化，可以统一多个教师网络的输出分布，使得多个教师网络的相似度可比较，实现稳定有效的多教师网络融合，从而能够将多个教师网络蒸馏到学生网络中，实现性能和计算效率的提升。