一种基于无人机航拍视频实时目标检索方法及装置与流程

本发明涉及无人机航拍视频目标检索领域，尤其涉及一种基于无人机航拍视频实时目标检索方法及装置。

背景技术：

1、无人机视频目标实时检索，是在用户上传待检索目标图像query之后，在机载航拍视频中逐帧判断query目标在当前帧是否存在；如果存在，给出目标在画面中的位置和大小，该应用不同于目标检测，也不同于一般的图像检索，目标检测是判断某些类别的目标是否存在，但不判断具体的个体是否存在；图像检索是利用图库中所有图片进行匹配，该应用是仅用视频帧中候选目标进行匹配，不存在一个大的候选图片库，且多数时候画面中根本不含有目标。图像检索是筛选特征相似度最高的图片，实时目标检索除开在每帧图像中匹配相似度，还需判定相似度最高的图片是否与query是否为同一目标。

2、通常的图像检索，提取query图像全局特征之后，与数据库中所有图像各自的全局特征进行比较，计算相似度。接下来有两种处理方式：一种是一步筛查，直接从候选库中选择与query图像特征最相似的图片；另外一种是两步筛查，从候选库中选择与query图像特征距离最近的n张图片，然后计算query目标和n个候选目标的局部特征，从中选出局部特征匹配度最高的候选目标。整体下来，要么直接利用全局特征选出最佳匹配；要么利用全局特征选出n个候选者，然后从n个候选者选出局部特征最相似的目标。

3、另外一部分图像检索，在提取query图像的全局特征之后，与数据库中的m个特征聚类中心相比较，寻找与之距离最近的聚类中心，这实际上是对目标进行分类，并非真正意义上的检索。

4、全局特征和局部特征提取，近年逐渐为深度学习网络替代。仅仅采用全局特征一步筛查，准确度较差，在一步筛查的基础上，用局部特征精筛，准确度较好，但局部特征提取常常采用了不同于全局特征的提取网络，推理速度相当缓慢，影响了实时应用。

技术实现思路

1、本发明意在提供一种基于无人机航拍视频实时目标检索方法及装置，以解决每帧视频中候选目标过多，特征提取网络处理时间过长，全局特征一步筛查，准确度较差，用局部特征精筛推理速度相当缓慢的问题。

2、为了实现上述目的，本发明提供如下方法和装置：

3、本发明提供的一种基于无人机航拍视频实时目标检索方法是：

4、s1：获取待查询图像query的全局特征矢量fg和局部特征矢量fl，用目标识别网络判定目标类别；

5、s2：在边缘计算机上对所有训练样本进行特征提取，计算不同所述目标类别间相似度距离，得到判断图像目标是否存在的距离区间；

6、s3：利用目标检测网络对样本视频进行目标检测，并判断目标类别，选择与所述待查询图像query类别一致的图像作为候选目标图像；

7、s4：将所述候选目标图像进行填充，构造样本数量不定的batch，送入特征提取网络，得到候选目标图像的全局特征和候选目标图像的局部特征；

8、s5：计算所述候选目标图像与所述待查询图像query之间的全局特征余弦相似度，并通过所述判断图像目标是否存在的距离区间进行第一筛选过程；

9、s6：经过第一次筛选后的候选目标，计算所述候选目标图像与所述待查询图像query之间的局部特征余弦相似度，得到所述局部特征余弦相似度最大的所述候选目标图像；

10、s7：对所述局部特征余弦相似度最大的所述候选目标图像与所述判断图像目标是否存在的距离区间进行第二筛选过程判断，得到目标检索结果。

11、优选的，获取待查询图像query的全局特征矢量fg和局部特征矢量fl的步骤，包括：通过resnet中的stage3、stage4输出指定分辨率特征进行一步推理，所述stage3输出包含全局特征和局部特征，所述stage4输出包含全局特征；将所述stage4输出的全局特征进行池化，并通过全连接映射到指定长度，得到全局特征矢量fg；将所述stage3输出的全局特征和局部特征进行池化，去除全局特征，并通过正交法得到局部特征矢量fl；对所述待查询图像query进行目标分类，得到待查询目标类别；对所述待查询图像query进行预处理，所述预处理过程包括：先后进行缩放、归一化操作；将经过预处理后的图像输入到预训练的模型中，获取得到所述待查询图像query的所述全局特征矢量fg和局部特征矢量fl。

12、优选的，所述将所述stage4输出的全局特征进行池化，并通过全连接映射到指定长度，得到全局特征矢量fg的步骤，包括：设stage4输出特征图为f4，将f4输出经过通用池化mepool，得到长度为2048的矢量图f′4，公式为：

13、

14、将所述矢量图f′4经过全连接linear映射到长度为1024的全局特征矢量fg，公式为：

15、fg＝linea(f′4)，c_in＝2048,c_out＝1024

16、其中，h为stage4输出特征图高度，w为stage4输出特征图宽度，c为特征图通道号，c_in为linear的输入长度，c_out为linear的输出长度。

17、优选的，所述将所述stage3输出的全局特征和局部特征进行池化，去除全局特征，并通过正交法得到局部特征矢量fl的步骤，包括：设stage3输出特征图为f3，将f3进行输出池化，得到长度为1024的矢量图a，其公式为：

18、a＝adaptiveavgpool(f3)

19、adaptiveavgpool为自适应平均池化；

20、将矢量图a中的所述全局特征去除，得到只包含局部特征的矢量图f′3；

21、在所述只包含局部特征的矢量图f′3上采用正交法得到局部特征矢量fl，公式为：

22、

23、其中，|fg|2为fg的l2范数。

24、优选的，所述在边缘计算机上对所有训练样本进行特征提取，计算不同所述目标类别间相似度距离，得到判断图像目标是否存在的距离区间的步骤，包括：将所述全局特征矢量fg和所述局部特征矢量fl合并，在特征网络中经全连接层映射到长度为分类数n的矢量；经过arcface操作后，计算softmax，以交叉熵作为训练损失，训练分类网络；将训练的所述分类网络迁移到边缘计算平台上，在所述边缘计算平台上对所有训练样本重新计算所述不同所述目标类别间相似度距离，得到所述判断图像目标是否存在的距离区间。

25、优选的，所述对所述待查询图像query用目标识别网络判定类别，用特征提取网络提取全局特征矢量fg和局部特征矢量fl的步骤，包括：对所述待查询图像query进行目标分类，得到待查询目标类别；对所述待查询图像query进行预处理，所述预处理过程包括：先后进行缩放、归一化操作；将经过预处理后的图像输入到预训练的模型中，获取得到所述待查询图像query的所述全局特征矢量fg和局部特征矢量fl。

26、优选的，所述利用目标检测网络对样本视频进行目标检测，并判断目标类别，选择与所述待查询图像query类别一致的图像作为候选目标图像的步骤，包括：将所述样本视频进行帧数截取并对每一帧图像进行目标检测，得到样本图像目标；对所述样本图像目标类别结合所述待查询图像query目标类别进行对照判断：若所述样本图像目标类别与所述待查询图像query目标类别相同，则保留所述样本图像；若所述样本图像目标类别与所述待查询图像query目标类别不相同，则滤除所述样本图像。

27、优选的，所述将所述候选目标图像进行填充，构造样本数量不定的batch，送入特征提取网络，得到候选目标图像的全局特征和候选目标图像的局部特征的步骤，包括：将所述候选目标图像进行规格化，转化为统一的图像大小；对所述候选目标图像进行填充边缘，使所述候选目标图像具有统一的图像边缘，并将所述候选目标图像构造一个样本数量不固定的batch；将所述batch放入特征提取网络中，提取得到候选目标图像的全局特征和候选目标图像的局部特征。

28、优选的，所述计算所述候选目标图像与所述待查询图像query之间的全局特征余弦相似度，并通过所述判断图像目标是否存在的距离区间进行第一筛选过程的步骤，包括：计算所述候选目标图像与所述待查询图像query之间的全局特征余弦相似度，得到目标全局特征余弦相似度；通过所述判断图像目标是否存在的距离区间对所述目标全局余弦特征相似度进行过滤筛选，进行第一筛选过程；将所述目标全局余弦特征相似度中低于所述判断图像目标是否存在的距离区间的所述候选目标图像进行筛选去除。

29、优选的，所述经过第一次筛选后的候选目标，计算所述候选目标图像与所述待查询图像query之间的局部特征余弦相似度，得到所述局部特征余弦相似度最大的所述候选目标图像的步骤，包括：计算所述候选目标图像与所述待查询图像query之间的局部特征余弦相似度，得到目标局部特征余弦相似度；根据所述目标局部特征余弦相似度建立目标局部特征余弦相似度排序；根据所述目标局部特征余弦相似度排序得到所述局部特征余弦相似度最大的所述候选目标图像。

30、优选的，所述对所述局部特征余弦相似度最大的所述候选目标图像与所述判断图像目标是否存在的距离区间进行第二筛选过程判断，得到目标检索结果的步骤，包括：通过所述判断图像目标是否存在的距离区间对所述局部特征余弦相似度最大的所述候选目标图像进行判断；若所述局部特征余弦相似度最大的所述候选目标图像超过所述判断图像目标是否存在的距离区间，则检索到目标图像；若所述局部特征余弦相似度最大的所述候选目标图像未超过所述判断图像目标是否存在的距离区间，则未检索到目标图像。

31、本发明提供的一种基于无人机航拍视频实时目标检索装置，其特征在于，所述装置包括：

32、获取模块：获取待查询图像query的全局特征矢量和局部特征矢量；

33、特征转化模块：将全局特征和局部特征转化为特征矢量图；

34、距离生成模块：将特征提取网络迁移到边缘计算平台上，并进行计算目标类别间相似度距离，得到判断图像目标是否存在的距离区间；

35、目标类别筛选模块：在视频图像中逐帧筛选与所述待查询图像query类别一致的候选目标；

36、图像填充模块：将候选目标进行填充，构造一个batch后送入特征提取网络，得到候选目标图像的全局特征和候选目标图像的局部特征；

37、第一筛选模块：计算所述候选目标图像与所述待查询图像query之间的全局特征余弦相似度与所述判断图像目标是否存在的距离区间进行判断；

38、第二筛选模块：计算所述候选目标图像与所述待查询图像query之间的局部特征余弦相似度与所述判断图像目标是否存在的距离区间进行判断，得到检索结果。

39、本发明的有益效果体现在：通过resnet中的stage3、stage4输出指定分辨率进行一步推理过程得到待查询图像query的全局特征矢量fg和局部特征矢量fl，再分别对stage4输出特征图进行通用池化得到矢量图，经过全连接映射得到全局特征矢量fg，对stage3输出特征图进行进行输出池化并采用正交法得到局部特征矢量fl，一次推理过程输出了全局特征和局部特征，利用了全局特征和局部特征两次匹配的优点，消耗时间与全局特征匹配相同，通过全局特征矢量fg和局部特征矢量fl建立特征提取网络，计算类别间相似度距离，得到判断图像目标是否存在的距离区间；基于边缘计算平台，利用训练数据集得到合理的类别相似度距离门限，避免了门限过大或过小导致的漏检或误检，利用目标检测网络对样本视频进行目标检测，保留与query类别相同的目标作为候选目标，减少了特征提取网络的计算量，构造batch后经特征提取网络得到目标图像的全局特征和候选目标图像的局部特征，通过候选目标图像与待查询图像query之间的全局特征余弦相似度进行第一筛选过程，通过候选目标图像与待查询图像query之间的局部特征余弦相似度进行第二筛选过程，利用全局和局部特征两步匹配，相对于仅利用全局特征的匹配，提升了视频目标检索准确率，进一步减少了特征提取网络的输出数量，可满足单帧存在数十个候选目标的实时检测。