一种面向开放世界的遥感图像潜在旋转目标检测方法

本发明涉及遥感图像处理领域，更具体的说是涉及一种面向开放世界的遥感图像潜在旋转目标检测方法。

背景技术：

1、目标检测技术旨在利用图像特征精确识别感兴趣的目标，并确定其在图像中的位置和类别。随着深度学习技术的迅速普及和发展，基于卷积神经网络的目标检测算法得到了广泛关注与应用。其中，faster-rcnn、yolo等代表性算法在该领域取得了显著的进展和成果。而随着transformer的出现，基于transformer的目标检测算法，包括detr、deformable-detr、dino等也逐渐进入人们的视野中。

2、然而，传统的目标检测算法的检测类别数量是固定的，取决于作为训练集的图像中标注的类别数量。在真实场景下，图像中往往存在各种类别的目标，但传统目标检测算法会忽视或错检训练集中未进行标注的物体，因此极大限制了目标检测算法的实际应用。与之相反，开放世界目标检测算法不仅能够检测训练集中标注过的类别物体，也能够捕获输入图像中潜在的非训练类别的物体，并将其预测为未知类。开放世界目标检测算法对场景中存在的潜在目标具有一定的关注度，更符合真实场景的需求和人脑的学习模式，因此在近些年来获得了研究人员广泛的关注。

3、目前随着科技的进步，从卫星上采取的遥感图像数目呈爆炸式增长。遥感目标检测技术在海上安全、地质灾害防治、军事侦察等领域发挥着至关重要的作用。然而，跟自然图像相比，遥感图像存在背景复杂、目标朝向任意、类别间特征差异大等特征。因此，直接将针对自然图像的开放世界目标检测算法应用到遥感图像上会造成预测精度低、预测角度误差大等问题。

4、因此，如何设计一种面向开放世界的遥感图像潜在旋转目标检测方法，并根据遥感目标的特点进行改进，得到高质量的未知类别潜在旋转目标检测结果是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种面向开放世界的遥感图像潜在旋转目标检测方法，提高潜在类别旋转伪标签的质量的同时，解决遥感图像中潜在目标类别间特征差异大而趋向于一致的问题，能够有效提高遥感图像潜在旋转目标检测的准确性和鲁棒性，适用于各种复杂的遥感图像场景。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种面向开放世界的遥感图像潜在旋转目标检测方法，包括：

4、步骤一、获取待检测遥感图像；

5、步骤二、构建结构顺序为主干网络、未知目标候选框提取网络和感兴趣区域检测头的遥感图像潜在旋转目标检测模型；对所述遥感图像潜在旋转目标检测模型进行训练，包括：

6、获取遥感图像i并进行旋转，获得所述遥感图像i的旋转图像irot；

7、将所述遥感图像i和旋转图像irot依次输入主干网络、未知目标候选框提取网络，获得所述遥感图像i对应的候选框集合r和所述旋转图像irot对应的候选框集合rrot；并确定所述候选框集合r中的每一个候选框ri的置信分数si；

8、基于所述候选框集合r和候选框集合rrot，利用潜在旋转目标一致性算法确定潜在目标的候选框并施加旋转约束；

9、将所述施加旋转约束的潜在目标的候选框输入感兴趣区域检测头，利用多未知类别聚类对齐原型学习分类头，对未知类别特征进行多未知类别的自适应聚类，获得训练好的遥感图像潜在旋转目标检测模型；

10、步骤三、将所述待检测遥感图像输入所述训练好的遥感图像潜在旋转目标检测模型，获得所述待检测遥感图像的潜在旋转目标检测结果。

11、其中，所述基于所述候选框集合r和候选框集合rrot，利用潜在旋转目标一致性算法确定潜在目标的候选框并施加旋转约束，包括：

12、遍历所述候选框集合r，确定与已知类真值标签框的交并比高于预设阈值的候选框，作为已知类正样本候选框；且对所述已知类正样本之外的其他候选框基于置信分数si进行排序，并选取置信分数高的k个候选框作为潜在目标候选框

13、将所述候选框集合rrot和r进行对齐，并基于旋转角度对候选框集合rrot中的候选框坐标值进行反变换，将所述反变换结果投射到原图像空间，得到候选框集合rrot_new；

14、遍历所述候选框集合rrot_new，潜在目标候选框为并结合潜在目标候选框组成旋转一致性候选框对；

15、计算所述旋转一致性候选框对之间的giou损失，作为旋转一致性损失对网络模型进行监督，采用公式：

16、

17、其中，k表示旋转一致性候选框对个数，fori表示旋转框giou损失函数。

18、进一步的，所述利用多未知类别聚类对齐原型学习分类头，对未知类别特征进行多未知类别的自适应聚类，包括：多未知类别原型特征更新和计算多未知类别对比聚类损失。

19、进一步的，所述多未知类别原型特征更新，包括：

20、基于已知类的真值标签框和未知类的伪标签框，选择nk个已知类正样本候选框和nu个未知类正样本候选框，并定义特征向量分别为和

21、在训练过程的每一次迭代中，基于特征向量库对所述特征向量集合和进行更新；

22、训练开始时，设置已知类别个数为cknown、未知类别个数为cunknown，初始化原型特征向量为和

23、针对所述特征向量库中的已知类特征：

24、基于具体类别，计算相应的特征均值

25、对原型特征向量pknown进行更新，采用公式：

26、pknown＝ηpknown+(1-η)oknown

27、其中，η为动量系数；

28、针对所述特征向量库中的未知类特征：

29、进行聚类数量为cunknown的k-means聚类，计算相应的特征均值

30、将所述特征均值与原型特征向量进行特征对齐，获得对齐后的正样本特征均值向量

31、对原型特征向量pknown进行更新，采用公式：

32、

33、其中，η为动量系数。

34、进一步的，所述将所述特征均值与原型特征向量进行特征对齐，包括：

35、计算未知类别原型特征向量和正样本特征均值向量之间的距离，采用公式：

36、di,j＝||punknown,i-ounknown,j||p

37、其中，p表示范数的阶数；

38、利用匈牙利匹配算法，将未知类别原型特征向量和正样本特征均值向量进行匹配，获得匹配结果；

39、基于所述匹配结果，对重新排序，实现特征对齐，获得对齐后的正样本特征均值向量

40、进一步的，所述计算多未知类别对比聚类损失，采用公式：

41、

42、其中，

43、对每一个正样本候选框特征向量f及其对应的类别c，计算对比损失，采用公式：

44、

45、

46、其中，d(a,b)＝||a-b||p，δ值表示向量间是否相似；

47、总体的对比聚类损失为：

48、

49、其中，q表示第q个正样本候选框特征向量，nk表示已知类正样本候选框的数量，nu表示未知类正样本候选框的数量。

50、经由上述的技术方案可知，与现有技术相比，本发明技术方案存在以下

51、有益效果：

52、该方案中采用了主干网络、未知目标候选框提取网络和感兴趣区域检测头相结合的方式构建旋转目标检测模型，通过对遥感图像进行旋转获取更多的训练数据，有助于提高模型的鲁棒性和泛化能力。

53、引入了潜在旋转目标一致性算法，通过对候选框集合进行处理得到一致性的目标候选框，施加旋转约束提高了目标检测的准确性，尤其适用于旋转目标检测场景。

54、在对感兴趣区域进行检测时，采用多未知类别的自适应聚类方法，能有效地处理未知类别特征，提高了模型对多样化、复杂场景的适应能力。

55、通过对旋转的遥感图像进行处理和训练，能够充分利用不同视角信息，提高了模型对旋转目标的检测能力，使其在复杂环境下更稳健可靠。