结构信息引导的SAR目标细粒度识别方法及系统

本发明涉及计算机视觉和图像处理领域，具体涉及结构信息引导的sar目标细粒度识别方法及系统。

背景技术：

1、图像检测是sar自动目标识别(automatic object recognition，atr)系统的首要步骤，其执行效果对后续识别任务影响深远。传统的sar图像检测方法是对目标的几何特征、灰度统计特征和纹理特征进行建模，主要依赖于人工设计的模板来区分目标与背景，对特定场景的识别率较高。基于杂波统计与阈值提取的恒虚警率算法(constant falsealarm rate，cfar)是经典的传统算法，该算法通过对背景噪声建模，分离背景与目标.尽管cfar降低了检测的损失率，但对背景杂波的假设分布有依赖性，抗强杂波干扰能力不强，需要人为设定合适的检测窗口尺寸，因此，鲁棒性和泛化性较弱，无法建立可靠的预测模型。此外，受限于海陆分割处理结果的准确性，传统的检测算法在近海岸、港口区域场景下存在虚警率高、漏检错检严重现象，为识别系统的部署及应用带来了极大的困难。

2、随着深度学习技术的突飞猛进，其在sar目标检测领域的应用已取得显著成效。深度学习模型能够自学习数据中的复杂特征，省去了传统的图像预处理步骤，并能够输出具有概率信息的预测结果。2017年，谷歌和cmu的研究强调了大规模数据集对深度学习成功的关键性，指出随着训练数据的增加，计算机视觉任务的性能也会线性提升。尽管如此，sar图像数据集的广泛性和多样性仍然不足，这限制了深度学习在此领域的进一步发展。为了解决这一问题，2017年发布了首个专门用于舰船探测的sar数据集ssdd，随后又有ssdd+、sar-ship、hrsid、air-sarship1.0/2.0、sar-aircraft-1.0和fusar-ship等多个数据集相继问世，为sar图像检测的研究和应用提供了坚实的数据基础。深度学习的引入使得sar图像检测迈入了一个新时代，其性能已超越了传统的sar目标检测方法。现有的深度网络模型通过端到端的方式进行训练和推理，能够自动提取多尺度、多分辨率的特征，实现了在复杂环境下的实时且精确的目标检测，为sar图像的目标检测任务带来了革命性的新途径。

3、关键部件区域的信息对于sar图像的应用至关重要。例如，在船舶和飞机目标的分析中，头尾部分的信息可以辅助确定航向；目标的纵横比有助于在同一类别内识别不同型号的目标。在搜救任务中，关键部件的状态(如雷达和动力装置)信息至关重要，因为它们可以帮助分析救援目标的当前状况。而在军事侦察领域，通过分析目标关键部件的结构分布，可以识别目标的具体型号以及行为意图，掌控整体战场形势，利于做出正确的决策部署。

4、然而，对于细粒度识别，即在更微观层次上区分和识别目标的研究仍然不足，这一局限性影响了基于sar系统的实时监测应用的性能。细粒度识别研究的稀缺部分原因是，公开可用的sar图像目标细粒度数据集通常仅将飞机和船舶等目标作为前景进行标注，而未按具体型号进行详细分类。此外，sar图像中目标的类内差异性较小，增加了细粒度识别的难度。例如，在飞机目标识别中，不同型号的飞机可能表现出高度相似的散射特性，从而难以区分。为提高识别准确性，研究需考虑引入额外信息辅助识别过程，如飞机的尺寸、形状、结构特征等相关属性，以实现更精确的细粒度分类。随着sar成像系统分辨率的提高，飞机舰船等目标结构中的细节信息得以清晰记录，提高了不同类别、尺度目标的区分性、辨识性和检测性，在sar图像分析的领域，研究者们正逐渐转向探索目标的散射特性，这一转变标志着对sar图像解读的深化。孙显等人针对不同型号飞机在sar图像中呈现出的空间结构离散分布的显著差异，提出了一种散射关联分类器。该分类器通过量化建模飞机目标的离散程度，利用目标离散分布的差异动态调整样本对权重，从而引导深度学习网络学习到更具区分性的类间特征表示。这种方法不仅增强了网络对飞机关键部件区域的关注，而且有效减少了背景噪声的干扰。

5、综上，现有技术存在鲁棒性和泛化性较弱、虚警率高、漏检错检以及目标具体型号难以进行准确的细粒度分类的技术问题。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有技术中鲁棒性和泛化性较弱、虚警率高、漏检错检以及目标具体型号难以进行准确的细粒度分类的技术问题。

2、本发明是采用以下技术方案解决上述技术问题的：结构信息引导的sar目标细粒度识别方法包括：

3、s1、采集sar目标数据，利用yolov5策略，对sar目标图像进行数据预处理，以得到预处理sar目标数据；

4、s2、将预处理sar目标数据，送入预置dcn模块、预置注意力模块，以对预处理sar目标数据的关键特征进行结构信息引导操作，以得到引导增强数据；

5、s3、将引导增强数据送入结构信息引导识别网络的检测头，以生成适用识别结果；在网络detect阶段，利用不少于2个并行分支接收输入特征图，分别进行目标类别回归操作、关键点检测操作以及目标结构信息预测，以得到适用识别结果；

6、s4、采用focaler-slou进行网络训练，将focaler-slou作为iou改进策略，加入结构信息引导识别网络，对适用识别结果，计算focaler-lou损失，以与类别回归约束比较，根据关键点检测约束、目标结构信息预测约束，在反向传播过程中进行参数优化引导操作。

7、本发明通过开展在有监督训练下的sar目标细粒度识别与位姿估计研究，通过散射关键点构建目标的结构信息，进一步引导网络优化识别结果。本发明在加入结构信息的基础上，对识别网络进行针对性优化以适应sar目标的图像特性，具体来说加入了可变形卷积模块dcn，注意力模块，以及改进的iou计算方法。

8、在更具体的技术方案中，s1中，yolov5策略的增强阶段包括：马赛克增强mosaic、混合增强mixup、任意视角randomperspective以及颜色扰动hsvaugment。

9、在更具体的技术方案中，s2中，结构信息引导操作中，调整yolov8m-pose网络的head部分，基于目标检测框回归组件、关键点检测组件，增设结构信息检测分支，色孩子通道数目为结构信息数目nstruc。

10、本发明选择yolov8m-pose作为基线网络，基于结构信息引导，识别sar图像目标细粒度识别新方法yolov8-improved，可以有效利用关键点构成结构信息来引导网络进行细粒度识别。

11、在更具体的技术方案中，s2中，在预置dcn模块、预置注意力模块中，利用可变形卷积在输入特征图的卷积得到的偏移结果，在输入特征图的每个像素点进行卷积学习，得到一组偏移(x，y)，在相同的输入特征图的不同通道上，使用相同的预测偏移。

12、在更具体的技术方案中，s2包括：

13、s21、利用普通卷积，从输入特征图上采样一组像素点，通过卷积操作，计算像素点，以得到小数偏移量：

14、

15、s22、利用可变形卷积，修改像素点，以进行卷积核变形操作，其中，使用δpn代表pn进行扩充：

16、{δpn|n＝1，2，……，n}，

17、利用下述逻辑计算可变形卷积：

18、

19、s23、在预置dcn模块，对小数偏移量，进行双线性插值采样，获取并利用适用偏移量，进行偏移操作，提取sar图像特征；

20、s24、将sar图像特征送入预置注意力模块，进行融合操作，其中，预置注意力模块包括：通道注意力模块、空间注意力模块。

21、在更具体的技术方案中，s24还包括：

22、s241、在通道注意力模块中，针对输入特征图，分别使用最大值池化操作和平均池化操作聚合空间信息，输出为c维池化特征图：favg、fmax；

23、s242、将c维池化特征图favg、fmax输入含隐层多层感知器mlp，得到通道注意力图，在含隐层多层感知器mlp中，对隐层神经元进行输入信息神经元个数压缩操作，将通道注意力图进行相加操作，得到通道注意力图mc；

24、s243、在空间注意力模块中，对输入特征图按照通道维度进行平均池化操作和最大池化操作，处理得到拼接特征图，据以利用预置尺寸卷积层生成空间注意力图ms。

25、本发明选取了线段比例、结构角、方向向量以及纵横比等物理含义明确的结构信息加入细粒度识别网络中。sar图像所包含的特征信息并不丰富，网络难以提取表征能力强的高维特征，所以需要一定的辅助信息来引导网络进行细粒度识别。散射关键点包含目标关键结构和部件的位置空间信息，利用这些关键点之间的位置关系，可以构成具有识别性的目标结构信息特征。

26、在更具体的技术方案中，s242中，利用下述逻辑，确定通道注意力图mc：

27、

28、其中，favg和fmax为c维池化特征图。

29、本发明采用的用可变形卷积模块dcn(deformable convolutional network)代替了yolov8m-pose骨干网络中的检测层p3和p4，以增强对小物体的特征表示。这种修改可以在模型采样期间对网络的接受域进行自适应调整，用来提升模型对中小目标的关注。在增加可变形卷积模块后，因为小目标所在位置的感受野自适应的发生了改变，在预测框回归时，模型能够更好地调整预测框的回归参数，使得模型增加对小目标的关注度，进而提升模型的整体性能。

30、在更具体的技术方案中，s243中，利用下述逻辑，求取空间注意力图ms：

31、

32、本发明在yolov8m-pose的neck端添加一种注意力模块，以自适应地选择和调整特征图的通道权重和空间权重，从而更好地捕获并表示sar图像目标的重要特征。注意力模块组合了空间模块和通道模块，同时使用了全局平均池化和全局最大池化池化策略，从而可以有效地防止信息丢失，因此可以取得更好的效果。

33、在更具体的技术方案中，s4包括：

34、s41、利用下述逻辑，定义focaler-slou：

35、

36、其中，ioufocaler是重构的focaler-lou，lou是原始的lou值，通过调整d和u的值，使ioufocaler关注不同的回归样本；

37、s42、利用下述逻辑，确定focaler-lou损失：

38、lfocaler-iou＝1-ioufocaler

39、s43、利用下述逻辑，将focaler-lou损失应用于下述基于lou的边界框回归损失函数lfocaler-diou、lfocaler-ciou、lfocaler-eiou以及lfocaler-siou：

40、lfocaler-diou＝ldiou+iou-ioufocaler

41、lfocaler-ciou＝lciou+iou-ioufocaler

42、lfocaler-eiou＝leiou+iou-ioufocaler

43、lfocaler-siou＝lsiou+iou-ioufocaler。

44、在更具体的技术方案中，结构信息引导的sar目标细粒度识别系统包括：

45、sar数据预处理模块，用以采集sar目标数据，利用yolov5策略，对sar目标图像进行数据预处理，以得到预处理sar目标数据；

46、结构信息引导模块，用以将预处理sar目标数据，送入预置dcn模块、预置注意力模块，以对预处理sar目标数据的关键特征进行结构信息引导操作，以得到引导增强数据，结构信息引导模块与sar数据预处理模块连接；

47、网络识别模块，用以将引导增强数据送入结构信息引导识别网络的检测头，以生成适用识别结果；在网络detect阶段，利用不少于2个并行分支接收输入特征图，分别进行目标类别回归操作、关键点检测操作以及目标结构信息预测，以得到适用识别结果，网络识别模块与结构信息引导模块连接；

48、参数优化引导模块，用以采用focaler-slou进行网络训练，将focaler-slou作为iou改进策略，加入结构信息引导识别网络，对适用识别结果，计算focaler-lou损失，以与类别回归约束比较，根据关键点检测约束、目标结构信息预测约束，在反向传播过程中进行参数优化引导操作，参数优化引导模块与网络识别模块连接。

49、本发明相比现有技术具有以下优点：

50、本发明通过开展在有监督训练下的sar目标细粒度识别与位姿估计研究，通过散射关键点构建目标的结构信息，进一步引导网络优化识别结果。本发明在加入结构信息的基础上，对识别网络进行针对性优化以适应sar目标的图像特性，具体来说加入了可变形卷积模块dcn，注意力模块，以及改进的iou计算方法。

51、本发明选择yolov8m-pose作为基线网络，基于结构信息引导，识别sar图像目标细粒度识别新方法yolov8-improved，可以有效利用关键点构成结构信息来引导网络进行细粒度识别。

52、本发明选取了线段比例、结构角、方向向量以及纵横比等物理含义明确的结构信息加入细粒度识别网络中。sar图像所包含的特征信息并不丰富，网络难以提取表征能力强的高维特征，所以需要一定的辅助信息来引导网络进行细粒度识别。散射关键点包含目标关键结构和部件的位置空间信息，利用这些关键点之间的位置关系，可以构成具有识别性的目标结构信息特征。

53、本发明采用的用可变形卷积模块dcn(deformable convolutional network)代替了yolov8m-pose骨干网络中的检测层p3和p4，以增强对小物体的特征表示。这种修改可以在模型采样期间对网络的接受域进行自适应调整，用来提升模型对中小目标的关注。在增加可变形卷积模块后，因为小目标所在位置的感受野自适应的发生了改变，在预测框回归时，模型能够更好地调整预测框的回归参数，使得模型增加对小目标的关注度，进而提升模型的整体性能。

54、本发明在yolov8m-pose的neck端添加一种注意力模块，以自适应地选择和调整特征图的通道权重和空间权重，从而更好地捕获并表示sar图像目标的重要特征。注意力模块组合了空间模块和通道模块，同时使用了全局平均池化和全局最大池化池化策略，从而可以有效地防止信息丢失，因此可以取得更好的效果。

55、本发明解决了现有技术中存在的鲁棒性和泛化性较弱、虚警率高、漏检错检以及目标具体型号难以进行准确的细粒度分类的技术问题。