一种基于频率分解和注意力引导的伪装性目标检测方法

本技术涉及图像处理领域，具体涉及一种基于频率分解和注意力引导的伪装性目标检测方法。

背景技术：

1、近年来，卷积神经网络的出现，开辟了目标检测领域的新赛道，基于深度学习的伪装目标检测cod很大程度上弥补了传统手工特征方式的不足，但在复杂场景中，目前的伪装性目标检测方法仍然有以下问题：第一，伪装对象的颜色和纹理与背景相接近时，模型会误检测；第二，伪装对象的边缘与背景融为一体，过于模糊的边界即使实现了伪装物体的定位，也难以获得精确的分割预测图。

2、利用深度学习的强大特征提取能力，一些挖掘细微的判别线索网络被提出并取得了一定进展。目前的伪装目标检测方法的设计思路有主要有两种：一是基于二阶段的检测方法。mei等人在2021年发表的《camouflaged object segmentation with distractionmining》文献中，为了实现伪装物体的粗略定位和细化，提出了定位模块和聚焦模块，定位模块从全局定位目标可能所在的位置，聚焦模块对区域进行识别并消除干扰来完善分割结果，由于只用到最高层学习进行全局搜索，难以完全挖掘细微的判别线索，在一些较复杂环境中，尤其是细小物体和多物体，仍然会出现错检或者漏检。二是基于图像边缘特征的检测方法。该检测框架利用的边缘线索为检测工作提供帮助，zhao等人在2019年发表的《egnet:edge guidance network for salient object detection》文献中，将边缘先验作为有效的辅助线索而被广泛使用在显著性目标检测，这有利于保持物体的结构，因此，增强伪装对象相关的边缘可见性对于cod任务是有必要的，zhai等人在2021年发表的《mutual graphlearning for camouflaged object detection》文献中设计了互图学习模型mgl，将边缘特征与对象特征一起编码到图卷积网络中，并通过图交互模块来增强特征表示，但是增加了模型的复杂性，计算量高，此外，即使引入了边缘线索，该模型仍然丢失了边缘相关细节，从而降低了检测性能。sun等人在2022年发表的《boundary-guided camouflaged objectdetection》文献中提出了边界引导模型，设计了边缘感知模块用以整合低层次的局部边缘学习和高层次的全局位置信息，在边界监督下探索与物体边界相关的边缘语义，这类早期生成边缘预测，再将边缘预测指导多级分割融合的方法相比于早期的检测方法能获得更清晰的边界，不足的是过分强调将边缘信息融入到分割特征中，没有考虑到边缘预测的准确性。

技术实现思路

1、本发明的目的在于，提供一种基于频率分解和注意力引导的伪装性目标检测方法，缓解现有伪装性检测方法中存在的复杂场景下目标定位不准确及伪装对象边界分割模糊的问题，能够有效利用分解的高低频信息对高层语义和低层细节进行指导和充分融合，以缓解现有模型不能完全挖掘伪装物体细微的判别性线索的问题，并有效利用注意力机制引导对边界增强，缓解现有模型在目标细化过程中边界模糊的问题。

2、本发明采取的技术方案是：一种基于频率分解和注意力引导的伪装性目标检测方法，包括如下步骤：

3、s1：构建伪装性目标检测模型，所述伪装性目标检测模型包括swin-transformer特征提取网络、感受野块rfb、频率分解模块fdm、频率特征提纯与聚合模块fpam、特征交互模块fc、convblock卷积块和注意力引导边缘增强解码器aeed；

4、所述的swin-transformer特征提取网络包括n个阶段stage，阶段stage用于提取不同层次的阶段特征e；

5、所述的感受野块rfb设置有n个，n个阶段stage提取的不同层次的阶段特征e分别输入到n个感受野块rfb中进行扩大感受野，且将特征的通道维度降至统一维度dim，生成n个多分辨率特征f；

6、所述的频率分解模块fdm设置有n个，n个多分辨率特征f分别输入n个频率分解模块fdm中，每个频率分解模块fdm分别生成具有高频信息特征h和低频信息特征l，以充分挖掘每个阶段特征判别性线索；

7、所述高频信息特征h和低频信息特征l分别输入频率特征提纯与聚合模块fpam进行关键信息提炼，生成高频聚合特征fh和低频聚合特征fl；

8、所述特征交互模块fc设置为n个，所述特征交互模块fc用于结合多分辨率特征f、高频聚合特征fh或低频聚合特征fl生成交互特征fc，将低层中的有价值信息传递到高层；

9、所述convblock卷积块对感受野块rfb生成的n个多分辨率特征f和频率特征提纯与聚合模块fpam输出的低频聚合特征fl进行卷积汇集和卷积融合，突出高层语义的异常区域，生成高层语义特征并输入注意力引导边缘增强解码器aeed中；

10、所述的注意力引导边缘增强解码器aeed设置有n个，用于融合当前阶段交互特征fc以及上一阶段注意力引导边缘增强解码器aeed输出的解码特征fm或高层语义特征输出当前阶段的分割预测图并作为当前阶段的解码特征fm输入至下一阶段的注意力引导边缘增强解码器aeed中用作指导；

11、s2：对所述伪装性目标检测模型进行训练，使用训练完毕的伪装性目标检测模型对输入图像进行检测，由第一阶段的注意力引导边缘增强解码器aeed输出的第1个阶段的解码特征作为最后的预测图。

12、进一步地，所述高频信息处理的频率特征提纯与聚合模块fpam设置有n–5个，构成高频信息流分支和低频信息流分支；所述高频信息流分支中设置有n–2个频率特征提纯与聚合模块fpam，每个频率特征提纯与聚合模块fpam结合当前阶段的高频信息特征h和上一阶段的频率特征提纯与聚合模块fpam的输出生成高频聚合特征fh；所述低频信息流分支中设置有n–1个频率特征提纯与聚合模块fpam，每个频率特征提纯与聚合模块fpam结合当前阶段的低频信息特征l和上一阶段的频率特征提纯与聚合模块fpam的输出生成低频聚合特征fl。

13、进一步地，所述高频信息流分支中的频率特征提纯与聚合模块fpam包括高频注意力模块hfa和基于窗口的线性模型，对于高频信息流分支中的第i个频率特征提纯与聚合模块fpam，以第i个阶段的高频信息特征hi和高频信息流分支中第i+1个的频率特征提纯与聚合模块fpam的输出的第i+1个阶段的高频聚合特征作为输入，第i个阶段的高频信息特征hi输入高频注意力模块hfa，所述高频注意力模块hfa包括卷积操作模块、频率通道注意力机制和空间注意力机制，经高频注意力模块hfa处理生成第i个阶段的高频关键性信息hi；基于窗口的线性模型以第i个阶段的高频信息特征hi、第i个阶段的高频关键性信息hi和经过下采样的第i+1个阶段的高频聚合特征为输入，进行基于窗口的线性操作，通过优化函数同时对多个窗口系数平均得到两个高频线性聚集系数和并对两个高频线性聚集系数和分别进行上采样，矩阵化得到两个高频线性聚集系数矩阵和将两个高频线性聚集系数矩阵和以及第i+1个阶段的高频聚合特征线性合并生成第i个频率特征提纯与聚合模块fpam，即第i个阶段的高频聚合特征对于高频信息流分支中的第n–2个频率特征提纯与聚合模块fpam，则以第n–2个阶段的高频信息特征hn-2和第n–3个阶段的高频信息特征hn-3作为输入，数据处理过程与其他高频信息流分支中的频率特征提纯与聚合模块fpam相同；

14、所述低频信息流分支中的频率特征提纯与聚合模块fpam包括低频注意力模块lfa和基于窗口的线性模型，对于低频信息流分支中的第i个频率特征提纯与聚合模块fpam，以第i个阶段的低频信息特征li和低频信息流分支中第i+1个的频率特征提纯与聚合模块fpam的输出的第i+1个阶段的低频聚合特征作为输入，第i个阶段的低频信息特征li输入低频注意力模块lfa，所述低频注意力模块lfa包括卷积操作模块、频率通道注意力机制、空间注意力机制和归一化机制，经低频注意力模块lfa处理生成第i个阶段的低频关键性信息li；基于窗口的线性模型以第i个阶段的低频信息特征li、第i个阶段的低频关键性信息li和经过下采样的第i+1个阶段的低频聚合特征为输入，进行基于窗口的线性操作，通过优化函数同时对多个窗口系数平均得到两个低频线性聚集系数和并对两个低频线性聚集系数和分别进行上采样，矩阵化得到两个低频线性聚集系数矩阵和将两个低频线性聚集系数矩阵和以及第i+1个阶段的低频聚合特征线性合并生成第i个频率特征提纯与聚合模块fpam，即第i个阶段的低频聚合特征对于低频信息流分支中的第n–1个频率特征提纯与聚合模块fpam，则以第n–1个阶段的低频信息特征ln-1和第n个阶段的低频信息特征ln作为输入，数据处理过程与其他低频信息流分支中的频率特征提纯与聚合模块fpam相同。

15、进一步地，所述高频信息流分支中的频率特征提纯与聚合模块fpam的特征处理过程的具体表达式为：

16、hi＝sa(fca(cbr(hi)+hi))；

17、

18、其中，hi表示第i个阶段的高频关键性信息，sa表示通道注意力操作，fca表示频率通道注意力操作，cbr表示卷积+批归一化+relu激活函数操作，hi表示第i个阶段的高频信息特征，表示第i个阶段的高频聚合特征，和表示第i个阶段的两个高频线性聚集系数矩阵，down表示下采样操作，表示相乘操作，表示第i+1个阶段的高频聚合特征，hi+1表示第i+1个阶段的高频信息特征；

19、所述低频信息流分支中的频率特征提纯与聚合模块fpam的特征处理过程的具体表达式为：

20、li＝sa(fca(pn(cbr(li)+li)))；

21、

22、其中，li表示第i个阶段的低频关键性信息，sa表示通道注意力操作，fca表示频率通道注意力操作，pn表示归一化，cbr表示卷积+批归一化+relu激活函数操作，li表示第i个阶段的低频信息特征，表示第i个阶段的低频聚合特征，和表示第i个阶段的两个低频线性聚集系数矩阵，down表示下采样操作，表示相乘操作，表示第i+1个阶段的低频聚合特征，li+1表示第i+1个阶段的低频信息特征。

23、进一步地，对于第i个特征交互模块fc，当i＝1时，以第1个阶段的低频聚合特征和第1个阶段的多分辨率特征f1融合得到的交互融合特征以及第1个阶段的高频聚合特征为输入，进行通道维度相加、通道注意力和空间注意力计算以及卷积操作得到第1个阶段的交互特征当2≤i≤n时，以第i–1个阶段的交互特征和第i个阶段的多分辨率特征fi为输入，进行通道维度相加、通道注意力和空间注意力计算以及卷积操作得到第i个阶段的交互特征

24、特征交互模块fc的特征处理过程的具体表达式为：

25、

26、其中，表示第i个阶段的交互特征，conv1×1表示1×1的卷积操作，c表示cbam注意力块，其中包含了通道注意力机制和空间注意力机制，concat表示通道维度的叠加操作，down表示下采样操作，表示第i个阶段的交互融合特征fi表示第i个阶段的多分辨率特征，第i+1个阶段的交互特征。

27、进一步地，所述convblock卷积块对最后三个感受野块rfb生成的多分辨率特征f和低频信息流分支中的第n–2个频率特征提纯与聚合模块fpam输出的第n–2个阶段的低频聚合特征进行卷积汇集和卷积融合，生成高层语义特征

28、所述convblock卷积块的特征处理过程的具体表达式为：

29、

30、其中，表示高层语义特征，cbr表示3×3卷积+bn批归一化+relu激活操作，cb3表示连续三次的3×3卷积+bn批归一化操作，fn-2表示第n-2个阶段的多分辨率特征，fn-1表示第n-1个阶段的多分辨率特征，fn表示第n个阶段的多分辨率特征，表示第n–2个阶段的低频聚合特征，down表示下采样操作，up表示上采样操作。

31、进一步地，所述注意力引导边缘增强解码器aeed包括边缘生成模块egm、全局注意力机制ga和局部注意力机制la，对于第i个注意力引导边缘增强解码器aeed，将第i+1阶段的解码特征的通道维度至统一维度dim，同时进行上采样操作和通道复制操作得到特征使得特征与第i个阶段的交互特征分辨率一致，对特征和第i个阶段的交互特征使用反向注意策略提升模糊区域的置信度得到第i个阶段的强化特征gi，将第i个阶段的交互特征和特征进行级联后执行卷积操作得到第i个阶段的融合特征ei，边缘生成模块egm对第i个阶段的融合特征ei操作生成第i个阶段的边缘特征第i个阶段的强化特征gi和第i个阶段的交互特征相加经过全局注意力机制ga处理生成第i个阶段的全局特征后与第i个阶段的边缘特征执行通道维度相加，之后进行卷积操作得到第i个阶段的全局增强边缘特征将第i个阶段的全局增强边缘特征与第i个阶段的交互特征相加后输入到局部注意力机制la中得到第i个阶段的局部特征将第i个阶段的边缘特征和第i个阶段的局部特征通道维度相加后卷积得到第i个阶段的局部增强边缘特征最后将第i个阶段的全局增强边缘特征第i个阶段的边缘特征和第i个阶段的局部增强边缘特征维度相加卷积后生成第i个阶段的解码特征第i个阶段的边缘特征卷积后输出第i个阶段的边缘掩码

32、对于第n个注意力引导边缘增强解码器aeed，以高层语义特征代替上一阶段的解码特征进行数据处理。

33、进一步地，所述的注意力引导边缘增强解码器aeed的特征处理过程的具体表达式为:

34、

35、

36、

37、

38、

39、

40、

41、

42、

43、

44、其中，表示经过上采样和通道复制操作后得到的特征，u表示上采样+通道复制操作，表示第i+1阶段的解码特征，sigmoid表示sigmoid激活函数，gi表示强化特征，ei表示第i个阶段的融合特征ei，conv1×1表示1×1的卷积操作，表示第i个阶段的边缘特征，egm表示边缘生成模块，表示第i个阶段的边缘掩码，表示第i个阶段的全局特征，ga表示全局注意力机制，la表示局部注意力机制，表示第i个阶段的全局增强边缘特征，conv3×3表示3×3的卷积操作，表示第i个阶段的局部特征，表示第i个阶段的局部增强边缘特征，表示第i个阶段的解码特征，表示相加操作。

45、进一步地，在训练过程中引入损失函数作为监督信号，将加权二值交叉熵损失lbce、加权iou损失liou和dice损失ldice作为损失函数ltotal，所述损失函数ltotal的具体计算公式为：

46、

47、其中，ltotal表示损失函数，gs表示目标真值，ge表示目标边缘真值图，表示第i个注意力引导边缘增强解码器aeed的输出目标预测图，表示第i个阶段的解码特征，lbce表示加权二值交叉熵损失，liou表示加权iou损失，ldice表示dice损失。

48、本发明的有益效果在于：

49、(1)本发明通过频率分解模块fdm将n个阶段特征分解为高频信息和低频信息，频率特征提纯与聚合模块fpam对所分解的高频信息和低频信息进行提纯和聚合，频率信息通过向低层汇聚，能够强化低层空间不显著特征，有效挖掘判别性线索，缓解目标与环境内在相似检测困难问题；

50、(2)本发明通过注意力引导边缘增强解码器aeed中的全局注意力和局部注意力对边缘特征进行引导，分别从全局角度和局部角度增强目标边缘模糊区域，能够有效的生成更加精确边界的预测结果。