一种显著性目标检测方法、系统、存储介质和产品与流程

本发明涉及图像数据处理领域，具体涉及一种显著性目标检测方法、系统、存储介质和产品。

背景技术：

1、当前主流的rgb-d显著性目标检测方法均为直接使用骨干网络提取的特征信息，不对这种提取后的粗糙特征做任何的处理，直接进行多模态信息之间的融合，忽略了低质量的rgb图像和深度图像对显著性目标检测的负面影响，影响检测精度。

技术实现思路

1、本发明的目的在于提供一种提高检测精度的显著性目标检测方法、系统、存储介质和产品。

2、为了达到上述目的，本发明采用这样的技术方案：

3、一种显著性目标检测方法，包括如下依次执行的步骤：

4、s1：获取用于训练和测试的rgb-d数据集，rgb-d数据集包括各张图像的rgb图像、深度图像和gt图像；

5、s2：建立第一骨干网络和第二骨干网络，将rgb-d数据集中的训练样本的rgb图像和深度图像分别一一对应输入到第一骨干网络和第二骨干网络进行多个维度的特征提取，提取到的特征图像分别用和表示，其中表示维度，

6、s3：分别建立用于一一对应增强各个维度的特征图像的特征细粒度的多个第一特征细粒度增强模块（ffge1），分别建立用于一一对应增强特征图像的特征细粒度的多个第二特征细粒度增强模块（ffge2）；

7、采用表示各特征图像，采用表示各特征图像，各第一特征细粒度增强模块对进行全局平均池化操作，生成一个向量，该向量包含了各通道全局的信息，采用一维卷积对该向量进行卷积操作，以计算每个通道的注意力权重，通过sigmoid激活函数对注意力权重进行缩放，并将的每个通道与对应的注意力权重相乘，以调整通道的注意力权重，得到增强后的特征，各第一特征细粒度增强模块的操作采用如下公式（1）表示：

8、（1）；

9、其中，为sigmoid激活函数，为全局平均池化操作，为卷积操作，为第一特征细粒度增强模块的个数；

10、各第二特征细粒度增强模块对做相同操作，得到增强后的特征，各第二特征细粒度增强模块的操作采用如下公式（2）表示：

11、（2）；

12、s4：建立个用于编码器阶段跨模态特征增强和融合的跨模态双注意力特征融合模块(cmdaff)，将增强后的特征和增强后的特征分别一一对应输入到各跨模态双注意力特征融合模块进行特征增强和特征融合；

13、跨模态双注意力特征融合模块的具体操作步骤如下：

14、s4-1：将增强后的特征和增强后的特征通过1×1卷积层进行特征缩减，获得初步的特征表示和；

15、s4-2：采用具有sigmoid激活函数的卷积层对初步的特征表示进行处理，得到归一化的特征映射：

16、；

17、其中，为sigmoid激活函数，为卷积层操作；

18、s4-3：通过逐元素相乘操作完成特征融合，将初步的特征表示与归一化的特征映射相乘生成加权的特征，并采用残差连接将加权的特征与初步的特征表示相加，生成融合后的特征和：

19、；

20、s4-4：对融合后的特征和使用通道注意力机制来确定要获取哪些互补信息，突出关键的互补特征，抑制无关特征，再采用空间注意力机制来确定要关注特征图的哪一部分，减轻特定领域特征中的歧义，获得交叉增强的特征和该步骤的公式表示如下公式（3）所示：

21、（3）；

22、其中，为空间注意力，为通道注意力；

23、s4-5：将交叉增强的特征和输入到连接层和卷积层中，形成共享表示，获得具有更高的鲁棒性和丰富信息的共享特征，该步骤由如下公式（4）所示：

24、（4）；

25、s5：在解码器阶段构建n个多尺度特征聚合模块(msfa)高效融合跨模态特征，利用模态间的相关性增强特征表示，并对多级特征分别进行解码；

26、多尺度特征聚合模块的具体操作如下：

27、s5-1：通过特征融合模块将共享特征分别与增强后的特征和增强后的特征进行特征融合：

28、；

29、s5-2：为了减少通道数，通过1×1的卷积模块分别对融合后的特征和进行卷积操作，获得特征和，将特征和与共享特征和对应的增强后的特征进行逐元素并将相乘结果相加，得到对应的融合特征：

30、；

31、s5-3：分别对融合特征和进行3×3卷积操作、批量归一化操作和激活函数处理，并将处理后的特征与共享特征相加，通过卷积得到输出特征，该步骤的公式表示如下：

32、；

33、s5-4：将输出特征和在通道维度上进行连接，并通过卷积和批量归一化处理，得到融合后的特征表示：

34、；

35、s5-5：将融合后的特征与共享特征通过残差连接相加，并通过激活得到最终输出特征：

36、。

37、优选的，步骤s1中，rgb-d数据集总共包含2185个训练样本和2864个测试样本，其中训练样本包含来自nju2k的1485个样本和来自nlpr的700个样本；测试样本包含nju2k剩余的500个样本、nlpr剩余的300个样本、des的135个样本、stere的1000个样本和sip的929个样本。

38、优选的，步骤s2中，骨干网络进行了五个维度的特征提取，采用在imagenet1k上进行了预训练的res2net50网络作为第一骨干网络和第二骨干网络。

39、优选的，构建混合损失函数，对rgb图像、深度图像以及各融合分支的输出进行有效监督，生成最终的显著图，采用二元交叉熵（bce）损失进行像素级限制，并使用交并比（iou）损失进行全局级限制，构建如下损失函数：

40、；

41、其中，表示rgb图像在处理过程中的损失，表示深度图像在处理过程中的损失，表示rgb图像和深度图像在融合过程中的损失，

42、采用和分别表示输出特征和，采用表示输出特征，表示gt图像，整体损失函数可以表示如下：

43、。

44、一种显著性目标检测系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法步骤。

45、一种存储介质，包括存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法步骤。

46、一种显著性目标检测产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法步骤。

47、通过采用前述设计方案，本发明的有益效果是：本发明设计了特征细粒度增强模块来增强经骨干网络提取的各级粗糙特征，有效解决先前方法在输入低质量图像情况下检测效果不佳的问题，在特征融合方面，设计了跨模态双注意力特征融合模块和多尺度特征聚合模块充分利用模态之间的互补信息，显著提高了在复杂场景下的检测精度，这些特性使得本发明在功能上具有显著的优势，更符合实际应用需求。

技术特征：

1.一种显著性目标检测方法，其特征在于：包括如下依次执行的步骤：

2.如权利要求1所述的显著性目标检测方法，其特征在于：步骤s1中，

3.如权利要求1所述的显著性目标检测方法，其特征在于：步骤s2中，骨干网络进行了五个维度的特征提取，采用在imagenet1k上进行了预训练的res2net50网络作为第一骨干网络和第二骨干网络。

4.如权利要求1所述的显著性目标检测方法，其特征在于：构建混合损失函数，对rgb图像、深度图像以及各融合分支的输出进行有效监督，生成最终的显著图，采用二元交叉熵（bce）损失进行像素级限制，并使用交并比（iou）损失进行全局级限制，构建如下损失函数：

5.一种显著性目标检测系统，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述权利要求1-4中的任一项所述方法步骤。

6.一种存储介质，包括存储器，所述存储器上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述权利要求1-4任一项所述方法步骤。

7.一种显著性目标检测产品，包括计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述权利要求1-4任一项所述方法步骤。

技术总结本发明涉及图像数据处理领域，具体涉及一种显著性目标检测方法、系统、存储介质和产品，包括如下依次执行的步骤：S1：获取用于训练的RGB图像和深度图像；S2：分别建立用于提取RGB图像和深度图像特征的骨干网络；S3：分别建立用于增强步骤S2处理过后的图像特征的特征细粒度的特征细粒度增强模块；S4：建立用于编码器阶段跨模态特征增强和融合的跨模态双注意力特征融合模块；S5：在解码器阶段构建多尺度特征聚合模块高效融合跨模态特征，利用模态间的相关性增强特征表示，并对多级特征进行解码；设计了跨模态双注意力特征融合模块和多尺度特征聚合模块充分利用模态之间的互补信息，显著提高了在复杂场景下的检测精度。技术研发人员：巢建树,马小强,方鸿清,张定华,刘家辉受保护的技术使用者：泉州装备制造研究所技术研发日：技术公布日：2024/11/18