集成多源特征网络的显著性目标检测算法的制作方法

：
1.本发明涉及图像处理和计算机视觉领域，具体来说，涉及了集成多源特征网络的显著性目标检测算法。


背景技术：

2.本部分的陈述仅仅是涉及到了与本发明相关的背景技术，并不必然构成现有技术。
3.显著性目标检测致力于从图像或区域中精准地定位显著性目标并完整地将目标从背景中分割出来。由于显著性目标检测高效地处理图像的能力，它作为一个预处理阶段，被广泛的应用于其他计算机视觉任务中，例如视觉追踪,图像分割,图像摘要,行人重识别,图像检索,风格转换等等。
4.传统的显著性目标检测方法，利用手工特征和底层的视觉先验特征(例如颜色，对比度，纹理等)，以一种自底向上的方式从背景中预测显著性目标。尽管传统的显著性目标检测方法可以有效定位分割显著性目标，然而由于无法有效利用高层次语义特征，使得很难从复杂背景的图像中准确地定位并完整地分割出显著性目标。近来，卷积神经网络(cnn)和全卷积神经网络(fcn)成功的打破了传统方法只能够利用手工特征和底层视觉先验特征的限制，其出色地提取高层次语义特征的能力，使得基于深度学习的方法开始广泛地应用于显著性目标检测领域。
5.基于深度学习的显著性目标检测方法相较于传统的显著性目标检测方法性能上取得极大的提升，主要是利用到多层次特征，注意力机制和边缘指导机制以自顶向下的方式预测显著性目标。具体地说，一些方法利用不同感受野的卷积和空洞卷积操作，优化多层次特征增加特征的多样性。另外一些方法精心设计了注意力机制或者是通过门函数减少或过滤背景信息的干扰，进一步突出特征中的显著性目标，生成最具显著性特征的表示，更准确地预测显著性目标。有些方法为了保证分割出显著性目标的完整性，预测出显著性目标的边缘，将显著性目标的边缘作为指导生成的更完整的显著性图。尽管基于深度学习的显著性目标检测方法相对于传统显著性目标检测方法在性能上有了很大的提升，但是由于不同场景中的显著性目标的多种多样且尺寸大小不固定，不同的语义环境下显著性目标存在差异，进一步增加了准确预测和分割显著性目标的难度。使得当下的存在的一些方法，仍然不能够准确地预测和分割显著性目标。


技术实现要素：

6.为了缓解上述问题，我们设计了更加鲁棒和泛化能力更强的集成多源特征网络进行显著性目标检测。如图1中所示，针对种类复杂且尺寸多变的显著性目标我们的集成多源特征网络可以准确地定位不同尺寸的显著性目标，同时分割出的显著性目标具有丰富的边缘细节信息。我们的网络主要分为两个模块多源特征聚合模块和关联特征交互模块。具体的说，我们设计的多源特征聚合模块并行使用多个不同填充率的空洞卷积，不同范围的感
受野进行多尺度上下文信息提取，从而使得其可以在更加细粒度的水平上捕捉不同尺寸的显著性目标的信息，同时我们引入了层次化短连接进一步增强特征之间的相关性，进一步突出特征中的显著性目标。我们提出的关联特征交互模块，将包含不同信息的多层次特征可以进行多方式互补交互。同时我们在关联特征交互模块内部引入了压缩和激励网络，过滤掉复杂的背景信息，从而突出特征中的显著性目标，生成最具显著性目标的特征表示。此外我们还设计了一个全局特征提取器，进一步提取高层次全局语义特征，作为指导帮助更加准确地定位显著性目标。
7.本发明的技术方案是提供了一种集成多源特征网络的显著性目标检测算法，该方法包括以下步骤：
8.1.利用预训练好的resnet50网络从rgb数据集中提取初始多层次特征，然后对多层次特征进行编码；
9.1.1)收集显著性目标检测领域常用的rgb图像数据集，数据集包含sod数据集，ecssd数据集，pascal-s数据集，hku-is数据集，dut-omron数据集，duts-ts数据集和dust数据集。
10.1.2)我们的集成多源特征网络的显著性目标检测算法利用拥有10553张图像的duts数据集作为训练数据集，利用sod，ecssd，pascal-s,hku-is,dut-omron和duts-te数据集作为测试数据集，用于检测算法的泛化性能。
11.1.3)然后我们利用预训练好的resnet-50网络，仅利用所有的卷积操作丢弃全连接层，对rgb图像数据进行初始多层次特征提取，然后对多层次特征进行特征编码y(y1,y2,y3,y4,y5)。
12.2.利用多分支多感受野的空洞卷积操作和层次化短连接进行多感受野特征提取和重构多尺度特征，减少特征提取时网格现象优化多层次特征增加特征多样性；
13.2.1)为了减少计算量，增加计算效率。首先通过卷积核大小为1
×1×
192的卷积操作对初始特征y进行特征降维。然后输入多源特征聚合模块利用丰富感受野的空洞卷积操作和层次化短连接操作进行多尺度和多感受野特征提取和优化生成包含多样性信息的特征{q1,q2,q3,q4,q5}。
[0014][0015]
这里，代表不同填充率的空洞卷积操作，填充率为{0,2,4,6,8}，ρ(.，.)代表层次化短连接操作，和y分别代表提取到的多尺度特征和初始特征。
[0016]
2.2)将步骤3.1中包含多样性信息的特征qj进行特征聚合增强特征的多样性，然后降维引入残差连接生成高质量特征m。
[0017][0018]
这里，cat(.,.)表示特征聚合操作，sum(.,.)表示元素级相加操作。
[0019]
3.利用全局特征提取器从高层次初始特征中提取更高层次的全局语义特征，帮助
进一步从复杂背景环境中准确定位显著性目标；
[0020]
3.1)将基于resnet-50的主干网络中提取的高层次语义信息y5输入全局特征提取器中，利用更多感受野的卷积操作和空洞卷积操作提取更高层次的全局语义特征gi。
[0021][0022]
这里，是卷积核大小为((2b 1)
×
1，1
×
(2b 1))的不对称卷积操作。代表不同填充率的空洞卷积操作，填充率为(2b 1)，ρ(.，.)代表层次化短连接操作，和y分别代表提取到的高层次特征和初始特征，这里我们设置i＝1，k＝4。
[0023]
3.2)将提取的更高层次语义特征gi进行聚合，同时我们引入残差连接，得到最终的全局特征g。
[0024][0025]
这里，cat(.,.)表示特征聚合操作，sum(.,.)表示元素级相加操作，全局特征提取器从初始特征中捕获了更高层次的语义特征，可以帮助更加准确地定位显著性目标。
[0026]
4.利用关联特征聚合模块互补交互多层次特征中的不同信息，用于生成最显著特征表示；
[0027]
4.1)对步骤2.2)和步骤3.2)中生成的多层次特征m和全局高层次特征g输入到关联特征交互模块，以多种融合方式进行交互不同信息生成特征wi。
[0028][0029]
这里，cat(.,.)表示特征聚合操作，sum(.,.)表示元素级相加操作,g为全局特征提取器中提取的更高层次语义特征，mj为多源特征聚合模块中优化的多层次特征。
[0030]
4.2)为了进一步突出通道中的显著性信息，嵌入压缩和激励(se)模块，多层次特征mj通过se模块突出显著性目标，然后通过一个残差连接和w进行聚合，生成最显著特征表示ni。
[0031]
ni＝∑(wi，ac(mj)，mj)，
ꢀꢀ
(6)
[0032]
这里，sum(.,.)表示元素级相加操作，wi是以多种聚合方式交互后生成的多层次特征，ac(mj)是嵌入se模块后生成的特征，mj是多源特征聚合模块中优化后的特征。
[0033]
5.利用深度监督模块将最显著性特征表示进行降维激活预测初始显著性图，然后利用真值标签进行监督训练；
[0034]
5.1)首先通过一个卷积核大小为1
×1×
1卷积操作，对于生成的最显著特征表示ni进行特征降维，然后通过sigmoid激活函数生成初始显著性图，利用深度监督策略进行模型训练。
[0035][0036]
这里，k＝5是全部侧输出特征个数，是每个阶段侧输出的损失函数。
[0037]
每个阶段的损失函数被定义为：
[0038][0039]
这里，和分别为每个阶段显著性图交叉熵损失函数和iou损失函数。
[0040]
本发明的优势：本发明充分利用了从预训练好的resnet50网络中提取的多层次特征，通过集成多尺度特征聚合模块，关联特征交互模块和全局特征提取器可以从多层次特征中捕获更多的局部和全局上下文信息，增加特征多样性，充分以多方式交互多层次特征中包含的多层次信息，减少背景信息干扰，生成最显著特征表示，用于准确地定位显著性目标并完整地将其从背景中分割出来。
附图说明
[0041]
图1网络流程图
[0042]
图2网络训练模式图
[0043]
图3多尺度特征聚合模块
[0044]
图4全局特征提取器
[0045]
图5关联特征交互模块
[0046]
图6定量对比表
[0047]
图7定性比较图
具体实施方式
[0048]
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，此外，所叙述的实施例仅仅是本发明一部分实施例，而不是所有的实施例。基于本发明中的实施例，本研究方向普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。
[0049]
本发明的流程图框架如图1所示，本发明一种集成多源特征网络的显著性目标检测算法，其具体操作说明如下：
[0050]
1.收集rgb图像数据集，利用预训练好的resnet50网络主干网络从图像中提取多层次特征并对其进行编码。
[0051]
收集公开rgb图像数据集，设置训练数据集和测试数据集，为了增强网络的鲁棒性和泛化能力，此网络我们对训练数据进行随机缩放、剪裁、填充边界、反转等数据增强处理，利用预训练好的resnet50网络作为主干网络，从训练数据中进行多层次特征提取并对多层次特征进行编码，我们的模型采用端到端的训练模式，如图2所示。
[0052]
具体步骤如下：
[0053]
1.1收集显著性目标检测领域常用的rgb图像数据集,sod数据集、ecssd数据集、pascal-s数据集、hku-is数据集、dut-omron数据集、duts-te数据集和duts数据集。
[0054]
1.2将包含10553张图像的duts数据集作为训练数据集，将sod数据集、ecssd数据集、pasca-s数据集、hku-is数据集、dut-omron数据集和duts-te数据集作为测试数据集，对训练数据进行随机缩放、剪裁、填充边界、反转等数据增强处理。
[0055]
1.3利用预训练好的resnet50网络作为主干网络从输入duts数据集中进行初始多层次特征提取，然后对多尺度特征进行编码y(y1,y2,y3,y4,y5)。
[0056]
2.利用多尺度特征聚合模块提取多尺度多感受野特征提取，优化多层次特征，增加特征的多样性，如图3所示。
[0057]
尽管基于深度学习的显著性目标检测方法取得了非凡的成就，然而由于显著性目标种类多变且尺寸不固定，使得不能够准确地预测显著性目标或者是预测出的显著性目标丢失部分信息。为了缓解上述问题，我们设计了多尺度特征聚合模，并行使用多个不同填充率的空洞卷积操作进行更细粒度水平的局部或全局上下文信息提取，同时我们引入了层次化短连接，进一步增强特征之间的相关性。
[0058]
具体步骤如下：
[0059]
2.1为了减少计算量，增加计算效率。首先通过卷积核大小为1
×1×
192的卷积操作对初始特征y进行特征降维。然后输入多源特征聚合模块利用丰富感受野的空洞卷积操作和层次化短连接操作进行多尺度和多感受野特征提取和优化生成包含多样性信息的特征{q1,q2,q3,q4,q5}。
[0060][0061]
这里，代表不同填充率的空洞卷积操作，填充率为{0,2,4,6,8}，ρ(.，.)代表层次化短连接操作，和y分别代表提取到的多尺度特征和初始特征。
[0062]
2.2将步骤2.1中包含多样性信息的特征qj进行特征聚合增强特征的多样性，然后降维引入残差连接生成高质量特征m。
[0063][0064]
这里，cat(.,.)表示特征聚合操作，sum(.,.)表示元素级相加操作。
[0065]
3.利用全局特征提取器从初始高层次特征中提取更高层次全局语义特征，用于进一步帮助从复杂背景中准确地定位显著性目标，如图4所示。
[0066]
多层次特征对于准确地定位显著性目标并完整地将其从背景中分割出来至关重要。研究发现，低层次的特征包含丰富的空间细节信息，可以有效的增加显著性目标边缘细节。而高层次的特征包含大量的语义信息，可以帮助准确的定位显著性目标。由于不同环境中的显著性目标种类多变且尺寸不固定，为了更准确地定位显著性目标，我们设计了一个全局特征提取器，利用更大范围的感受野充分提取全局特征，进一步指导帮助定位显著性目标。
[0067]
具体步骤如下：
[0068]
3.1将基于resnet-50的主干网络中提取的高层次语义信息y5输入全局特征提取
器中，利用更多感受野的卷积操作和空洞卷积操作提取更高层次的全局语义特征gi。
[0069][0070]
这里，是卷积核大小为((2b 1)
×
1，1
×
(2b 1))的不对称卷积操作。代表不同填充率的空洞卷积操作，填充率为(2b 1)，ρ(.，.)代表层次化短连接操作，和y分别代表提取到的高层次特征和初始特征，这里我们设置i＝1，k＝4。
[0071]
3.2将提取的更高层次语义特征gi进行聚合，同时我们引入残差连接，得到最终的全局特征g。
[0072][0073]
这里，cat(.,.)表示特征聚合操作，sum(.,.)表示元素级相加操作，全局特征提取器从初始特征中捕获了更高层次的语义特征，可以帮助更加准确地定位显著性目标。
[0074]
4.利用关联特征交互模块，以多种方式互补交互多层次特征，减少复杂背景的干扰，生成最显著特征表示，如图5所示。
[0075]
研究发现，不同的聚合方式对于特征信息融合有着不同的影响。由于单一的信息交互方式不能够充分交互多层次特征中的信息，为此我们设计了关联特征交互模块利用多方式交互多层次信息，为了突出显著性目标，减少复杂信息的干扰，我们在关联特征交互模块内部引入se模块，增强每个通道的显著性信息，生成最显著特征表示。
[0076]
具体步骤如下：
[0077]
4.1对步骤2.2)和步骤3.2)中生成的多层次特征m和全局高层次特征g输入到关联特征交互模块，以多种融合方式进行交互不同信息生成特征wi。
[0078][0079]
这里，cat(.,.)表示特征聚合操作，sum(.,.)表示元素级相加操作,g为全局特征提取器中提取的更高层次语义特征，mj为多源特征聚合模块中优化的多层次特征。
[0080]
4.2为了进一步突出通道中的显著性信息，嵌入压缩和激励(se)模块，多层次特征mj通过se模块突出显著性目标，然后通过一个残差连接和w进行聚合，生成最显著特征表示ni。
[0081]
ni＝∑(wi，ac(mj)，mj)，
ꢀꢀꢀꢀ
(6)
[0082]
这里，sum(.,.)表示元素级相加操作，wi是以多种聚合方式交互后生成的多层次特征，ac(mj)是嵌入se模块后生成的特征，mj是多源特征聚合模块中优化后的特征。
[0083]
5.利用深度监督模块，对网络进行监督训练。
[0084]
损失监督模块将关联特征聚合模块中生成的最显著性特征降维激活生成初始显
著性图，我们通过以一种混合损失函数对初始显著性图进行监督，混合损失函数为iou损失函数和交叉熵损失函数。
[0085]
5.1首先通过一个卷积核大小为1
×1×
1卷积操作，对于生成的最显著特征表示ni进行特征降维，然后通过sigmoid激活函数生成初始显著性图，利用深度监督策略进行模型训练。
[0086][0087]
这里k＝5是全部侧输出特征个数，是每个阶段侧输出的损失函数。
[0088]
每个阶段的损失函数被定义为：
[0089][0090]
这里和分别为每个阶段显著性图交叉熵损失函数和iou损失函数。
[0091]
6.为了充分展示我们模型的高效性和泛化能力我们将我们提出的集成多源特征网络的显著性目标检测算法与当下存在的一些算法进行定性和定量比较，如图6和7所示。
[0092]
以上所述为本技术优选实施而以，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本技术的保护范围内。