一种引入RBU的轻量化皮革表面缺陷显著目标检测方法

本发明涉及表面缺陷检测、显著目标检测，具体是一种引入rbu的轻量化皮革表面缺陷显著目标检测方法。

背景技术：

1、皮革表面的缺陷检测是提高产品合格率、保证产品质量的重要前提，是一项具有挑战的实际应用任务。长期以来，皮革的缺陷检测依赖于人工进行，这种传统的方式存在很大的局限性。首先，人工检测容易受到主观因素和个体差异的影响，导致检测准确性不稳定。其次，随着生产规模的扩大和生产速度的提高，人工检测的效率逐渐成为制约生产流程的瓶颈，限制了皮革行业的发展潜力。为了克服这些问题，近年来逐渐引入基于深度学习的自动化技术，以实现更加智能、高效的皮革生产。

2、皮革的表面缺陷不仅具有种类繁多、缺陷形状无规则、尺度变化范围大等特点，而且皮革的背景纹理复杂多变，颜色多种多样，所以要求模型具有良好的表征能力。现有的基于深度学习的皮革缺陷检测技术大多采用的是目标检测方法，仅以生成缺陷包围框为目的，无法准确地刻画缺陷的形状，所以还需要研究检测粒度更细的缺陷检测方法。显著目标检测方法以像素二分类的方式将前景和背景清晰的区分开来，与皮革表面缺陷检测任务的目标不谋而合。在医学影像检测领域，显著目标检测方法已有较为成熟的发展，但受限于公共数据集质量和网络模型性能，现有的显著目标检测方法在皮革表面缺陷检测任务中难以同时满足精确和快速的要求。u-net具有参数量小，计算复杂度低的优点，但皮革表面缺陷形状和尺度变化范围大，一些缺陷和背景纹理较为相似，选用u-net进行缺陷检测容易产生漏检和误检。融合叠加高性能网络模块和使用特征金字塔网络能提高模型的检测精度，但这类方法会带来更多的计算成本。然而，工业生产线上的自动化皮革缺陷检测存在设备计算能力受限的困境，大多数工业场景中的设备使用的是嵌入式芯片、工业pc和单板计算机，虽然在稳定性和能效上表现优异，却因计算能力有限而难以支持复杂的图像处理和深度学习模型。

3、针对上述问题，认为需要在保证模型检测精度的前提下，缩减模型计算量，以达到检测精度和推理速度的平衡。u2net融合嵌套了u-net网络的优点，在显著目标检测领域取得了优秀的成绩，本发明在其基础上提出了一种基于编解码器的轻量化皮革表面缺陷显著目标检测模型rbu2net。

技术实现思路

1、本发明针对现有方法的不足，提出了一种引入rbu的轻量化皮革表面缺陷显著目标检测方法。

2、本发明提出的一种引入rbu的轻量化皮革表面缺陷显著目标检测方法，在保证模型检测精度的前提下，缩减模型计算量，以达到检测精度和推理速度的平衡。本发明方法的大体思想是：构建一种轻量化的特征提取模块、构建一种临近特征增强模块、构建一种像素混合采样模块、引入深监督策略，最后将各模块组合在一起构建出一种引入rbu的轻量化皮革表面缺陷显著目标检测模型rbu2net。

3、轻量化的特征提取模块——残差瓶颈u型块(rbu)，u型的结构能使该模块在不降低特征图分辨率的情况下更好的学习到多尺度特征，使得在嵌入式u型网络架构中编解码网络能够更深。

4、临近特征增强(afe)模块，来整合优化编码器和解码器临近阶段的多尺度特征信息，增强了模型对上下文的感知能力，以及避免单纯跳跃连接中语义不相似信息的直接融合。

5、像素混合采样(psc)模块，用于编解码器各阶段间的上下采样，提高了模型对全局特征的掌握，增大了网络感受野。

6、深监督策略，通过在深度神经网络的中间层添加额外的监督信号，解决了梯度在传递过程中丧失的问题，使得网络更容易学习深层次的抽象特征。

7、rbu2net模型融合了丰富的多尺度特征，并且具有轻量化的深层网络架构。模型以rbu模块作为基本特征提取单元，不依赖于任何预训练的骨干网络，具有高度灵活性。它能够在样本较少的数据集上进行有效的特征学习，对小样本数据有良好的适应性，在皮革表面缺陷检测及一些相似领域的显著目标检测任务中，具有显著优势

8、本发明具体如下：

9、第一方面，本发明提供一种引入rbu的轻量化皮革表面缺陷显著目标检测方法，包括如下步骤：

10、步骤1、获取皮革表面图像，对其进行预处理；

11、步骤2、利用轻量化皮革表面缺陷显著目标检测模型rbu2net对预处理后的图像进行目标检测；

12、所述轻量化皮革表面缺陷显著目标检测模型rbu2net包括编码器、解码器、显著图像融合模块；

13、所述编码器包括n层编码层，n＞1，相邻编码层间经过像素混合下采样后连接；

14、第i层编码层包括第一残差瓶颈u型块(rbu)、第一通道相加模块；所述第一残差瓶颈u型块包括3×3的卷积层、第一瓶颈块、(n+1-i)个串联的瓶颈下采样块、第一通道注意力块、第二瓶颈块、(n+1-i)个串联的瓶颈上采样块，i∈[1,n-1]；具体是：

15、3×3的卷积层将输入图像进行初步特征的提取，然后将提取到的初步特征输出至通道相加模块和第一瓶颈块；所述第一瓶颈块将接收到的初步特征提取更高级的语义信息，然后输出至同一层瓶颈上采样块和第一个瓶颈下采样块；第一个瓶颈下采样块将接收到的图像进行缩小尺寸，然后输出至同一层瓶颈上采样块和下一个瓶颈下采样块；第二至(n-i)个瓶颈下采样块均各自接收上一个瓶颈下采样块的输出特征图，对其缩小特征图尺寸，然后将处理后的特征图输出至同一层瓶颈上采样块和下一个瓶颈下采样块；最后一个瓶颈下采样块接收上一个瓶颈下采样块的输出特征图，对其缩小特征图尺寸，然后将处理后的特征图输出至第二瓶颈块和第一通道注意力块；

16、所述第一通道注意力块对最后一个瓶颈下采样块的输出特征图进行通道注意力机制处理，有助于模型学习每个通道的重要性，使模型注意力集中在更加关键的特征通道上，从而提高模型对输入数据特征的表示能力；

17、所述第二瓶颈块根据第一通道注意力块的输出特征图和最后一个瓶颈下采样块的输出特征图进行更高级的语义信息提取；第一个瓶颈上采样块根据所述第二瓶颈块的输出特征图和同层瓶颈下采样块的输出特征图进行上采样操作，输出至下一个瓶颈上采样块；第二至(n-i)个瓶颈上采样块均各自接收上一个瓶颈上采样块的输出特征图和同层瓶颈下采样块的输出特征图进行上采样操作，输出至下一个瓶颈上采样块；最后一个瓶颈上采样块接收上一个瓶颈上采样块的输出特征图和同层瓶颈下采样块的输出特征图进行上采样操作，输出至第一通道相加模块；

18、所述第一通道相加模块将3×3的卷积层的输出特征图和最后一个瓶颈上采样块的输出特征图进行通道相加操作；过程可表示为：

19、y＝f2(f1(x))+f1(x) 式(1)

20、其中，x为输入特征，y为输出特征，f1函数为3×3的卷积操作，f2函数为rbu的多尺度特征提取。

21、第n编码层包括第二残差瓶颈u型块(rbu-e)、第二通道相加模块；所述第二残差瓶颈u型块包括3×3的卷积层、第三瓶颈块、第一空洞卷积块、第二空洞卷积块、第二通道注意力块、第三空洞卷积块、第四空洞卷积块、第四瓶颈块；第一空洞卷积块、第二空洞卷积块的尺寸不同，第三空洞卷积块、第四空洞卷积块的尺寸不同，具体是：

22、3×3的卷积层将输入图像进行初步特征的提取，然后将提取到的初步特征输出至第二通道相加模块和第三瓶颈块；所述第三瓶颈块将接收到的初步特征提取更高级的语义信息，然后输出至第一空洞卷积块和第四空洞卷积块；第一空洞卷积块将接收到的输出特征图进行扩大感受野，然后输出至第二空洞卷积块；第二空洞卷积块将接收到的输出特征图进行扩大感受野，然后输出至第二通道注意力块；所述第二通道注意力块对输出特征图进行通道注意力机制处理，然后输出至第三空洞卷积块；第三空洞卷积块将接收到的输出特征图进行扩大感受野，然后输出至第四空洞卷积块；第四空洞卷积块将接收到的输出特征图进行扩大感受野，然后输出至第四瓶颈块；所述第四瓶颈块根据第二通道注意力块的输出特征图进行更高级的语义信息提取；

23、所述解码器包括n+1层解码层，相邻解码层间经过像素混合上采样后连接；前n层解码层与同层的编码层结构相同，第n+1层解码层与第n解码层结构相同；

24、前n-1层解码层中，编码层与同层解码层间通过临近特征增强模块(afe)进行跳跃连接；第n+1层解码层接受第n层编码层的输出特征图对其进行解码，然后将输出送入第n层解码层；

25、所述临近特征增强模块(afe)将当前层编码层的输出特征图经过像素混合下采样操作后的结果与下一层编码层的输出特征图在通道层面进行串联拼接，然后通过一个卷积层对两阶段的特征信息进行融合与增强；这一过程的计算公式如下：

26、mi＝conv(concat(ei,ei+1)) 式(2)

27、经过临近特征增强模块(afe)增强的特征图mi将与下一层解码器像素混合上采样后的特征图串联，一起作为当前层解码器的输入；这一过程的计算公式如下：

28、di＝concat(mi,pscup(di+1)) 式(3)

29、其中，ei和di分别表示第i层的编码器和解码器，mi表示经afe模块计算后的特征图，concat表示特征图在通道维度上串联，conv表示卷积操作，pscup表示像素混合上采样。

30、所述显著图像融合模块将解码器每层生成的显著目标概率图各自进行像素混合上采样，将其恢复至与输入图像相同的分辨率，再使用一个3×3的卷积层和一个sigmoid激活函数将所有阶段的特征图映射为显著目标图像；然后将解码器不同阶段输出的显著目标图像在通道层面进行串联拼接，再通过一个1×1卷积层和激活函数得出最终的显著目标预测图。

31、第二方面，本发明提供皮革表面缺陷显著目标检测系统，包括：

32、数据获取模块，负责获取皮革表面图像，对其进行预处理；

33、目标检测模块，负责利用轻量化皮革表面缺陷显著目标检测模型rbu2net对预处理后的图像进行目标检测。

34、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。

35、第四方面，本发明提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。

36、本发明有益效果：

37、本发明提出了一种引入rbu的轻量化皮革表面缺陷显著目标检测方法，实现了皮革表面缺陷的显著目标检测方法。为了实现模型轻量化和实时性的缺陷检测，设计了一个残差瓶颈u型特征提取单元，不仅结合了u型网络以及瓶颈块的结构优势，还融合了深度可分离卷积和通道注意力的性能优势，在保证模型表征能力的同时，显著减低了模型参数量，提高了模型在开发板上的推理速度，在一定程度上解决了工业生产线上的自动化皮革缺陷检测存在计算设备受限的困境。对于编解码器中相邻的特征提取单元，设计了一个临近特征增强模块，强化了模型对于多尺度特征的融合能力，优化了目前在皮革检测领域无法准确刻画缺陷形状的情况。对于上下采样过程中信息丢失等问题，设计出一个像素混合采样模块，提高了特征信息利用率，增强了模型的空间感知能力，使其在检测具有种类繁多、缺陷形状无规则、尺度变化范围大等特点皮革的表面缺陷时，提升了皮革检测的精确度。此外，还采用了深度监督和混合损失函数的策略，结合有效的数据增强技术，进一步增强了模型的学习能力。

38、本发明满足了目标任务对于实时性和细粒度的要求，对于计算资源受限的工业生产线上的自动化皮革缺陷检测场景具有重要意义。