一种基于大核蒸馏网络的汽车零部件图像超分辨率方法

本发明属于计算机视觉领域，特别涉及一种基于大核蒸馏网络的汽车零部件图像超分辨率方法。

背景技术：

1、现代汽车制造越来越趋向于精细化和智能化，在生产过程中，低分辨率图像使得质量检测变得困难，难以发现零部件表面的微小瑕疵、划痕或裂纹缺陷，这些缺陷可能会在后续的使用中逐渐扩大，影响汽车的性能和安全性。这就需要更高分辨率的图像来清晰地呈现细节，通过高分辨率图像可以及时发现微小的瑕疵和缺陷，避免不良品流入下一道工序，以保障汽车零部件的质量和可靠性，同时提升汽车的品质和安全性。

2、近年来，高效且轻量化的图像超分辨率已经取得了很大进展，轻量超分辨率网络在移动设备和嵌入式系统等资源受限场景中取得了显著成效，在网络结构方面，蒸馏网络已被证实在保证模型容量和性能的同时降低计算成本和内存占用。然而，现有的模型仍不满足更低计算成本的要求，为解决这种问题，本发明提出了一种基于大核蒸馏网络的汽车零部件图像超分辨率方法，该方法通过将大卷积核分解，在提升模型性能的同时减少计算成本，从而提升图像超分辨率模型的性能。

技术实现思路

1、本发明提出了一种基于大核蒸馏网络的汽车零部件图像超分辨率方法，旨在通过构建大核蒸馏网络，利用大核蒸馏块堆叠提取深层特征，利用双通道大卷积核分解块处理全局特征并降低计算成本和参数数量，从而提升图像超分辨率效果。

2、本发明整合蒸馏网络和大型内核设计，提供一种基于大核蒸馏网络的汽车零部件图像超分辨率方法，包括以下步骤：

3、s1、汽车零部件图像收集，使用工业相机拍摄汽车零部件，收集低分辨率汽车零部件图像；

4、s2、构建特征精馏块frb，特征精馏块frb由上、下两个分支组成，上、下两个分支获取不同尺度的特征信息，使用卷积操作、深度卷积和relu激活函数提取特征，使用跳跃连接增强残差学习；

5、s3、构建双通道大卷积核分解块dbkb，双通道大卷积核分解块dbkb由上、下两个分支组成，上、下两个分支分别为不同尺度的大卷积核，利用卷积分解把大卷积核分解成1×1卷积、深度卷积和深度扩张卷积，使用跳跃连接增强残差学习，上、下两个分支的输出加权融合得到最终的输出；

6、s4、构建大核蒸馏块bkdb，包含3个特征精馏块frb、1×1卷积、连接操作、双通道大卷积核分解块dbkb和像素归一化模块；

7、s5、构建大核蒸馏网络bkdn，包含n个大核蒸馏块bkdb堆叠、特征融合模块和图像重构模块；

8、s6、构建图像超分辨率模型，包含输入、特征提取、特征蒸馏、特征融合、图像重构和输出；

9、s7、将汽车零部件低分辨率图像输入图像超分辨率模型中，经过一系列处理得到超分辨率图像。

10、优选地，步骤s2中的特征精馏块，其特征在于，包括：

11、s21、特征精馏块中包含两个分支，对于上分支，输入特征，将初始特征通过1×1卷积并进行跳跃连接得到，1×1卷积提取更丰富的特征信息，跳跃连接避免梯度消失，，中的代表特征精馏过程中的上分支，+代表逐元素相加，代表1×1卷积操作，然后通过深度卷积并进行跳跃连接得到，，代表1×1的深度卷积，代表3×3的深度卷积，使用1×1深度卷积融合特征、3×3深度卷积增强特征传播和跳跃连接捕捉局部特征信息，同时避免梯度消失，然后通过relu激活函数激活得到上分支的输出，relu激活函数用来提高局部特征的表达能力，，代表relu激活函数；

12、s22、对于下分支，输入特征，将初始特征通过3×3卷积并进行跳跃连接得到，3×3卷积提取更丰富的局部特征信息，跳跃连接避免梯度消失，，中的分别代表特征精馏过程中的下分支，+代表逐元素相加，代表3×3卷积操作，然后通过深度卷积并进行跳跃连接得到，，代表3×3的深度卷积，代表5×5的深度卷积，使用3×3深度卷积增强特征传播、5×5深度卷积避免深度网络退化和跳跃连接捕捉更大范围的局部特征信息，同时避免梯度消失，然后通过relu激活函数激活得到下分支的输出，relu激活函数用来提高局部特征的表达能力，，代表relu激活函数；

13、s23、特征精馏两分支提取特征结束后，将两分支的输出、进行连接，并把输入特征添加到输出中，避免梯度消失，得到特征精馏块frb的最终输出，，+代表逐元素相加。

14、优选地，步骤s3中的双通道大卷积核分解块，其特征在于，包括：

15、s31、双通道大卷积核分解块分为上分支和下分支，输入特征，将初始特征分为两个部分，上分支为尺寸17×17的大卷积核分解块，将通过1×1的通道卷积得到，融合不同通道的特征，增强特征的表达能力，，代表1×1卷积操作，然后通过空间局部卷积提取图像局部区域的特征得到，，代表5×5的深度卷积，然后通过空间远程卷积提取图像远程特征得到，，代表核核大小为5，膨胀为3的深度扩张卷积，然后通过跳跃连接避免梯度消失得到上分支的输出，，代表逐元素相乘；

16、s32、对于下分支，将尺寸为31×31的大卷积核分解，将通过1×1的通道卷积得到，融合不同通道的特征，增强特征的表达能力，，代表1×1卷积操作，然后通过空间局部卷积提取图像局部区域的特征得到，，代表7×7的深度卷积，然后通过空间远程卷积提取图像远程特征得到，，代表核核大小为7，膨胀为4的深度扩张卷积，然后通过跳跃连接避免梯度消失得到下分支的输出，，代表逐元素相乘；

17、s33、两分支提取特征结束后，将两分支的输出进行加权连接，提取不同尺度的特征，增强模型的稳定性，得到双通道大卷积核分解块dbkb的最终输出，，代表权重，代表逐元素相加。

18、优选地，步骤s4中的大核蒸馏块，其特征在于，输入图像特征，使用特征精馏块进行3次精馏，提取深层特征得到，，，代表第i次精馏，代表第i次精馏的输出，使用1×1卷积分别把、、、蒸馏得到，，，，代表第i次信息蒸馏，代表第i次信息蒸馏的输出，将4个蒸馏输出的蒸馏特征连接并通过1×1卷积融合得到融合特征，，代表连接操作，代表1×1卷积融合，通过双通道大卷积核分解块提取全局特征，并采用1×1卷积进行特征变换，同时加入像素归一化来保证模型训练的稳定性得到特征，，代表双通道大卷积核分解块，代表特征变换，代表像素归一化操作，最后采用长跳跃连接来增强模型的残差学习能力得到大核蒸馏块的最终输出，，+代表跳跃连接。

19、优选地，步骤s5中的大核蒸馏网络，其特征在于，输入图像特征，通过n个大核蒸馏块堆叠提取深度特征，代表第n个大核蒸馏块，代表第m个大核蒸馏块的输出特征，将所有的中间特征连接并通过1×1卷积层和gelu激活进行融合和激活，代表所有中间特征融合后的输出特征，代表连接操作，代表1×1卷积融合，代表gelu激活函数，最后使用跳跃连接来增强残差学习，并通过图像重构模块得到超分辨率图像，代表图像重构。

20、与现有技术相比，本发明具有以下技术效果：

21、本发明提供的技术方案提出的大核蒸馏网络由n个大核蒸馏块、特征融合模块和图像重构模块组成；大核蒸馏块bkdb中包括特征精馏块frb和双通道大卷积核分解块dbkb；特征精馏块frb，包括两个分支，每个分支可以单独获取重要的局部特征，提高模型对图像局部特征的获取；双通道大卷积核分解块dbkb，包括两个分支，两个分支分别将一个大卷积核分解成通道卷积、空间局部卷积和空间远程卷积三个部分，从而提高模型对图像全局特征的获取，并降低计算成本和参数数量，增强特征的表达能力，获得最佳效果。