一种矿用边缘计算终端中轻量化图像超分辨率重建系统及方法

本发明涉及图像超分辨率重建，具体涉及一种矿用边缘计算终端中轻量化图像超分辨率重建系统及方法。

背景技术：

1、图像超分辨率技术在医学影像、智慧矿山和计算摄影等领域扮演着重要角色，旨在将低分辨率图像提升至高分辨率，以增强图像的清晰度和细节。当前主要的超分辨率重建方法包括插值法、重建法和学习法。插值法一般采用双三次插值和基于几何特征的插值法，尽管简单但易产生图像震荡和伪影。相比之下重建法如最大后验估计法和迭代反向投影法在重建效果上有所提升，但运算效率较低，且受放大因子的影响较大。至于学习法如邻域嵌入法和稀疏表示法，则通过学习hr图像和lr图像样本对的映射函数或利用图像内部相似性来实现hr图像的重建。近年来随着深度学习技术的迅速发展，卷积神经网络(cnn)在超分辨率任务中广泛应用，提出了一系列高效的图像超分辨率网络如srcnn、edsr、rcan和mcsr等，为超分辨率重建技术的进一步发展提供了新的思路和方法。

2、当前的超分辨率网络常常因为着眼于图像重建性能而忽略在实际生活中移动终端中的应用。特别是在矿井视频监控中对安全监控与报警有着重要作用，但由于矿井特有的环境和设备的限制所拍摄的矿井图片或多或少存在着质量和视觉问题。此时通过图像超分辨率技术对矿井图像进行重建进而恢复成清晰的高质量图像则具有重大意义。超分辨率模型的计算成本与模块数量和结构紧密相关。随着网络深度的增加，网络没有充分利用所有卷积层的信息和不同颗粒度的特征信息，从而导致重建图像的丰富度不足；同时轻量级中常常缺乏全局信息的引导，从而使得重建图像与真实图像存在差距，不符合人类视觉的主观感受。

3、对此，为解决现有技术中存在的问题，本领域技术人员做出了诸多努力，例如中国专利申请cn117237190b提出了一种用于边缘移动设备的轻量化图像超分辨率重建系统及方法，通过蒸馏特征融合和像素注意机制相结合，有效减少了冗余信息，更加高效地提取图像中的高频信息，通过在像素级别上对不同尺度的特征进行加权融合，网络能够提供更优质的超分辨率重建结果，但在于准确度和真实度上还有所欠缺。

技术实现思路

1、为解决上述问题，本发明提供了一种矿用边缘计算终端中轻量化图像超分辨率重建方法，通过多尺度特征校准模块对浅层特征进行处理，获得了更全面和信息更丰富的图像特征，在图像重建中获得了更真实和更准确的结果。

2、为实现上述目的，本发明提出了以下技术方案：

3、一种矿用边缘计算终端中轻量化图像超分辨率重建系统，包括：浅层特征提取模块、多个多尺度特征校准模块、特征聚合模块和图像重建模块；浅层特征提取模块用于提取输入图像中的浅层特征；多尺度特征校准模块用于提取深层特征，包括多尺度特征提取模块、多路特征校准模块和多尺度空间注意力模块；多尺度特征提取模块用于扩大特征提取过程中的感受野范围并获取多尺度特征信息；多路特征校准模块用于提取并融合不同颗粒度的特征信息；多尺度空间注意力模块捕捉不同尺度的图像特征,并对输入图像进行全局和局部的分析和融合,获取更为丰富的空间信息；多路特征校准模块包括多路通道注意力模块；多路通道注意力模块用于在通道维度上建模上下文依赖关系；特征聚合模块用于对多个多尺度特征校准模块的输出进行聚合，并于浅层特征相融合；图像重建模块用于根据融合的特征进图像重建，并输出重建后的超分辨率图像。

4、一种矿用边缘计算终端中轻量化图像超分辨率重建方法，该方法包括以下步骤：

5、步骤s1：通过浅层特征提取模块对输入图像进行浅层特征提取，表达式为：f0＝conv3(ilr)；其中，ilr为输入图像；f0为提取到的浅层特征；conv3(·)为核大小为3×3的卷积运算；

6、步骤s2：将浅层特征输入至多个堆叠的多尺度特征校准模块中进行深层特征提取；

7、步骤s3：通过特征聚合模块聚合每个多尺度特征校准模块的输出，并与浅层特征相融合；表达式为：fff＝conv3(conv1(concat(f1,...,fn)))；其中，fn表示为第n个多尺度特征校准模块的输出；concat(·)表示通道维度上的级联；conv1(·)为1×1卷积；fff表示特征融合后的输出；

8、步骤s4：将融合后的特征输入至图像重建模块进行图像重建，并输出重建后的超分辨率图像isr；表达式为：isr＝conv3(hpixelshuffle(fff+f0))；其中，hpixelshuffle(·)为亚像素卷积层，isr为重建后的超分辨率图像。

9、进一步的，步骤s2中，每个多尺度特征校准模块中进行深层特征提取的方法具体为：

10、步骤s2-1：在进行深层特征提取之前，嵌入多尺度特征提取模块进行多尺度全局到局部的特征提取；

11、步骤s2-2：将提取到的特征输入至多个级联的多路特征校准模块中，提取不同颗粒度的特征信息并充分融合，获得全面且丰富的特征信息；

12、步骤s2-3：将特征信息输入至多尺度空间注意力模块中，从多尺度空间上建模上下文依赖关系，捕捉不同尺度的图像特征,获取更丰富的空间信息。

13、进一步的，在步骤s2-1中，嵌入多尺度特征提取模块进行多尺度全局到局部的特征提取的具体方法为：

14、步骤s2-1-1:将输入的特征x沿通道维度分为四组并行输入，表示为：x1,x2,x3,x4＝split(x)；其中，x1,x2,x3,x4分别表示四组并行输入；split(·)为维度分割操作；

15、步骤s2-1-2：将其输入至不同的并联支路中，分别表示为：y1＝dwconv3×3(x1)；y2＝dwconv7×1(x2)；y3＝dwconv1×7(x3)；y4＝x4；其中，y1、y2、y3、y4为神经网络中的临时张量；dwconvn×m表示为核大小为n×m的深度可分离卷积；

16、步骤s2-1-3：将每个分支的输出级联在一起，再进行通道混洗之后输入到1×1卷积层中进行彻底融合；表示为：y＝conv1(hchannelshuffle(concat(y1,y2,y3,y4)))；其中，hchannelshuffle(·)为通道混洗操作；y表示为多感受野特征提取块的输出。

17、进一步的，在步骤s2-2中，多路特征校准模块采用自校准分支、通道校准分支以及多尺度校准分支来提取不同颗粒度的特征信息，具体方法为：

18、步骤s2-2-1：自校准分支使用标准卷积捕捉输入特征图的丰富细节和高层次信息；表示为：yn′＝xn′·σ(xn″′)；其中，xn′,xn″,xn″′分别表示第n个多路特征校准块的自校准分支、通道校准分支和多尺度校准分支的输出；yn′是第n个多路特征校准模块中自校准分支经过多尺度校准分支校准后的输出，yn″是第n个多路特征校准模块中通道校准分支经过多尺度校准分支校准后的输出，σ是sigmoid函数，‘·’表示为逐元素相乘；

19、步骤s2-2-2：通道校准支路通过使用深度可分离卷积，以实现保持模型轻量化的同时，高效提取低层次的特征；表示为：yn″＝xn″·σ(xn″′)；

20、步骤s2-2-3：多尺度校准分支对自校准分支和通道校准分支进行校准后再聚合，获得全面丰富的特征表示，表示为：xn＝conv1(concat(yn′,yn″))+xn-1；其中，xn表示多路特征校准模块的输出特征信息。

21、进一步的，在步骤s2中，多个级联的多路特征校准模块融合特征信息的具体方法为：在每个多路特征校准模块的输出之后引入一个1×1的卷积层，通过通道降维利用残差学习的能力，然后将来自先前模块的输出特征在没有退化或干扰的情况下进行分层传输并聚合，最后一个多路特征校准块后紧跟着一个3×3卷积进行特征精炼，并通过通道混洗操作和1×1卷积来融合聚合后的特征。

22、进一步的，在步骤s2-2-2中，通道校准支路通过多路通道注意力模块实现对输入特征的处理，具体方法为：将输入特征引导到全局平均池化层，生成通道输入，再将通道输入送入多个并行的全连接层中进行缩减尺寸操作并聚合，再将聚合后的输入送入到激励层fc中恢复原始尺寸；表示为：其中，hcca(·)为该模块的输出，xi为第i个压缩分支的输入，sq(·)表示挤压操作，i表示包含四个fc层，ex(·)表示为激励操作，'·'表示为逐元素相乘。

23、进一步的，在步骤s2-3中，将特征信息输入至多尺度空间注意力模块中，从多尺度空间上建模上下文依赖关系，捕捉不同尺度的图像特征,获取更丰富的空间信息的具体方法为：

24、步骤s2-3-1：对输入特征进行1×1卷积操作，再进行通道分割操作，将输入特征分为四个部分；

25、步骤s2-3-2：使用一个3×3的深度可分离卷积来处理其中一个分支，其余分支经过不同下采样因子的自适应最大池化，并通过3×3的深度可分离卷积中提取不同尺度的特征信息；

26、步骤s2-3-3：对四分支进行最近邻上采样，将特征上采样到原始分辨率；

27、步骤s2-3-4：通过1×1的卷积将这些多尺度特征进行连接，以聚合局部和全局关系；

28、步骤s2-3-5：通过sigmoid函数估计注意力图，并根据估计的注意力图对输入进行自适应校准。

29、本发明所述的技术方案取得有益效果为：

30、1.本发明设计了多尺度特征校准模块，包括多尺度特征提取模块、多路特征校准模块和多尺度空间注意力模块。通过多尺度特征提取模块能够在不明显增加参数量的情况下实现多尺度全局到局部的特征提取，获得多尺度特征信息；通过多路特征校准模块能够提高网络的感知能力和表达能力，从而能够获取更丰富更全面的特征信息；通过多尺度空间注意力模块，能够从多尺度空间和通道维度长期建模相互依赖关系，充分挖掘图像的空间信息和通道特征，有效的捕获多尺度全局上下文信息。结合三个模块对浅层特征进行处理，能够获得更全面和信息丰富的图像特征，从而能够在图像重建中获得了更真实和更准确的结果。

31、2.本发明中的多路特征校准模块分为自校准支路、通道校准支路和多尺度校准支路三个分支，通过自校准支路和通道校准支路分别对输入特征进行处理并通过多尺度校准支路分别校准再聚合，能够捕捉到输入特征图的丰富细节、高层次信息以及低层次特征，并能够保持模型的轻量化，使其能够获得更全面和更丰富的特征表示，进一步提高了重建后图像的准确度和真实度。

32、3.本发明中通过多个堆叠多尺度特征校准模块对浅层特征进行处理，并通过特征聚合模块将多个多尺度特征校准模块的输出进行聚合，并与浅层特征相融合，再输入至重建模块进行图像重建，能够在保持网络轻量化的同时，有效提取关键特征信息和建立合适的特征映射关系，兼顾了参数量和性能，从而能够应用至移动终端上，对矿用移动终端的超分辨图像重建具有重大意义。