基于超分辨率的嵌入式红外图像电子变倍方法、介质及系统与流程

本发明涉及红外图像处理，具体涉及一种基于超分辨率神经网络的红外图像电子变倍方法、介质及系统。

背景技术：

1、红外成像具有抗干扰能力强、可全天候工作的特点，在特定复杂环境下有成像距离远、灵敏度高等优势，且其被动式成像隐蔽性强，在军事和民用领域有着广泛的应用。在红外观测过程中，可以通过电子变倍方法来放大细节、观察远距离目标场景。目前，电子变倍方法可以分为两大类：基于传统图像复原的方法和基于学习的方法。

2、在基于传统图像复原领域中，基于插值的方法较为常见，比如最近邻插值法、双线性插值法和双三次插值法。此外，基于图像滤波的方法也有应用，比如cn112132753a公开了一种多尺度结构引导图像的红外图像超分辨率方法及系统，将红外图像和可见光图像配准后，经过多次迭代，利用不同尺度的可见光图像作为引导进行联合双边滤波得到超分辨率红外图像。然而，这种方法对可见光图像依赖性较高，在红外成像应用过程中往往难以获得精准匹配的高分辨率可见光-红外数据，从而限制了该方法的应用。同时，红外图像往往存在图像细节和分辨率较差的问题，传统方法缺乏对图像特征的充分感知，因此难以复原出具有高视觉质量的变倍图像。

3、近年来，深度学习以其强大的特征学习能力在图像领域大放异彩，国内也涌现出许多基于学习的图像电子变倍方法。cn111260558a公开了一种可变倍率的图像超分辨率网络模型，利用参数化的残差网络学习低分辨率图像与高分辨率图像之间的映射，从而满足可变倍率超分辨率任务的需求。cn112001843a公开了一种基于深度学习的红外图像超分辨率重建方法，利用可见光数据预先训练残差网络模型，再将其应用于红外图像的超分辨率重建，可实现低质量红外视频到高质量视频的快速转化。cn112884643a公开了一种基于edsr网络的红外图像超分辨率重建方法，优化了edsr网络的网络参数和残差块结构，并引入双损失函数，从而保证重建的高分辨率红外图像具有清晰的边缘。在cn114913069a所公开的一种基于深度神经网络的红外图像超分辨率重建方法以及cn115526778a所公开的一种基于通道分离深度神经网络的红外图像超分辨率重建方法中，在残差网络中引入深度可分离卷积和注意力模块，在减少参数量的同时提升网络特征学习能力。可见，目前基于学习的电子变倍方法多采用残差卷积神经网络的结构，可对图像局部特征进行有效提取，但缺乏长距离的特征学习能力。此外，在实际应用场景中，往往需要电子变倍在红外图像成像后进行一体化实时处理，这就要求红外图像成像与基于超分辨率的电子变倍技术集成到同一嵌入式系统中，而上述方法仅局限于软件算法的实现。

技术实现思路

1、本发明要解决的技术问题在于：针对上述问题，本发明提供一种适用于嵌入式平台的基于超分辨率神经网络的红外图像电子变倍方法，采用改进的transformer网络，以捕获和构建全局特征关联，增强图像电子变倍细节恢复效果，最终得到具有良好可视效果的电子变倍图像。此外，本发明还提供一种基于超分辨率的嵌入式红外图像电子变倍系统，将红外成像与该电子变倍技术集成到嵌入式系统中，实现成像-变倍的一体化实时处理。

2、一方面，本发明的一种适用于嵌入式平台的基于超分辨率神经网络的红外图像电子变倍方法，包括一种适用于嵌入式的基于超分辨率的红外图像电子变倍神经网络的设计及其适用于嵌入式平台部署模型的转化，该过程主要在深度学习工作站中实现。所述的深度学习工作站包括中央处理器(cpu)、图形处理器(gpu)以及存储等，满足基于深度学习的红外图像电子变倍算法的训练及模型转化需求。具体地，本发明的一种基于超分辨率的嵌入式红外图像电子变倍方法，包括如下步骤：

3、步骤1，在不同场景下采集足量的高分辨率红外图像。

4、步骤2，对高分辨率红外图像进行降采样得到低分辨率红外图像，再利用插值算法对低分辨率红外图像进行放大，得到与高分辨率红外图像相同尺寸的图像，并与原始高分辨率图像进行配对，得到清晰-模糊数据对。

5、步骤3，设计基于超分辨率的红外图像电子变倍神经网络模型，并选择合适的损失函数来反映神经网络模型输出结果与真实高分辨率红外图像之间的差异。

6、步骤4，对模型参数进行初始化，并将红外超分辨率图像数据集输入基于超分辨率的红外图像电子变倍神经网络，通过学习不断更新网络可学习参数，减小输出结果与真实高分辨率红外图像间差距，最终得到高性能的神经网络模型。

7、步骤5，将得到的神经网络模型量化、剪枝，并转化为适用于嵌入式平台部署的模型。

8、其中，步骤3中所述基于超分辨率的红外图像电子变倍神经网络，具体包括三个子网络：浅层次特征子网络、深层次特征子网络和红外图像超分辨率子网络。

9、所述浅层次特征子网络包含1个卷积层以及一个激活函数层，其中卷积层的通道数为64，其提取浅层次特征的过程可以描述为式(1)：

10、fshallow＝relu(conv3×3(irlr))(1)

11、其中，irlr为输入的红外图像，fshallow为提取的浅层次特征，conv3×3(.)为3×3的卷积层，relu(.)为激活函数。

12、所述深层次特征子网络包含2个变形采样和多方向滑窗transformer模块(deformableandmulti-direction shifting transformer，dmst模块)，其中每个dmst模块由9个变形采样transformer单元(deformable transformer unit，dtu单元)、1个3×3卷积层和最后的残差连接组成。

13、具体地，单个所述的dtu单元进行特征提取包括如下步骤：

14、步骤a，对输入特征进行层标准化处理(layer normalization)，该过程可以描述为式(2)：

15、fln＝ln(fin)  (2)

16、其中，fin为输入dtu单元的特征，fln为层标准化处理后的特征，ln(.)为层标准化处理函数。

17、步骤b，层标准化处理后的特征传输到变形采样层，通过两个5×5卷积层分别进行处理，得到两个偏移矩阵，分别代表水平和竖直方向上的偏移量，随后用双线性插值法得到偏移位置的特征值，最后替换原始位置的特征值得到变形采样特征图像，其中特征通道数在处理过程中保持不变。所述变形采样过程可以用式(3)和(4)表示：

18、

19、fdeform(x，y，c)＝fln(x+ox(x，y，c)，y+oy(x，y，c)，c)   (4)

20、其中，ox和oy分别为水平和竖直方向的偏移矩阵，和为求取水平和竖直方向上的偏移量的5×5卷积层，fdeform为变形采样特征图像。

21、步骤c，将变形采样特征图像划分为不重叠的大小为8×8的窗口，并以原始位置为中心，根据该dtu单元在当前dmst模块中的序号，按顺时针顺序朝周围8个方向中的对应方向进行滑窗。

22、步骤d，在每个窗口内进行多头注意力计算(multi-head self-attention，msa)得到变形采样自注意力特征。该滑窗计算自注意力过程可以用式(5)表示：

23、fmsa＝msa(fdeform)+fin   (5)

24、其中，fmsa为变形采样自注意力特征，msa(.)为多头注意力计算函数。

25、步骤e，变形采样自注意力特征经过一个层标准化处理层、两个全连接层和最后的残差连接得到该dtu单元的输出特征。该过程可以表示为式(6)：

26、fout＝mlp(ln(fmsa))+fmsa  (6)

27、其中，fout为dtu单元输出特征，mlp(.)为一个包含两个全连接层的多层感知器。

28、所述红外图像超分辨率子网络包含1个亚像素卷积层(efficient sub-pixelconvolution layer)，步长为1/2或1/4(分别对应电子变倍倍数2倍或4倍)。深、浅层次特征融合后输入该亚像素卷积层并生成红外超分辨率图像的过程可以描述为式(7)：

29、irhr＝ps(concat(fdeep，fshallow))  (7)

30、其中，irhr为红外超分辨图像，ps(.)为周期变换算子(periodic shuffle)，用以按通道提取一列像素信息，并在不做任何运算的前提下，将提取的像素重新排列，将低分辨率像素映射到高分辨率空间，concat(.)为按通道连接操作，fdeep为深层次特征网络输出特征。

31、在深度学习工作站平台对所述基于超分辨率的红外图像电子变倍神经网络模型进行训练，并将训练好的模型转化为支持嵌入式部署的模型。

32、上述过程涉及到一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行实现本发明的一种基于超分辨率的嵌入式红外图像电子变倍方法的步骤。

33、另一方面，本发明还提供一种基于超分辨率的嵌入式红外图像电子变倍系统，其中包括红外机芯、主处理电路、控制及通信交互接口以及上位机。

34、所述的红外机芯包括光学镜头、红外探测器以及成像主板，满足红外探测需求，用于生成红外图像。

35、所述的主处理电路包括主处理器(arm架构)、ai协处理器(人工智能协处理器)、16gb flash以及3gb ddr，满足基于超分辨率的红外图像电子变倍算法模型推理及神经网络加速需求等，计算得到变倍结果。

36、所述的控制及通信交互接口包括rs422接口、cameralink输入接口及cameralink输出接口，满足系统中各个组成部分的通信控制及数据传输需求。

37、所述的上位机包括控制设备和显示设备，满足控制指令通信及红外图像电子变倍结果显示需求。

38、该基于超分辨率的嵌入式红外图像电子变倍系统，包括如下步骤：

39、步骤1，将基于超分辨率的红外图像电子变倍神经网络模型部署到嵌入式平台。

40、具体地，在深度学习工作站平台对基于超分辨率的红外图像电子变倍神经网络模型进行训练，并将训练好的模型转化为可嵌入式部署的模型，通过通信接口部署存储到主处理电路的flash中。

41、步骤2，通过红外机芯采集红外图像，并通过cameralink接口输入到主处理电路。

42、具体地，通过红外机芯中光学镜头及红外探测器的光电转换，红外图像由机芯成像主板处理输出，通过cameralink接口输入到主处理电路中，由主处理器控制接口通信，将红外图像数据存储在ddr内存中。

43、步骤3，由上位机控制设备发送电子变倍控制指令到主处理电路。

44、具体地，电子变倍控制指令包括图像变倍区域坐标和变倍倍数，通过通信接口发送到主处理电路的主处理器中。

45、步骤4，主处理电路对红外图像进行电子变倍，将结果输出到上位机中。

46、具体地，主处理器从flash中加载基于超分辨率的红外图像电子变倍网络模型，根据电子变倍控制指令，从内存中读取对应区域的图像，通过ai协处理器对模型推理进行加速，将模型输出的红外图像电子变倍结果存储在ddr内存中，最后由主处理器控制数据通信，将红外图像电子变倍结果通过cameralink接口输出到上位机的显示设备中，并通过rs422接口反馈电子变倍指令，完成电子变倍过程。

47、本发明的有益效果包括：

48、(1)本发明提出了一种适用于嵌入式平台的基于超分辨率神经网络的红外图像电子变倍方法，将基于深度学习的超分辨率算法应用到红外电子变倍中。相比于传统图像复原方法在图像放大时存在像素平滑、细节失真等问题，基于深度学习的超分辨率算法对复杂特征具有更强的非线性拟合能力，能够更精细、更自然地还原图像细节，同时能够通过大量红外图像样本的训练，自适应地满足不同变倍倍数下的电子变倍需求。此外，该技术通过对神经网络进行量化和剪枝，将神经网络模型转化为适用于嵌入式平台部署的轻量化模型，使得红外智能图像处理技术能够更好地应用在移动使用场景中。

49、(2)本发明的基于超分辨率的红外图像电子变倍神经网络模型，对现有的transformer模型进行改进，其中设计了变形采样和多方向滑窗transformer模块和变形采样transformer单元，能够提升神经网络对深层次特征的提取能力。通过变形采样可以使得原本固定的采样窗口偏移至富含高信息量的位置，可以提升自注意力窗口对图像中不规则特征的适应能力。通过多方向滑窗机制可以建立多样化的窗口关联，以提升神经网络对全局特征的感知交互。该改进设计不仅适用于红外电子变倍任务，还可以拓展应用至红外图像去模糊等对特征提取有一定要求的任务。

50、(3)本发明提供了一种基于超分辨率的嵌入式红外图像电子变倍系统，通过红外机芯的实时成像与ai协处理器对神经网络模型的计算加速，该系统可实现红外图像从成像采集到电子变倍的一体化实时处理。