一种基于数字孪生的γ光子图像超分辨率图像增强方法与流程

一种基于数字孪生的
γ
光子图像超分辨率图像增强方法
技术领域
1.本发明涉及工业检测应用领域，尤其涉及航空工业装备复杂件的腔体结构及内壁缺陷检测的γ光子图像的超分辨率图像增强方法。


背景技术：

2.航空推进系统中的发动机零部件及尾喷管气动流道等工业装备复杂件材质密度大、内腔结构复杂，对其内腔结构及内壁缺陷的无损检测已成为检测领域迫切需要解决的难题，常规检测方法受制于复杂件的材质密度及内腔结构复杂度等因素，无法实现无扰、无损的高分辨率检测。
3.当前学界使用的主要方法是：基于插值的超分辨率图像增强方法、基于退化模型的超分辨率图像增强方法和基于学习的超分辨率图像增强方法，这些方法主要局限于光学成像领域。目前的主流研究方法均使用了代数几何的方法进行建模，该方法能够解决一定问题，但是，常规的超分辨率图像增强方法对增强效果有较大的局限性，虽然提高了原本模糊的图像的清晰度，但是仍然不能满足学术界和工业界对超分辨率图像质量的要求。特别地，现有图像增强方法已经不能适应的工业复杂件的实际检测特点和工业检测应用的技术稳定性要求。


技术实现要素：

4.发明目的：针对上述工业检测的图像技术要求，本发明提出了一种基于数字孪生的γ光子图像超分辨率图像增强方法，面向工业复杂件的实际检测特点，利用深度神经网络，结合γ光子的三维成像的特点，构建γ光子探测的复杂内腔空间结构三维成像超分辨率增强的新方法，通过准确地描绘工业复杂零件的内部结构，达到工业复杂件无损健康检测和故障预测。
5.技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于数字孪生的γ光子图像超分辨率图像增强方法，具体包括以下步骤：
6.步骤1：构建基于深度学习神经网络的超分辨率图像增强网络结构。
7.步骤2：进行网络训练，依托深度学习模型以及大量图像样本数据的学习。
8.步骤3：训练完的模型可以用来对新的低分辨率图像进行增强，得到高分辨率图像。
9.构建基于深度学习神经网络的超分辨率图像增强网络结构具体步骤如下：
10.步骤1
‑
1：在图像超分辨增强之前，对低分辨率的图像预处理。将对低分辨率的图像输入到卷积核大小为1
×
1的标准化卷积层，输入层数为3，输出层数为3的卷积层中，使该层参数在训练过程中保持不变将图像进行标准化。
11.步骤1
‑
2：将标准化图像输入到卷积核大小为3
×
3，输入通道数为3，输出通道数为256的卷积层，将图像变换为256个通道的特征图。
12.构建深度神经的残差网络学习的具体步骤如下：
13.步骤1
‑3‑
1：构建残差网络，每个残差块的内部依次为卷积层、relu激活层、卷积层，其中卷积层的卷积核大小为3
×
3，输入通道为256，输出通道为256，将经过这三层网络层的数据乘以比例系数0.1后与原始数据相加。
14.步骤1
‑3‑
2：经过30个这样的残差块后，再经过一个卷积核大小为3
×
3，输入、输出通道为256的卷积层后，将经过第一层的数据与相加。
15.步骤1
‑3‑
3：将上述步骤相加的结果经过一个包括两组卷积层和pixelshuffle层构成的上采样层。利用卷积层将数据生成通道数转变为原通道数的4倍，即256
×
4＝1024个通道。利用pixelshuffl e层将这个1024个通道的特征图转化为256个通道，同时特征图的长宽值都变为原来的2倍。再次使用该结构，使得特征图的长宽变为原来的4倍。
16.步骤1
‑3‑
4：将上述步骤的输出经过卷积核大小为3
×
3，输入通道数为256，输出通道数为3的卷积层，将特征图转化为rgb三通道图像进行输出。
17.步骤1
‑3‑
5：最后经过一层卷积核大小为1
×
1，输入、输出通道数均为3反标准化卷积层，将第一层标准化的图像还原，输出增强的超分辨率图像。
18.深度神经网络模型的训练的具体步骤如下：
19.步骤2
‑
1：寻找大量真实场景下图像样本。实验采用div2k数据集进行神经网络的训练。在div2k中，通过随机截取低分辨率图像的48
×
48大小图像与高分辨率图像对应位置的192
×
192大小的图像，并分别进行旋转90
°
，180
°
，270
°
，并对应进行翻转，得到每一张图像的变体，共8张图像。div2k中共有900张图片，每张图片随机截取10处不同区域(可能有重叠)归入测试集当中，共计45000张不同的正方形图像。
20.网络训练过程的具体步骤如下：
21.步骤2
‑2‑
1：本网络训练过程由特征提取、非线性映射、上采样重建构成。特征提取操作需要从低分辨率图像x和对应的高分辨率图像y中提取特征信息，获取从低分辨率图像到高分辨率图像的增量，然后将每组增量表示为高维向量。通过一组卷积核对低分辨率图像进行卷积。
22.步骤2
‑2‑
2：训练模型时，为了使深度神经网络中的高维向量更加好地向后映射，防止网络加深可能导致的梯度消失，采用relu激活函数作为残差块中的激活层。
23.步骤2
‑2‑
3：上采样重建操作的目的是恢复图像更多的细节。本文提出的方法通过上采样操作，增加网络的通道数，即增加了特征图通道数量；使用pixelshuffle层，将增加的特征图合并转化为高分辨率的图像。
24.步骤2
‑
3：上述残差网络结构通过学习从低分辨率到高分辨率图像的端到端映射，从而增加图像中的细节，达到图像的超分辨率效果，并通过指定学习率的优化器不断减小超分辨率重建图像与真实的高分辨率图像之间的损失。
25.训练完的模型用于γ光子图像超分辨率增强的具体步骤如下：
26.步骤3：对低分辨率γ光子图像按照训练步骤2输入到训练完的模型里，得到高分辨率图像。
27.有益效果：本发明与现有技术相比，具有显著优点，
28.(1)本发明超分辨率增强图像效果更优，显示效果更加清晰，增加图像细节，提升图像细腻程度的效果。
29.(2)本发明超分辨率增强不仅能够放大图像尺寸，在某种意义上具备了图像修复
的作用，可以在一定程度上削弱图像中的噪声、模糊等。
30.(3)本发明超分辨率增强图像能够实现无扰、无损的高分辨率检测，同时能适应的工业复杂件的实际检测特点和工业检测图像应用的技术稳定性要求。
附图说明
31.图1是构建的深度神经网络的结构图。
32.图2是基于深度神经网络模型的图像超分辨率增强的训练流程图。
具体实施方式
33.下面将结合附图和实施案例对本发明的技术方案做进一步的说明。
34.如附图1所示，是本发明的基于深度神经网络的训练模型的流程示意图，具体包括以下步骤：
35.步骤1
‑
1：如附图1所示，在图像超分辨增强之前，对低分辨率的图像预处理。将对低分辨率的图像输入到卷积核大小为1
×
1的标准化卷积层，输入层数为3，输出层数为3的卷积层中，使该层参数在训练过程中保持不变将图像进行标准化。
36.步骤1
‑
2：将标准化图像输入到卷积核大小为3
×
3，输入通道数为3，输出通道数为256的卷积层，附图2将图像变换为256个通道的特征图。
37.构建深度学习的残差网络学习的具体步骤如下：
38.步骤1
‑3‑
1：构建残差网络，每个残差块的内部依次为卷积层、relu激活层、卷积层，其中卷积层的卷积核大小为3
×
3，输入通道为256，输出通道为256，将经过这三层网络层的数据乘以比例系数0.1后与原始数据相加。
39.步骤1
‑3‑
2：如附图1所示，经过30个这样的残差块后，再经过一个卷积核大小为3
×
3，输入、输出通道为256的卷积层后，将经过第一层的数据与相加。
40.步骤1
‑3‑
3：将上述步骤相加的结果经过一个包括两组卷积层和pixelshuffle层构成的上采样层。利用卷积层将数据生成通道数转变为原通道数的4倍，即256
×
4＝1024个通道。利用pixelshuffle层将这个1024个通道的特征图转化为256个通道，同时特征图的长宽值都变为原来的2倍。再次使用该结构，使得特征图的长宽变为原来的4倍。
41.步骤1
‑3‑
4：将上述步骤的输出经过卷积核大小为3
×
3，输入通道数为256，输出通道数为3的卷积层，将特征图转化为rgb三通道图像进行输出。
42.步骤1
‑3‑
5：如附图1中，最后经过一层卷积核大小为1
×
1，输入、输出通道数均为3反标准化卷积层，将第一层标准化的图像还原，输出增强的超分辨率图像。
43.如附图2是基于深度神经网络的图像超分辨率增强的训练过程流程图，具体包括以下步骤：
44.深度神经网络模型的训练的具体步骤如下：
45.步骤2
‑
1：寻找大量真实场景下图像样本。实验采用div2k数据集进行神经网络的训练。在div2k中，通过随机截取低分辨率图像的48
×
48大小图像与高分辨率图像对应位置的192
×
192大小的图像，并分别进行旋转90
°
，180
°
，270
°
，并对应进行翻转，得到每一张图像的变体，共8张图像。div2k中共有900张图片，每张图片随机截取10处不同区域(可能有重叠)归入测试集当中，共计45000张不同的正方形图像。
46.网络训练过程的具体步骤如下：
47.步骤2
‑2‑
1：本网络训练过程由特征提取、非线性映射、上采样重建构成。特征提取操作需要从低分辨率图像和对应的高分辨率图像中提取特征信息，获取从低分辨率图像到高分辨率图像的增量，然后将每组增量表示为高维向量。通过一组卷积核对低分辨率图像进行卷积。
48.步骤2
‑2‑
2：训练模型时，为了使深度神经网络中的高维向量更加好地向后映射，防止网络加深可能导致的梯度消失，采用relu激活函数作为残差块中的激活层。
49.步骤2
‑2‑
3：上采样重建操作的目的是恢复图像更多的细节。本文提出的方法通过上采样操作，增加网络的通道数，即增加了特征图通道数量；使用pixelshuffle层，将增加的特征图合并转化为高分辨率的图像。
50.步骤2
‑
3：如附图2所示，上述残差网络结构通过学习从低分辨率到高分辨率图像的端到端映射，从而增加图像中的细节，达到图像的超分辨率效果，并通过指定学习率的优化器不断减小超分辨率重建图像与真实的高分辨率图像之间的损失。
51.以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。