图像的盲增强方法及装置、电子设备、存储介质

1.本技术涉及图像处理技术领域，特别涉及一种图像的盲增强方法及装置、电子设备、计算机可读存储介质。


背景技术：

2.大部分合金材料在熔铸过程中，都会经历凝固过程。在凝固过程中，液态合金逐步析出固相晶粒，随着温度的下降，晶粒不断形核、生长并按照不同形式粗化，逐步形成具有复杂形貌和复杂空间结构的枝晶组织结构。与此同时，金属凝固过程中会形成复杂的金属间化合物、二次析出相、裂痕、缩孔等结构性缺陷。金属在凝固过程中成形的微观结构对合金材料的最终性能具有决定性作用。目前，可以通过x射线成像技术对合金样品在凝固过程各个阶段采集同步辐射图像，从而依据图形对凝固过程中的微观结构进行研究。
3.同步辐射图像与自然图像有一些区别，具体包括：1.具有预处理步骤(平场校正、直方图均衡化)带来的不可避免且不可忽视的全局类高斯分布噪声；2.合金样品表面会出现氧化物等杂质遮挡，这些遮挡物形态多样，同时具有不同的透明度，这使得图像中会出现包含有价值的图像内容信息的受损区域。遮挡物本身对像素强度的影响不一，可能呈增强效果，也可能呈削弱效果。
4.在现有的材料学分析过程中，对于包含噪声的合金微观组织图像，通常采用传统的去噪算法进行全局噪声的去除，但传统算法的不可泛化性使得去噪过程需要非常高的时间成本；另外，对于遮挡物带来的受损区域，通常直接丢弃，对于一些材料学分析的定量表示任务(比如：分割、计数等)而言，因遮挡物带来的语义噪声而丢弃图像无疑是数据浪费。


技术实现要素：

5.本技术实施例的目的在于提供一种图像的盲增强方法及装置、电子设备、计算机可读存储介质，用于在不确定图像中噪声位置的情况下对图像进行修复。
6.一方面，本技术提供了一种图像的盲增强方法，包括：
7.将目标图像输入已训练的残差特征提取网络，获得所述目标图像的残差特征；
8.将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征；
9.通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征；
10.将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征；
11.将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像。
12.在一实施例中，所述编码器为已训练的基于u-net的图像修复网络的编码器；
13.所述将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹
理特征和结构特征，包括：
14.将所述目标图像输入所述编码器，以由所述编码器对所述目标图像进行编码处理，获得多个浅层特征和多个深层特征；
15.将所述浅层特征作为纹理特征，将所述深层特征作为结构特征。
16.在一实施例中，所述多尺度填充模块包括第一多尺度填充模块和第二多尺度填充模块；
17.所述通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征，包括：
18.对多个纹理特征和多个结构特征分别进行融合处理，获得指定纹理特征和指定结构特征；
19.将所述指定纹理特征输入所述第一多尺度填充模块，获得所述第一多尺度填充模块输出的多个填充后子纹理特征，并将所述多个填充后子纹理特征融合为填充后纹理特征；
20.将所述指定结构特征输入所述第二多尺度填充模块，获得所述第二多尺度填充模块输出的多个填充后子结构特征，并将所述多个填充后子结构特征融合为填充后结构特征。
21.在一实施例中，所述将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征，包括：
22.将所述填充后纹理特征和所述填充后结构特征进行拼接，获得待均衡特征；
23.将所述待均衡特征输入所述特征均衡模块，以由所述特征均衡模块对所述待均衡特征进行通道维度的均衡处理，获得中间特征图；
24.通过所述特征均衡模块对所述中间特征图和所述残差特征进行空间维度的均衡处理，获得所述均衡融合特征。
25.在一实施例中，所述解码器为已训练的基于u-net的图像修复网络的解码器；
26.所述将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像，包括：
27.将所述均衡融合特征、所述纹理特征和所述结构特征通过跳跃连接的方式输出至所述解码器的各个网络层，以由所述解码器输出所述目标图像的盲增强图像。
28.在一实施例中，所述残差特征提取网络和所述图像修复网络通过如下方式训练得到：
29.将第一样本数据集中的样本图像分别输入经过预训练的残差特征提取网络和未训练的图像修复网络，获得经过预训练的残差特征提取网络输出的样本残差特征、所述图像修复网络的编码器输出的样本纹理特征和样本结构特征、所述图像修复网络的解码器输出的预测增强图像；
30.确定所述样本残差特征与所述样本图像的残差标签之间的第一差异、所述样本纹理特征与所述样本图像的纹理标签之间的第二差异、所述样本结构特征与所述样本图像的结构标签之间的第三差异、所述预测增强图像与所述样本图像的目标标签之间的第四差异；
31.在生成对抗机制下，将所述残差特征提取网络和所述图像修复网络作为生成器，
结合所述第一差异、所述第二差异、所述第三差异和所述第四差异，对所述残差特征提取网络和所述图像修复网络的网络参数进行调整；
32.重复上述过程，直至所述残差特征提取网络和所述图像修复网络收敛。
33.在一实施例中，所述残差特征提取网络的预训练过程如下：
34.将第二样本数据集中的样本图像输入未训练的残差特征提取网络，获得所述残差特征提取网络输出的预测残差特征；
35.基于所述预测残差特征与所述样本图像的残差标签之间的差异，对所述残差特征提取网络的网络参数进行调整；
36.重复上述过程，直至所述残差特征提取网络收敛。
37.另一方面，本技术还提供了一种图像的盲增强装置，包括：
38.第一提取模块，用于将目标图像输入已训练的残差特征提取网络，获得所述目标图像的残差特征；
39.第二提取模块，用于将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征；
40.填充模块，用于通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征；
41.均衡模块，用于将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征；
42.解码模块，用于将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像。
43.进一步的，本技术还提供了一种电子设备，所述电子设备包括：
44.处理器；
45.用于存储处理器可执行指令的存储器；
46.其中，所述处理器被配置为执行上述图像的盲增强方法。
47.另外，本技术还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述图像的盲增强方法。
48.本技术方案，针对待修复的目标图像提出了面向全局噪声和语义噪声的多任务盲强增强算法，其结合残差学习和修复学习构建了残差特征提取网络和图像修复网络；通过残差特征提取网络提取目标图像的残差特征，通过图像修复网络提取目标图像的纹理特征和结构特征，并可以通过多尺度填充处理来最大限度地提升对多尺度纹理特征和多尺度结构特征的提取能力，从而可以更好的获取目标图像中受损区域的信息，辅助修复；在多尺度填充处理之后，在通道维度和空间维度消除纹理特征、结构特征、残差特征的不一致性后进行聚合，并依据聚合后的均衡融合特征、纹理特征、结构特征进行编码处理，可以获得去除全局噪声和语义噪声的盲增强图像；本方案泛化性强，可极大地降低人工成本。
附图说明
49.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍。
50.图1为本技术一实施例提供的图像的盲增强方法的应用场景示意图；
51.图2为本技术一实施例提供的电子设备的结构示意图；
52.图3为本技术一实施例提供的图像的盲增强方法的流程示意图；
53.图4为本技术一实施例提供的目标图像的示意图；
54.图5为本技术一实施例提供的网络模型的架构示意图；
55.图6为本技术一实施例提供的多尺度填充的流程示意图；
56.图7为本技术一实施例提供的第一多尺度填充模块的结构示意图；
57.图8为本技术一实施例提供的第二多尺度填充模块的结构示意图；
58.图9为本技术一实施例提供的特征均衡化处理的流程示意图；
59.图10为本技术一实施例提供的训练网络模型的流程示意图；
60.图11a-11b为本技术一实施例提供的样本图像的示意图；
61.图12为本技术一实施例提供的预训练网络模型的流程示意图；
62.图13为本技术一实施例提供的图像修复的效果对比示意图；
63.图14为本技术另一实施例提供的图像修复的效果对比示意图；
64.图15为本技术一实施例提供的图像的盲增强装置的框图。
具体实施方式
65.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
66.相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
67.图1为本技术实施例提供的图像的盲增强方法的应用场景示意图。如图1所示，该应用场景包括客户端20和服务端30；客户端20可以是主机、手机、平板电脑等用户终端，用于向服务端30发送需要执行盲增强以消除噪声的图像；服务端30可以是服务器、服务器集群或云计算中心，用于获取客户端20发送的图像，并对图像执行盲增强处理，从而对图像进行修复。
68.如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述服务端30，用于执行图像的盲增强方法。
69.存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory，简称eprom)，可编程只读存储器(programmable red-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
70.本技术还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本技术提供的图像的盲增强方法。
71.参见图3，为本技术一实施例提供的图像的盲增强方法的流程示意图，如图3所示，
该方法可以包括以下步骤310-步骤350。
72.步骤310：将目标图像输入已训练的残差特征提取网络，获得目标图像的残差特征。
73.其中，残差特征提取网络用于从图像中提取噪声层级的残差特征，图像中的噪声可以包括全局噪声和语义噪声(局部噪声)。
74.目标图像指需要接受盲增强处理的图像。示例性的，目标图像可以指合金样品以x射线成像技术所采集并通过预处理的图像。参见图4，为本技术一实施例提供的目标图像的示意图，目标图像为合金样品以x射线成像技术所采集、并通过平场校正处理的图像，如图4所示，目标图像的整个视场内被叠加了一层类高斯分布的噪声。
75.在一实施例中，残差特征提取网络可以包括输入层、中间层和输出层；其中，输入层可以包含卷积层和relu(rectified linear unit，线性整流函数)，该卷积层的参数以(输入通道数，输出通道数，卷积核大小)的形式可表示为(1,64,3)。中间层可以包括若干个卷积层、bn(batch normalization，批量标准化)层和relu层，该卷积层的参数可表示为(64,64,3)。输出层可以包括卷积层和tanh层，该卷积层的参数可表示为(64,1,3)。
76.该实施例的残差特征提取网络在处理目标图像的过程中，图像特征的尺寸不会发生变化。这里，图像特征可以是特征图。
77.步骤320：将目标图像输入已训练图像修复网络的编码器，获得目标图像的纹理特征和结构特征。
78.图像修复网络可以包括编码器、多尺度填充模块、特征均衡模块和解码器；编码器可以基于目标图像编码得到多个图像特征。
79.服务端可以在执行步骤310时，并行的把目标图像输入图像修复网络的编码器，从而通过编码器对目标图像编码处理，得到若干纹理特征和若干结构特征。
80.步骤330：通过图像修复网络的多尺度填充模块对纹理特征和结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征。
81.其中，多尺度填充模块可以对纹理特征或结构特征进行多尺度填充处理；对于纹理特征，可以在目标图像的受损区域获取更大感受野下上下文信息的纹理细节，从而帮助重建更逼真的纹理效果；对于结构特征，可以基于目标图像的受损区域本身的图像内容特征和受损区域领域内更精细的特征结果，构建受损区域内更精细的结构内容。
82.服务端可以将若干纹理特征输入多尺度填充模块，通过多尺度填充模块对纹理特征进行填充处理，得到若干填充后子纹理特征，并将若干填充后子纹理特征进行融合，获得填充后纹理特征。
83.服务端可以将若干结构特征输入多尺度填充模块，通过多尺度填充模块对结构特征进行填充处理，得到若干填充后子结构特征，并将若干填充后子结构特征进行融合，获得填充后结构特征。
84.步骤340：将填充后纹理特征、填充后结构特征和残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征。
85.其中，特征均衡模块用于对特征执行均衡化处理，均衡化处理可以包括通道维度的均衡处理和空间维度的均衡处理。
86.服务端将填充后纹理特征和填充后结构特征、残差特征输入特征均衡模块后，可
以通过特征均衡模块执行均衡化处理，从而得到均衡融合特征。
87.步骤350：将均衡融合特征、纹理特征和结构特征输入已训练图像修复网络的解码器，获得目标图像的盲增强图像。
88.在获得均衡融合特征之后，服务端可以将均衡融合特征与编码器输出的若干纹理特征和若干结构特征输入解码器，通过解码器对均衡融合特征、纹理特征和结构特征进行解码操作后，获得目标图像的盲增强图像。
89.在一实施例中，编码器为已训练的基础u-net的图像修复网络的编码器。参见图5，为本技术一实施例提供的网络模型的架构示意图，如图5所示，图像修复网络包括编码器、多尺度填充模块、特征均衡模块和解码器，编码器和解码器与u-net基本一致，在编码器中可以存在多次下采样操作，在解码器中可以存在多次上采样操作。
90.在编码器中，中间层可以包括leakyrelu层、卷积层和bn层，最浅层仅包含卷积层，最深层包含leakyrelu层、卷积层。在解码器中，中间层可以包括leakyrelu层、转置卷积层和bn层，最浅层仅包含卷积层，最深层包含leakyrelu层、转置卷积层。
91.示例性的，编码器和解码器均包含6个卷积层，各卷积层/转置卷积层的参数以(输入通道数，输出通道数，卷积核大小，步长)的形式可通过如下表1来表示：
[0092][0093]
表1
[0094]
服务端将目标图像输入编码器后，可以通过编码器对目标图像进行编码处理，从而得到多个浅层特征和多个深层特征。示例性的，编码器编码得到6个特征，前3个可认为是浅层特征，后3个可认为是深层特征。
[0095]
浅层特征包含相对更丰富的纹理信息，深层特征包含相对更丰富的结构信息。服务端可以将浅层特征作为纹理特征，将深层特征作为结构特征。
[0096]
在一实施例中，图像修复网络的多尺度填充模块可采用类似googlelenet中incepition结构，设计针对不同层级特征的多尺度工具和模块。多尺度填充模块包括第一多尺度填充模块和第二多尺度填充模块，第一多尺度填充模块用于处理纹理特征，第二多尺度填充模块用于处理结构特征。
[0097]
参见图6，为本技术一实施例提供的多尺度填充的流程示意图，如图6所示，该方法可以包括以下步骤331-步骤333。
[0098]
步骤331：对多个纹理特征和多个结构特征分别进行融合处理，获得指定纹理特征和指定结构特征。
[0099]
服务端可以将多个尺度不同的纹理特征通过卷积层进行处理，从而得到宽度和高度相同的多个纹理特征，服务端将上述多个纹理特征在通道方向拼接，并通过一个1*1的卷
积层调整拼接后纹理特征的通道数，从而得到指定通道数的纹理特征，作为指定纹理特征。
[0100]
服务端可以将多个尺度不同的结构特征通过卷积层进行处理，从而得到宽度和高度相同的多个结构特征，服务端将上述多个结构特征在通道方向拼接，并通过一个1*1的卷积层调整拼接后结构特征的通道数，从而得到指定通道数的结构特征，作为指定纹理特征。
[0101]
步骤332：将指定纹理特征输入图像修复网络的第一多尺度填充模块，获得第一多尺度填充模块输出的多个填充后子纹理特征，并将多个填充后子纹理特征融合为填充后纹理特征。
[0102]
参见图7，为本技术一实施例提供的第一多尺度填充模块的结构示意图，如图7所示，第一多尺度填充模块包括三个支路：第一个支路在1*1的卷积层后接单个3*3的卷积层；第二个支路在1*1的卷积层后接两个连续的3*3的卷积层，在普通卷积核设置下，感受野为5*5，在扩张率为2的空洞卷积的设置下，感受野为9*9；第三个支路在1*1的卷积层后接三个连续的3*3卷积层，在普通卷积核设置下，感受野为7*7，在扩展率为2的空洞卷积设置下，感受野为13*13。
[0103]
服务端将指定纹理特征输入第一多尺度填充模块后，可以通过第一多尺度填充模块的各个支路分别对指定纹理特征进行填充处理，从而得到多个填充后子纹理特征。服务端可以将多个填充后子纹理特征在通道方向拼接，并将拼接后的特征通过一个1*1的卷积层进行卷积计算，从而融合得到填充后纹理特征。
[0104]
步骤333：将指定结构特征输入图像修复网络的第二多尺度填充模块，获得第二多尺度填充模块输出的多个填充后子结构特征，并将多个填充后子结构特征融合为填充后结构特征。
[0105]
参见图8，为本技术一实施例提供的第二多尺度填充模块的结构示意图，如图8所示，第二多尺度填充模块包括三个支路：第一个支路在1*1的卷积层后接单个3*3的卷积层；第二个支路在1*1的卷积层后接两个连续的3*3的卷积层，在普通卷积核设置下，感受野为5*5，在扩张率为2的空洞卷积的设置下，感受野为9*9；第三个支路在1*1的卷积层后接三个连续的3*3卷积层，在普通卷积核设置下，感受野为7*7，在扩展率为2的空洞卷积设置下，感受野为13*13。
[0106]
服务端将指定结构特征输入第一多尺度填充模块后，可以通过第一多尺度填充模块的各个支路分别对指定结构特征进行填充处理，从而得到多个填充后子结构特征。服务端可以将多个填充后子结构特征在通道方向拼接，并将拼接后的特征通过一个1*1的卷积层进行卷积计算，从而融合得到填充后结构特征。上述包含多个支路的多尺度填充模块可以通过1*1卷积层进行通道降维，减少后续计算量。多尺度填充模块的各个支路的卷积核感受野包含由大到小多个尺度，将各支路输出的图像特征聚合后，可用于下一阶段同时对不同尺度特征的学习表征。这种多支路多尺度的结构能最大限度提升网络对多尺度特征的提取能力，降低对训练样本的多尺度需求，从而可以更好地提取目标图像中受损区域的信息，辅助修复目标图像。
[0107]
在一实施例中，参见图9，为本技术一实施例提供的特征均衡化处理的流程示意图，如图9所示，该方法可以包括以下步骤341-步骤343。
[0108]
步骤341：将填充后纹理特征和填充后结构特征进行拼接，获得待均衡特征。
[0109]
服务端可以将填充后纹理特征和填充后结构特征在通道方向进行拼接，从而得到
待均衡特征。
[0110]
步骤342：将待均衡特征输入特征均衡模块，以由特征均衡模块对待均衡特征进行通道维度的均衡处理，获得中间特征图。
[0111]
其中，特征均衡模块可以包括seblock(sequeze and excitationblock)和双边传播激活函数。
[0112]
服务端将上述待均衡特征输入特征均衡模块后，可以通过se block对待均衡特征在通道维度进行均衡化处理，得到中间特征图。该中间特征图为在通道维度经过均衡化处理的待均衡特征。
[0113]
可以通过如下公式(1)至公式(3)来表示通道维度得到均衡处理过程。公式(1)为：
[0114][0115]
这里，fc(i,j)表示待均衡特征f在通道c的第i行第j列的元素值；h表示待均衡特征f的高度；w表示待均衡特征f的宽度；zc表示待均衡特征f在第c个通道对应的中间权重值。
[0116]
在获得待均衡特征各通道的中间权重值后，可以依据多个中间权重值构造多维向量，作为待均衡特征对应的中间权重值。
[0117]
公式(2)为：
[0118]
s＝σ(w2δ(w1z))
ꢀꢀ
(2)
[0119]
这里，z表示待均衡特征c个通道对应的中间权重值；δ()表示sigmoid操作；σ()表示relu操作；w1和w2代表两个包含可学习参数的矩阵；s表示待均衡特征c个通道对应的特征图权重。
[0120]
公式(3)为：
[0121][0122]
这里，fc是待均衡特征f在通道c的特征图；sc是fc对应的特征图权重；是经过均衡处理的第c个通道的特征图。
[0123]
待均衡特征中每一通道的特征图均经过均衡处理后，可以获得在空间维度上经过均衡处理的中间特征图。
[0124]
步骤343：通过特征均衡模块对中间特征图和残差特征进行空间维度的均衡处理，获得均衡融合特征。
[0125]
在空间维度的均衡操作分为三部分：基于空间距离衡量的权重再分配、基于局部相似度衡量的权重再分配以及基于残差特征的空间权重再分配。其中，前两者可以通过双边传播激活函数来实现。
[0126]
基于空间距离衡量的权重再分配操作，相当于对特征图在整个空间中的全局连续性表征，它针对的单位是维度为b*c*1*1的特征描述子，这里，c表示中间特征图的通道数，b表示网络训练阶段的batchsize，本技术中可设为不超过8的值。特征描述子表示中间特征图中包含所有通道中对应位置的特征向量，通过对该特征描述子的重新表征，实现真的对全局空间距离的权重再分配。该过程可通过如下公式(4)来表示：
[0127][0128]
这里，xj表示中间特征图在空间位置j处的特征描述子；f
ig
表示在空间位置i上的输出特征描述子；n表示在空间维度中所以像素的数量；w表示与中间特征图的高宽相等的空间域；g
σw
(
·
)表示高斯卷积核操作，通过高斯卷积核，将空间上的距离通过高斯核采样为一个与距离成反比的权重值，然后对特征描述子进行加权操作。
[0129]
基于局部相似度衡量的权重再分配，对特征描述子的重新表征是基于该位置周围领域内若干特征描述子之间的相似性。该过程可通过如下公式(5)来表示：
[0130][0131]
这里，xj表示中间特征图在空间位置j处的特征描述子；f
il
表示在空间位置i上的对应输出特征描述子；l表示空间位置i的领域，该领域大小可预配置，示例性的，可为3*3；l表示领域内的所有像素的数量；s(x
i-xj)表示对两个特征描述子的点积操作，通过该操作可以计算特征描述子之间的相似度，并以此相似度为权值，对特征描述子进行加权求和。
[0132]
基于残差特征的空间权重再分配，在获得残差特征之后，可以以该残差特征为依据，通过空间注意力机制获得一张b*1*h*w的权重分布图，以此为依据进行空间维度的特征重表征。该过程通过如下公式(6)来表示：
[0133][0134]
这里，是通过一个残差卷积块的特征，xi是残差特征图在空间位置i处的特征描述子；f
ir
为残差特征在空间位置i上的对应输出特征描述子；αi为根据残差特征图计算出的空间注意力权重。
[0135]
残差特征图上所有位置对应的空间注意力权重可以构成注意力图。该注意力图可通过如下公式(7)计算得到：
[0136]
α＝softmax(wi(tanh(wsx bs)) bi)
ꢀꢀ
(7)
[0137]
这里，α是注意力图；x是残差特征；wi，ws，bi，bs为可学习参数矩阵。
[0138]
在完成基于空间距离衡量的权重再分配、基于局部相似度衡量的权重再分配以及基于残差特征的空间权重再分配之后，可以得到上述三个层级再分配之后的特征图。
[0139]
服务端可以将上述三个层级的特征图在通道方向上拼接后，通过一个1*1的卷积层，从而融合得到均衡融合特征。
[0140]
在一实施例中，解码器为已训练的基础u-net的图像修复网络的解码器。在解码处理的过程中，服务端可以将均衡融合特征、多个纹理特征和多个结构特征通过跳跃连接的方式输出至解码器的各个网络层，通过解码器对均衡融合特征、多个纹理特征和多个结构特征进行解码操作后，输出目标图像的盲增强图像。
[0141]
在一实施例中，在执行本技术图像的盲增强方法之前，可以训练残差特征提取网络和图像修复网络，参见图10，为本技术一实施例提供的训练网络模型的流程示意图，如图10所示，该方法可以包括以下步骤306-步骤309。
[0142]
步骤306：将第一样本数据集中的样本图像分别输入经过预训练的残差特征提取网络和未训练的图像修复网络，获得经过预训练的残差特征提取网络输出的样本残差特征、图像修复网络的编码器输出的样本纹理特征和样本结构特征、图像修复网络的解码器
输出的预测增强图像。
[0143]
其中，第一样本数据集包括大量样本图像，样本图像可以与接受盲增强处理的目标图像属于相同类别。示例性的，当针对合金样品以x射线成像技术采集并预处理的枝晶图像进行增强处理之前，可以已预先收集的枝晶图像作为样本图像，构造第一样本数据集。
[0144]
样本图像可以携带预先标注的残差标签、纹理标签、结构标签、目标标签。残差标签指示样本图像中的损伤信息，包含全局噪声和语义噪声；纹理标签指示样本图像中的纹理信息，纹理标签可以由样本图像经过下采样得到；结构标签指示样本图像中物体(比如：枝晶)的轮廓信息，可以由人工标注得到；目标标签为样本图像经过盲增强后的预期效果，可以是人工对样本图像去噪后的图像。
[0145]
参见图11a-11b，为本技术一实施例提供的样本图像的示意图，如图11a所示，为有噪图像和无噪图像对，有噪图像为样本图像，其对应的无噪图像为目标标签。如图11b所示，为有氧化物遮挡的图像和无氧化物的图像，有氧化物的图像为样本图像，其对应的无氧化物的图像为目标标签。
[0146]
服务端将样本图像并行输入经过预训练的残差特征提取网络和未训练的图像修复网络，通过残差特征提取网络对样本图像计算后输出样本残差特征；通过图像修复网络的编码器对样本图像编码处理后获得若干浅层特征和若干深层特征，通过图像修复网络的多尺度填充模块对若干浅层特征进行填充处理后，获得样本纹理特征，通过多尺度填充模块对若干深层特征进行填充处理后，获得样本结构特征；通过图像修复网络的特征均衡模块对样本纹理特征、样本结构特征和样本残差特征进行均衡处理后，获得样本均衡融合特征，并可通过图像修复网络的解码器对样本均衡融合特征、若干浅层特征和若干深层特征进行解码处理，获得样本图像对应的预测增强图像。
[0147]
步骤307：确定样本残差特征与样本图像的残差标签之间的第一差异、样本纹理特征与样本图像的纹理标签之间的第二差异、样本结构特征与样本图像的结构标签之间的第三差异、预测增强图像与样本图像的目标标签之间的第四差异。
[0148]
服务端可以依据预设损失函数评估样本残差特征与残差标签之间的第一差异、样本纹理特征与纹理标签之间的第二差异、样本结构特征与结构标签之间的第三差异、预测增强图像与目标标签之间的第四差异。
[0149]
针对样本残差特征与残差标签的损失函数可通过如下公式(8)来表示：
[0150][0151]
这里，i
res
表示样本残差特征；i
noise
表示残差标签。这两者均不能被归一化到-1到1，因为噪声信息包含对亮度的抑制作用，残差特征应能反映这部分强度为负数的信息。
[0152]
服务端可以通过上述公式(8)计算出第一差异。
[0153]
针对样本纹理特征与纹理标签的损失函数可通过如下公式(9)来表示：
[0154]
l
txf
＝||i
tx-i
tx_gt
||1ꢀꢀ
(9)
[0155]
这里，i
tx
表示样本纹理特征；i
tx_gt
表示纹理标签。
[0156]
服务端可以通过上述公式(9)计算出第二差异。
[0157]
针对样本结构特征与结构标签的损失函数可通过如下公式(10)来表示：
[0158]
l
stf
＝||i
st-i
st_gt
||1ꢀꢀ
(10)
[0159]
这里，i
st
表示样本结构特征；i
st_gt
表示结构标签。
[0160]
服务端可以通过上述公式(10)计算出第三差异。
[0161]
针对预测增强图像与目标标签的损失函数可通过如下公式(11)来表示：
[0162]
l
cons
＝||i
out-i
gt
||1ꢀꢀ
(11)
[0163]
这里，i
out
表示预测增强图像；i
gt
表示目标标签，两者的尺度与样本图像一致。
[0164]
服务端可以通过上述公式(11)计算出第四差异。
[0165]
步骤308：在生成对抗机制下，将残差特征提取网络和图像修复网络作为生成器，结合第一差异、第二差异、第三差异和第四差异，对残差特征提取网络和图像修复网络的网络参数进行调整。
[0166]
在生成对抗机制下，残差特征提取网络和图像修复网络作为生成对抗网络的生成器，与生成对抗网络的判别器通过博弈训练，获得更好的训练效果。
[0167]
在生成对抗网络中，针对判别器和生成器交替进行训练，在判别器训练过程中，生成对抗网络的损失函数可通过如下公式(12)来表示：
[0168][0169]
在生成器训练过程中，生成对抗网络的损失函数可通过如下公式(13)来表示：
[0170][0171]
其中，i
pre
表示预测增强图像；i
gt
表示目标标签。
[0172]
针对生成器与判别器有不同的损失函数形式，可以帮助网络从生成数据与真实数据的梯度中受益，从而提升训练的稳定性。
[0173]
最终总损失函数可通过如下公式(14)来表示：
[0174]
l
total
＝λal
adv
λrl
res
λ
st
l
stf
λ
tx
l
txf
λcl
cons
ꢀꢀ
(14)
[0175]
这里，λa、λr、λ
st
、λ
tx
、λc均为预配置的权重，示例性的，λa＝0.2；λr＝0.1；λ
st
＝1；λ
tx
＝1；λc＝1。这里，ladv为生成对抗网络的损失函数，在判别器训练阶段，该损失函数为上述公式(12)，在生成器训练阶段，该损失函数为上述公式(13)。
[0176]
步骤309：重复上述过程，直至残差特征提取网络和图像修复网络收敛。
[0177]
经过反复迭代训练之后，残差特征提取网络和图像修复网络的网络参数趋于稳定，此时可认为两者收敛，可用于本技术中图像的盲增强方法。
[0178]
在一实施例中，在对残差特征提取网络和图像修复网络整体进行训练之前，可以对残差特征提取网络进行预训练。参见图12，为本技术一实施例提供的预训练网络模型的流程示意图，如图12所示，该方法可以包括以下步骤303-步骤305。
[0179]
步骤303：将第二样本数据集中的样本图像输入未训练的残差特征提取网络，获得残差特征提取网络输出的预测残差特征。
[0180]
其中，第二样本数据集包括大量样本图像，样本图像可以与接受盲增强处理的目标图像属于相同类别。在一实施例中，第二样本数据集可以属于第一样本数据集，或者，第二样本数据集可以是第一样本数据集。
[0181]
样本图像可以携带预先标注的残差标签，残差标签指示样本图像中的损伤信息，包括全局噪声和语义噪声。
[0182]
服务端将样本图像输入残差特征提取网络，通过残差特征提取网络对样本图像进行计算后输出预测残差特征。
[0183]
步骤304：基于预测残差特征与样本图像的残差标签之间的差异，对残差特征提取网络的网络参数进行调整。
[0184]
步骤305：重复上述过程，直至残差特征提取网络收敛。
[0185]
服务端可以依据预设损失函数评估预测残差特征与残差标签之间的差异，并依据损失函数的函数值调整残差特征提取网络的网络参数。
[0186]
经过反复迭代，当残差特征提取网络的网络参数趋于稳定时，可认为残差特征提取网络经过预训练初步收敛。可用于后续第二阶段结合图像修复网络的训练流程。
[0187]
本技术方案提出面向全局噪声与语义噪声(对于枝晶图像而言，语义噪声可以包括氧化物等)的多任务盲增强算法，其结合残差学习和修复学习构建了双阶段网络。双阶段网络包括残差特征提取网络和图像修复网络，残差特征提取网络可用于提取残差特征，图像修复网络用于精细去噪和图像修复；针对残差噪声层级、纹理层级、结构层级等多个特征，在空间维度和通道维度消除多层级特征的不一致性并进行聚合，从而可依据聚合后的均衡融合特征、纹理特征、结构特征解码得到修复质量更高的盲增强图像。
[0188]
本技术方案在测试集的应用效果在psnr(peak signal to noise ratio，峰值信噪比)、ssim(structural similarity，结构相似性)上相比相关技术有了显著提升。如下表2所述，为本技术方案与dip(deep image prior，深度图像先验实验)、dbii(deep blind image inpainting，深度盲修复)的对比结果。
[0189][0190]
表2
[0191]
参见图13，为本技术一实施例提供的图像修复的效果对比示意图，如图13所示，a图为待修复原图，b图为dbii方案修复后的图像，c图为dip方案修复后的图像，d图为本技术方案修复后的图像。
[0192]
参见图14，为本技术另一实施例提供的图像修复的效果对比示意图，如图13所示，a图为待修复原图，b图为dbii方案修复后的图像，c图为dip方案修复后的图像，d图为本技术方案修复后的图像。
[0193]
从上述对比示意图中可见，本技术方案修复后的图像最接近人工去噪图的分布，不仅图像本身平滑干净，有效地抑制了全局噪声，同时对遮挡区域进行了高质量的修复。对于半透明遮挡物，能做到完美修复，修复结果基本接近真实值；对于完全遮挡物，能够有效填充遮挡区域，虽然在此过程中不可避免地出现了枝晶形状修复误差，但固液相分布大致接近真实值，相比原先十分严重的遮挡区域，其修复效果也能够达到预期。而对于一些强噪声图像，本算法的修复结果相比起人工调参的去噪图像，甚至能保留更多的固相枝晶细节，对于后续的固液相分割、纹理分类识别等定量分析子任务，这种特性可以协助产出更精确的分析结果。
[0194]
图15是本发明一实施例的一种图像的盲增强装置，如图15所示，该装置可以包括：
[0195]
第一提取模块410，用于将目标图像输入已训练的残差特征提取网络，获得所述目标图像的残差特征；
[0196]
第二提取模块420，用于将所述目标图像输入已训练图像修复网络的编码器，获得所述目标图像的纹理特征和结构特征；
[0197]
填充模块430，用于通过所述图像修复网络的多尺度填充模块对所述纹理特征和所述结构特征分别进行多尺度填充处理，得到填充后纹理特征和填充后结构特征；
[0198]
均衡模块440，用于将所述填充后纹理特征、所述填充后结构特征和所述残差特征输入已训练图像修复网络的特征均衡模块，获得均衡融合特征；
[0199]
解码模块450，用于将所述均衡融合特征、所述纹理特征和所述结构特征输入已训练图像修复网络的解码器，获得所述目标图像的盲增强图像。
[0200]
上述装置中各个模块的功能和作用的实现过程具体详见上述图像的盲增强方法中对应步骤的实现过程，在此不再赘述。
[0201]
在本技术所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0202]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0203]
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。