基于正则化内容模式权重预测的图像超分辨率重建方法

1.本发明涉及计算机视觉及图像处理技术领域，具体涉及一种基于正则化内容模式权重预测的图像超分辨率重建方法。


背景技术：

2.单图像超分辨率重建的目标是从退化的低分辨率图像中重建出质量更好的高分辨率图像。它在航空航天，地物遥感、医学和军事成像、无人值守等方面有着非常广泛的应用。
3.传统的基于插值的算法简单快捷，但无法满足人们日益增长的图像质量需要。随着深度学习的蓬勃发展，研究人员将深度学习算法广泛应用到图像超分辨率重构上来并取得优于插值算法的重构结果。但目前主流的方法都是在上采样模块共享卷积核，并没有充分利用不同位置不同的正则化内容模式进行上采样。


技术实现要素：

4.本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于正则化内容模式权重预测的图像超分辨率重建方法。该方法采用正则化内容模式提取网络提取不同位置的正则化内容模式，用于区分不同位置的灰度、梯度和方向信息，然后使用卷积核权重预测网络为不同位置的像素点生成匹配该位置正则化内容模式的卷积核权重，最后对低分辨率特征进行上采样得到超分辨率图像，使得重建出的图像质量更高且与高分辨率图像有着更强的纹理一致性。
5.本发明的目的可以通过采取如下技术方案达到：
6.一种基于正则化内容模式权重预测的图像超分辨率重建方法，所述图像超分辨率重建方法包括以下步骤：
7.s1、将输入图像通过特征提取网络进行低分辨率特征提取；
8.s2、使用正则化内容模式提取网络对低分辨率特征进行正则化内容模式提取；
9.s3、将超分辨率图像上的每一个像素点进行位置映射，确定每一个像素点的位置尺度信息和正则化内容模式；
10.s4、使用卷积核权重预测网络为超分辨率图像上的每一个像素点生成匹配该像素点位置尺度信息和正则化内容模式的卷积核权重；
11.s5、使用超分辨率图像上每一个像素点的卷积核权重对对应位置的低分辨率特征进行重建得到该像素点的rgb值，最后得到完整的超分辨率图像。
12.进一步地，所述特征提取网络使用与去除上采样模块后的rdn网络相同的网络结构。定义d为大于零的正整数，所述特征提取网络由第一3
×
3卷积层、第二3
×
3卷积层、d个串联的残差稠密块、1
×
1卷积层和第三3
×
3卷积层依次串联而成。
13.所述残差稠密块由c
′
个串联的后接relu激活函数3
×
3卷积层和1
×
1卷积层串联而成，c
′
为大于零的正整数。所述后接relu激活函数3
×
3卷积层由3
×
3卷积层和relu激活
函数层串联而成。残差稠密块特征提取过程的表达式如下：
[0014][0015][0016][0017][0018]
其中，f
in
表示整个残差稠密块的输入特征，和分别表示残差稠密块中第一和第二后接relu激活函数3
×
3卷积层的卷积核，σ()为relu激活函数，和分别表示第一和第二后接relu激活函数3
×
3卷积层的输出，concat()为特征堆叠函数，将多个输入特征堆叠成一个输出特征，和分别表示残差稠密块中第c-2、第c-1和第c后接relu激活函数3
×
3卷积层的输出，定义c为取值范围为[3,c
′
]的正整数，和分别表示残差稠密块中第c
′‑
1和第c
′
后接relu激活函数3
×
3卷积层的输出，表示残差稠密块中第c后接relu激活函数3
×
3卷积层的卷积核，表示残差稠密块中1
×
1卷积层的卷积核，f
out
表示整个残差稠密块的输出特征。
[0019]
进一步地，所述步骤s1过程如下：
[0020]
定义d为取值范围为[2,d]的正整数，定义特征提取网络中第一残差稠密块使用公式(1)-(4)提取特征过程为函数rdb1()，定义特征提取网络中第d残差稠密块使用公式(1)-(4)提取特征过程为函数rdbd()。使用特征提取网络从输入的低分辨率图像中提取出低分辨率特征，表达式如下：
[0021][0022][0023]
f1＝rdb1(f0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0024]
fd＝rdbd(f
d-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0025][0026]flr
＝f-1
f
gf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0027]
其中，i
lr
表示输入的低分辨率图像，和分别表示特征提取网络中第一、第二和第三3
×
3卷积层的卷积核，f-1
和f0分别表示特征提取网络中第一和第二3
×
3卷积层的输出，f1和f2分别表示第一和第二残差稠密块的输出，f
d-1
和fd分别表示第d-1和第d残差稠密块的输出，f
d-1
和fd分别表示第d-1和第d差稠密块的输出，concat()为特征堆叠函数，将多个输入特征堆叠成一个输出特征，表示特征提取网络中1
×
1卷积层的卷积核，f
gf
表示特征提取网络中第三3
×
3卷积层的输出，f
lr
表示特征提取网络最终提取到的低分辨率特征。
[0028]
进一步地，所述特征提取网络采用与去除上采样模块后的rdn网络相同的网络结构，使用多个残差稠密块对局部特征进行复用，同时将所有残差稠密块的输出进行堆叠后
再进行卷积操作对全局特征进行了复用。通过复用局部和全局特征，提取出了有着强大表达能力的低分辨率特征。
[0029]
进一步地，所述正则化内容模式提取网络由第一3
×
3卷积层、relu激活函数层、第二3
×
3卷积层和sigmoid激活函数层串联而成。使用第一3
×
3卷积层和relu激活函数层能对低分辨率特征进行非线性组合，增强正则化内容模式提取网络的抽象能力，第二3
×
3卷积层和sigmoid激活函数层能使正则化内容模式提取网络输出的范围与位置尺度信息的取值范围一致，有利于后续卷积核权重预测网络更容易地辨别输入和输出间的关系。
[0030]
进一步地，所述步骤s2过程如下：
[0031]
先将步骤s1中提取的低分辨率特征通过正则化内容模式提取网络中第一3
×
3卷积层和relu激活函数层得到非线性组合特征，再将得到的非线性组合特征通过正则化内容模式提取网络中第二3
×
3卷积层和sigmoid激活函数层得到正则化内容模式，计算过程的表达式如下：
[0032][0033][0034]
其中，f
nc
为非线性组合特征，σ()为relu激活函数，和分别表示正则化内容模式提取网络中第一和第二3
×
3卷积层的卷积核，p为正则化内容模式，s()为sigmoid激活函数。
[0035]
进一步地，步骤s2中得到的正则化内容模式是低分辨率特征的高级抽象，能有效地表达图像不同位置图像内容的特异性，进而指导卷积核权重预测网络生成空间特异卷积核。
[0036]
进一步地，所述步骤s3过程如下：
[0037]
对超分辨率图像中的像素点(i,j)进行位置映射得到(i
′
,j
′
)，然后根据相对偏移函数确定超分辨率图像中像素点(i,j)的位置尺度信息m
i,j
，最后在正则化内容模式p中取位置(i
′
,j
′
)的向量作为超分辨率图像中像素点(i,j)的正则化内容模式pi′
,j
′
，表达式如下：
[0038][0039][0040][0041]
其中，m()为位置映射函数，r为尺度因子，为向下取整函数，o()为相对偏移函数。
[0042]
进一步地，所述卷积核权重预测网络由第一全连接层、relu激活函数层和第二全连接层串联而成。第一全连接层和relu激活函数层对输入向量进行非线性映射，增强卷积核权重预测网络的表达能力。第二全连接层根据所需的卷积核权重的数量输出对应大小的向量。
[0043]
进一步地，所述步骤s4过程如下：
[0044]
将超分辨率图像中像素点(i,j)的位置尺度信息m
i,j
和正则化内容模式pi′
,j
′
拼接起来得到向量v
in
，然后将向量v
in
通过卷积核权重预测网络中第一全连接层和relu激活函数层得到非线性组合向量，接着将非线性组合向量通过卷积核权重预测网络中第二全连接层得到输出向量v
out
，最后将输出向量v
out
变换成多维矩阵得到超分辨率图像中像素点(i,j)匹配的卷积核权重w
i,j
，表达式如下：
[0045]vin
＝concat(m
i,j
,pi′
,j
′
)
ꢀꢀꢀꢀꢀꢀꢀ
(17)
[0046]v1
＝σ(w1*v
in
b1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0047]vout
＝w2*v1 b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0048]
其中，concat()为向量拼接函数，将多个输入向量拼接为一个输出向量，v1为非线性组合向量，σ()为relu激活函数，w1和w2分别为卷积核权重预测网络中第一和第二全连接层的权重，b1和b2分别为卷积核权重预测网络中第一和第二全连接层的偏差。
[0049]
进一步地，步骤s4中生成的卷积核权重w
i,j
是空间特异的，充分考虑了所处位置的位置尺度信息和正则化内容模式，对于不同的图像内容卷积核权重预测网络会生成最匹配的卷积核权重，能进一步提高重建性能。
[0050]
进一步地，所述步骤s5过程如下：
[0051]
使用超分辨率图像中像素点(i,j)的卷积核权重w
i,j
对对应位置的低分辨率特征进行重建得到该像素点(i,j)的rgb值，得到超分辨率图像中每一个像素点的rgb值后组成完整的超分辨率图像，表达式如下：
[0052][0053]
其中，v
i,j
为超分辨率图像中像素点(i,j)的rgb值。
[0054]
本发明相对于现有技术具有如下的优点及效果：
[0055]
(1)本发明通过提取不同位置的正则化内容模式区分不同位置的灰度、梯度和方向信息，然后为不同位置的像素点生成匹配该位置正则化内容模式的卷积核权重，充分利用图像信息指导图像上采样。
[0056]
(2)本发明对图像超分辨率重建基准数据集set5、set14、b100、urban100和manga109进行了实验，结果表明本发明方法在psnr指标上均优于任意尺度图像超分辨率重建最优方法meta-rdn和liif-rdn，同时本发明方法生成的sr图像与hr图像有着更强的纹理一致性。
附图说明
[0057]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0058]
图1是本发明中公开的基于正则化内容模式权重预测的图像超分辨率重建方法的流程图；
[0059]
图2是本发明中的特征提取网络框架图；
[0060]
图3是本发明中的残差稠密块框架图；
[0061]
图4是本发明中的正则化内容模式提取网络框架图；
[0062]
图5是本发明中的卷积核权重预测网络框架图。
具体实施方式
[0063]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0064]
实施例
[0065]
如图1所示，本实施例提供了一种基于正则化内容模式权重预测的图像超分辨率重建方法，通过正则化内容模式提取网络提取不同位置的正则化内容模式，然后使用卷积核权重预测网络为不同位置的像素点生成匹配该位置正则化内容模式的卷积核权重，最后对低分辨率特征进行上采样得到超分辨率图像，具体包括以下步骤：
[0066]
s1、将输入图像通过特征提取网络进行低分辨率特征提取，具体为：
[0067]
特征提取网络如图2所示，使用与去除上采样模块后的rdn网络相同的网络结构。定义d为大于零的正整数，所述特征提取网络由第一3
×
3卷积层、第二3
×
3卷积层、d个串联的残差稠密块、1
×
1卷积层和第三3
×
3卷积层依次串联而成。本实施例中取d＝16，但是该d的取值不构成对发明技术方案的限制。
[0068]
定义c
′
为大于零的正整数，残差稠密块如图3所示，由c
′
个串联的后接relu激活函数3
×
3卷积层和1
×
1卷积层串联而成。所述后接relu激活函数3
×
3卷积层由3
×
3卷积层和relu激活函数层串联而成。本实施例中取c
′
＝8，但是该c
′
的取值不构成对发明技术方案的限制。残差稠密块特征提取过程的表达式如下：
[0069][0070][0071][0072][0073]
其中，f
in
表示整个残差稠密块的输入特征，和分别表示残差稠密块中第一和第二后接relu激活函数3
×
3卷积层的卷积核，σ()为relu激活函数，和分别表示第一和第二后接relu激活函数3
×
3卷积层的输出，concat()为特征堆叠函数，将多个输入特征堆叠成一个输出特征，和分别表示残差稠密块中第c-2、第c-1和第c后接relu激活函数3
×
3卷积层的输出，和分别表示残差稠密块中第c
′‑
1和第c
′
后接relu激活函数3
×
3卷积层的输出，表示残差稠密块中第c后接relu激活函数3
×
3卷积层的卷积核，表示残差稠密块中1
×
1卷积层的卷积核，f
out
表示整个残差稠密块的输出特征。
[0074]
定义d为取值范围为[2,d]的正整数，定义特征提取网络中第一残差稠密块使用公式(1)-(4)提取特征过程为函数rdb1()，定义特征提取网络中第d残差稠密块使用公式(1)-(4)提取特征过程为函数rdbd()。使用特征提取网络从输入的低分辨率图像中提取出低分辨率特征，表达式如下：
[0075][0076][0077]
f1＝rdb1(f0)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0078]
fd＝rdbd(f
d-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0079][0080]flr
＝f-1
f
gf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0081]
其中，i
lr
表示输入的低分辨率图像，和分别表示特征提取网络中第一、第二和第三3
×
3卷积层的卷积核，f-1
和f0分别表示特征提取网络中第一和第二3
×
3卷积层的输出，f1和f2分别表示第一和第二残差稠密块的输出，f
d-1
和fd分别表示第d-1和第d残差稠密块的输出，f
d-1
和fd分别表示第d-1和第d残差稠密块的输出，concat()为特征堆叠函数，将多个输入特征堆叠成一个输出特征，表示特征提取网络中1
×
1卷积层的卷积核，f
gf
表示特征提取网络中第三3
×
3卷积层的输出，f
lr
表示特征提取网络最终提取到的低分辨率特征。
[0082]
s2、使用正则化内容模式提取网络对低分辨率特征进行正则化内容模式提取，具体为：
[0083]
正则化内容模式提取网络如图4所示，由第一3
×
3卷积层、relu激活函数层、第二3
×
3卷积层和sigmoid激活函数层串联而成。
[0084]
如图1所示，通过将低分辨率特征输入正则化内容模式提取网络，能提取不同位置的正则化内容模式，用于区分不同位置的灰度、梯度和方向信息。具体过程如下：
[0085]
先将步骤s1中提取的低分辨率特征通过正则化内容模式提取网络中第一3
×
3卷积层和relu激活函数层得到非线性组合特征，再将得到的非线性组合特征通过正则化内容模式提取网络中第二3
×
3卷积层和sigmoid激活函数层得到正则化内容模式，计算过程的表达式如下：
[0086][0087][0088]
其中，f
nc
为非线性组合特征，σ()为relu激活函数，和分别表示正则化内容模式提取网络中第一和第二3
×
3卷积层的卷积核，p为正则化内容模式，s()为sigmoid激活函数。
[0089]
s3、将超分辨率图像上的每一个像素点进行位置映射，确定每一个像素点的位置尺度信息和正则化内容模式，具体为：
[0090]
对超分辨率图像中的像素点(i,j)进行位置映射得到(i
′
,j
′
)，然后根据相对偏移函数确定超分辨率图像中像素点(i,j)的位置尺度信息m
i,j
，最后在正则化内容模式p中取位置(i
′
,j
′
)的向量作为超分辨率图像中像素点(i,j)的正则化内容模式pi′
,i
′
，表达式如下：
[0091]
[0092][0093][0094]
其中，m()为位置映射函数，r为尺度因子，为向下取整函数，o()为相对偏移函数。
[0095]
s4、使用卷积核权重预测网络为超分辨率图像上的每一个像素点生成匹配该像素点位置尺度信息和正则化内容模式的卷积核权重，具体为：
[0096]
卷积核权重预测网络如图5所示，由第一全连接层、relu激活函数层和第二全连接层串联而成。
[0097]
如图1所示，通过将像素点对应的正则化内容模式和位置尺度信息输入卷积核权重预测网络，能生成匹配该像素点位置尺度信息和正则化内容模式的卷积核权重。具体过程如下：
[0098]
将超分辨率图像中像素点(i,j)的位置尺度信息m
i,j
和正则化内容模式pi′
,j
′
拼接起来得到向量v
in
，然后将向量v
in
通过卷积核权重预测网络中第一全连接层和relu激活函数层得到非线性组合向量，接着将非线性组合向量通过卷积核权重预测网络中第二全连接层得到输出向量v
out
，最后将输出向量v
out
变换成多维矩阵得到超分辨率图像中像素点(i,j)匹配的卷积核权重w
i,j
，表达式如下：
[0099]vin
＝concat(m
i,j
,pi′
,j
′
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0100]v1
＝σ(w1*vin b1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0101]vout
＝w2*v1 b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0102]
其中，concat()为向量拼接函数，将多个输入向量拼接为一个输出向量，v1为非线性组合向量，σ()为relu激活函数，w1和w2分别为卷积核权重预测网络中第一和第二全连接层的权重，b1和b2分别为卷积核权重预测网络中第一和第二全连接层的偏差。
[0103]
s5、使用超分辨率图像上每一个像素点的卷积核权重对对应位置的低分辨率特征进行重建得到该点的rgb值，最后得到完整的超分辨率图像，具体为：
[0104]
使用超分辨率图像中像素点(i,j)的卷积核权重w
i,j
对对应位置的低分辨率特征进行重建得到该像素点(i,j)的rgb值，得到超分辨率图像中每一个像素点的rgb值后组成完整的超分辨率图像，表达式如下：
[0105][0106]
其中，v
i,j
为超分辨率图像中像素点(i,j)的rgb值。
[0107]
使用该实施例我们对基准数据集set5、set14、b100、urban100和manga109分别进行x2,x3和x4的超分辨率重建，并将结果与任意尺度图像超分辨率重建最优方法meta-rdn和liif-rdn进行对比。我们的实施例在所有数据集和所有上采样尺度因子的任务中都取得了比meta-rdn和liif-rdn更好的结果，比meta-rdn和liif-rdn在psnr指标上平均提高了0.11db和0.11db。特别在高分辨率基准数据集urban100和manga109中，图像有着更高的分辨率，即有着更充分的细节和更丰富的正则化内容模式，我们提出的实施例优势得以展现，比meta-rdn和liif-rdn在psnr指标上平均提高了0.21db和0.21db。
[0108]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。