自适应特征融合恢复及混合妆容迁移重组方法

技术特征：
1.一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，包括以下步骤：步骤1、获取输入图像，输入图像中包括样本图像集一张低清晰度的原始输入图像i
d
，其中，表示第k张样本图像，k表示样本图像的总数；步骤2、从样本图像集中获得与原始输入图像i
d
相似度最高的图像样本图像作为引导图像；步骤3、将引导图像与原始输入图像i
d
输入多个级联的自适应特征融合模块，由最后一级自适应特征融合模块输出具有较高还原清晰度的图像其中，每一级的自适应特征融合模块基于以下步骤实现：步骤301、得到原始输入图像i
d
的特征f
d
后进行降维处理；步骤302、得到引导图像的特征f
g,w,a
后进行降维处理；步骤303、通过提取二进制图像的特征得到标记点特征，其中，提取所有输入图像的m个特征点后获得二进制图像；步骤304、对步骤303中所得特征进行降维处理；步骤305、将步骤301、步骤302以及步骤303所得到的维度一致的特征进行连接；步骤306、将通过步骤305获得的经过连接的特征作为带偏置卷积网络层的输入，在带偏置卷积网络层中引入注意力机制，利用引入注意力机制的带偏置卷积网络层融合所输入的特征；步骤307：将通过步骤302获得的引导图像的特征f
g,w,a
作为卷积层的输入；步骤308：将经过步骤307处理后的特征与通过步骤301获得的特征进行减法运算后，送入残差结构进行降维处理；步骤309：将经过步骤308处理的特征与通过步骤306所获得的特征进行乘法运算后，再次送入残差结构进行降维处理；步骤310：将通过步骤301获得的原始输入图像i
d
的特征作为卷积层的输入；步骤311：将经过步骤310处理后的特征与经过步骤309处理后的特征进行加法运算后和通过步骤309得到的结果共同输入包含残差块的重建子网处理得到输出结果；在最后一级自适应特征融合模块中，通过包含残差块的重建子网得到最终的具有较高还原清晰度的图像步骤4、若图像自带妆容，则进入步骤5进行妆容迁移；若图像不带妆容，则进入步骤6；步骤5、将图像输入idnet特征提取网络，将idnet特征提取网络的输出输入stnet风格迁移网络，由stnet风格迁移网络产生卸妆后的输出图像步骤6、利用风格迁移网络处理卸妆后的输出图像或直接处理不带妆容的具有较高还原清晰度的图像将待风格迁移网络处理的图像进一步定义为素颜图像x∈[0,1]
h
×
w
×3；将步骤2获得的引导图像或者用户自定义的带妆容图像作为参考带妆图像y∈[0,1]
h
×
w
×3；风格迁移网络先采用gan生成式对抗网络对输入的素颜图像x以及参考带妆图像y进行基于dmt的插值妆容迁移，通过控制权重大小α∈[0,1]进行插值妆容迁移，达到调节妆容浓淡程度的目的；再利用vae变分自编码器进行局部优化。
2.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，在所述步骤2之后，并在所述步骤3之前还包括：利用mls滑动最小二乘法和adain模块在特征空间中对引导图像进行空间对齐和照明转换。3.如权利要求2所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，利用mls滑动最小二乘法及adain模块对引导图像进行处理包括以下步骤：将选定的引导图像的特征和标记点分别表示为f
g
、l
g
，原始输入图像i
d
的特征和标记点记作f
d
、l
d
，引入位置对角矩阵w
p
，对于w
p
对角线上第m个元素w
p
(m,m)有其中，表示原始输入图像的第m个标记点；根据公式得到位置仿射矩阵m
p
，为l
d
的齐次表示，然后进行双线性插值后得到引导图像根据输入图像的扭曲特征，记作f
g,w
；通过adain模块将经过mls处理后的扭曲特征f
g,w
转化为原始输入图像i
d
的风格，即光照效果，合成具有原始输入图像i
d
风格的输出图像，从而经过adain模块处理后得到特征f
g,w,a
和原始输入图像i
d
的特征f
d
在空间和风格上图像对齐。4.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，所述步骤2包括以下步骤：运用人脸特征点检测，对于样本图像集中的每张样本图像以及原始输入图像i
d
，检测出m个特征点；分别计算输入原始输入图像i
d
与样本图像集中各样本图像的对应特征点之间的加权仿射距离之和：设输入原始输入图像i
d
与样本图像的所有m个特征点的加权仿射距离之和为则有式中，w
m
为原始输入图像i
d
与样本图像中第m个特征点的加权仿射距离，w
m
为赋予第m个特征点的权重，根据图像间表情姿势差异，给每个特征点赋予不同的权重；列举所有样本图像，在前向传播中得到m个特征点与原始输入图像i
d
对应特征点间具有最小仿射距离和的样本图像引入辅助损失，通过反向传播算法更新特征点权重值，反复迭代后，找出样本图像集中最佳的样本图像作为引导图像。5.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，将图像定义为带妆容的输入图像y
r
，则所述步骤5包括以下步骤：步骤501、将输入图像y
r
输入idnet特征提取网络，idnet特征提取网络利用编码瓶颈结构区分输入图像y
r
中的妆容特征和人脸特征，获得输入图像y
r
的视觉特征图v
r
∈r
c
×
h
×
w
；步骤502、视觉特征图v
r
在idnet特征提取网络内经过1
×
1卷积层后得到人脸特征信息在idnet特征提取网络内不断沿着通道维度扩展重复从而产生特征张量不断沿着通道维度扩展重复从而产生特征张量步骤503、将视觉特征图v
r
以及特征张量输入stnet风格迁移网络；
stnet风格迁移网络运用编码瓶颈结构及解码瓶颈结构，stnet风格迁移网络的编码部分采用不带仿射参数的instance normalization归一化算法，使得视觉特征图v
,
正态分布，则卸妆后特征图由公式计算得出，其中，和为步骤502中从idnet特征提取网络中提取的特征张量；卸妆后特征图送入stnet风格迁移网络后续解码部分，最终获得卸妆后的输出图像6.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，步骤6中，所述gan生成式对抗网络包括人脸特征编码器、妆容编码器、解码器和判别器，则利用所述gan生成式对抗网络进行插值妆容迁移，具体包括以下步骤：步骤601：获取素颜图像x；步骤602：基于素颜图像x获取人脸特征e
i
，采用人脸特征编码器对人脸特征进行编码；步骤603：经过人脸特征编码器处理得到人脸特征码i
x
；步骤604：获取参考带妆图像y；步骤605：基于参考带妆图像y获取妆容特征e
m
，采用妆容特征编码器对妆容特征e
m
进行编码；步骤606：经过妆容特征编码器处理得到妆容特征码m
y
；步骤607：将妆容特征码m
y
和人脸特征码i
x
输入解码器；步骤608：解码器生成重组后的带妆容图像x
s
，带妆容图像x
s
再次被分离为人脸特征与妆容特征；步骤609：将步骤608获得的人脸特征输入人脸特征编码器，再次生成人脸特征码步骤610：将步骤608获得的妆容特征输入妆容特征编码器，再次生成妆容特征码步骤611：由解码器生成重组后妆容图像x
f
，式中，α∈[0,1]表示权重，权重越大表示妆容的浓度越大，g(
·
)为解码器函数。步骤612：获得素颜图像x；步骤613：获得重组后妆容图像x
f
；步骤614：将素颜图像x以及重组后妆容图像x
f
输入判别器后，由判别器输出判别结论，若素颜图像x与重组后妆容图像x
f
对应同一个用户，则判别器输出为真，将重组后妆容图像x
f
作为gan生成式对抗网络的最终输出，若素颜图像x 与重组后妆容图像x
f
对应不是同一个用户，则判别器输出为假，则返回步骤步骤601，直至判别器输出为真。7.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，步骤6中，vae变分自编码器对重组后妆容图像x
f
进行妆容局部细节优化，具体包括以下步骤：s601：获得获取重组后妆容图像x
f
以及参考带妆图像y，将重组后妆容图像x
f
定义为源图像i
x
，将参考带妆图像y定义为参考图像i
y
；s602：将源图像i
x
和参考图像i
y
分别嵌入两个隐向量l
x
、l
y
，l
x
可分解为人脸特征向量f
x
和妆容特征向量m
x
，l
y
可分解为人脸特征向量f
y
和妆容特征向量m
y
，其中，运用一个转换矩阵w从l
x
、l
y
提取人脸特征向量f
x
、f
y
，运用一个转换矩阵i-w从l
x
、l
y
中提取妆容特征向量m
x
、m
y
，i包括源图像i
x
和参考图像i
y
；
基于parsing mask提取三个化妆品覆盖的关键脸部部位与妆容特征，分别为底妆、眼影和唇彩，在隐空间中进一步将l
x
、l
y
进行分解，其中，唇部特征向量和经过转换矩阵w依次分解为与以及与眼部特征向量和经过转换矩阵w依次分解为与以及与脸部特征向量和经过转换矩阵w依次分解为与以及与然后，和进行加法操作，和进行加法操作，和进行加法操作；s603：将通过步骤s602获得的输出输入进入解码部分，获得最终的输出结果。8.如权利要求1所述的一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，步骤6中，为了保持脸部和妆容的信息，引入循环一致性损失函数，如下所示：l
cyc
＝‖l
y
w-f
x
‖2 ‖l
y
(i-w)-m
y
‖2l
y
为或f
x
为或m
y
为或对vae变分自编码器进行训练时，使循环一致性损失函数收敛。

技术总结
本发明涉及一种自适应特征融合恢复及混合妆容迁移重组方法，本发明主要实现了基于自适应特征融合模块的面部特征恢复技术、根据求解加权最小二乘WLS模型选择引导图像、搭建特征提取网络以及风格迁移网络进行卸妆操作、结合生成式对抗网络及变分自编码器网络各自优势实现基于参考带妆图像的妆容迁移重组。本发明主要解决了由于姿态或光照不同、背景及人物姿势的差异性、输入照片的清晰度、尺寸大小以及自带妆容对妆容迁移重组效果产生的影响。通过结合生成式对抗网络和变分自编码器网络技术进行妆容重组，达到较好的妆容迁移效果。达到较好的妆容迁移效果。达到较好的妆容迁移效果。


技术研发人员：李宇苗 李鹏
受保护的技术使用者：陕西师范大学
技术研发日：2022.02.08
技术公布日：2022/7/29