自适应特征融合恢复及混合妆容迁移重组方法

1.本发明涉及计算机图像处理领域，尤其涉及于一种基于自适应空间特征融合的注意力机制的面部特征融合恢复技术以及结合生成式对抗网络和变分自编码器生成网络技术的妆容重组方法。


背景技术：

2.在计算机图像处理领域，妆容迁移作为风格迁移的分支，利用生成式对抗网络能较好地实现从源图进行妆容特征与人脸特征的分离及在目标图上进行妆容迁移的妆容重组，具有一定程度的鲁棒性，却容易受到参考图像与源图像间存在的背景及人物姿势差异性的影响。为了优化妆容迁移效果，从成对的妆容迁移到引入循环可持续损失函数进行不成对的妆容迁移。
3.在现有技术中，虽有psgan妆容迁移论文中提出的amm模块来解决源和参考图像的姿势和表情存在的差异性对效果带来的影响，但是基于参考图像进行的妆容迁移，妆容特征来自特定图像，选择的参考图像是否恰当对于最终效果还是具有一定影响。况且在如今大数据化时代，数据集中可供当作参考图像的图像种类繁多，如何高效地挑出能达到最优妆容迁移效果的参考图像显得较为重要。
4.除此之外，输入图像的清晰度以及输入图像是否自带妆容对于妆容迁移的效果也有较大影响，对于妆容的效果体现有一定干扰作用。目标图像的尺寸及清晰程度如果与参考图片不一致，也会使得实验效果不尽人意。实验表明，采用生成式对抗网络进行全局的妆容迁移效果较好，但是局部的细节体现不如采用变分自编码器生成网络技术。


技术实现要素：

5.本发明的目的是：提供一种基于自适应空间特征融合的注意力机制的面部特征融合恢复技术以及结合生成式对抗网络和变分自编码器生成网络技术的妆容重组方法。
6.为了达到上述目的，本发明的技术方案提供了一种自适应特征融合恢复及混合妆容迁移重组方法，其特征在于，包括以下步骤：
7.步骤1、获取输入图像，输入图像中包括样本图像集一张低清晰度的原始输入图像id，其中，表示第k张样本图像，k表示样本图像的总数；
8.步骤2、从样本图像集中获得与原始输入图像id相似度最高的图像样本图像作为引导图像；
9.步骤3、将引导图像与原始输入图像id输入多个级联的自适应特征融合模块，由最后一级自适应特征融合模块输出具有较高还原清晰度的图像其中，每一级的自适应特征融合模块基于以下步骤实现：
10.步骤301、得到原始输入图像id的特征fd后进行降维处理；
11.步骤302、得到引导图像的特征f
g,w,a
后进行降维处理；
12.步骤303、通过提取二进制图像的特征得到标记点特征，其中，提取所有输入图像的m个特征点后获得二进制图像；
13.步骤304、对步骤303中所得特征进行降维处理；
14.步骤305、将步骤301、步骤302以及步骤303所得到的维度一致的特征进行连接；
15.步骤306、将通过步骤305获得的经过连接的特征作为带偏置卷积网络层的输入，在带偏置卷积网络层中引入注意力机制，利用引入注意力机制的带偏置卷积网络层融合所输入的特征；
16.步骤307：将通过步骤302获得的引导图像的特征f
g,w,a
作为卷积层的输入；
17.步骤308：将经过步骤307处理后的特征与通过步骤301获得的特征进行减法运算后，送入残差结构进行降维处理；
18.步骤309：将经过步骤308处理的特征与通过步骤306所获得的特征进行乘法运算后，再次送入残差结构进行降维处理；
19.步骤310：将通过步骤301获得的原始输入图像id的特征作为卷积层的输入；
20.步骤311：将经过步骤310处理后的特征与经过步骤309处理后的特征进行加法运算后和通过步骤309得到的结果共同输入包含残差块的重建子网处理得到输出结果；
21.在最后一级自适应特征融合模块中，通过包含残差块的重建子网得到最终的具有较高还原清晰度的图像
22.步骤4、若图像自带妆容，则进入步骤5进行妆容迁移；若图像不带妆容，则进入步骤6；
23.步骤5、将图像输入idnet特征提取网络，将idnet特征提取网络的输出输入stnet风格迁移网络，由stnet风格迁移网络产生卸妆后的输出图像
24.步骤6、利用风格迁移网络处理卸妆后的输出图像或直接处理不带妆容的具有较高还原清晰度的图像将待风格迁移网络处理的图像进一步定义为素颜图像x∈[0,1]h×w×3；将步骤2获得的引导图像或者用户自定义的带妆容图像作为参考带妆图像y∈[0,1]h×w×3；风格迁移网络先采用gan生成式对抗网络对输入的素颜图像x以及参考带妆图像y进行基于dmt的插值妆容迁移，通过控制权重大小α∈[0,1]进行插值妆容迁移，达到调节妆容浓淡程度的目的；再利用vae变分自编码器进行局部优化。
[0025]
优选地，在所述步骤2之后，并在所述步骤3之前还包括：利用mls滑动最小二乘法和adain模块在特征空间中对引导图像进行空间对齐和照明转换。
[0026]
优选地，利用mls滑动最小二乘法及adain模块对引导图像进行处理包括以下步骤：
[0027]
将选定的引导图像的特征和标记点分别表示为fg、lg，原始输入图像id的特征和标记点记作fd、ld，引入位置对角矩阵w
p
，对于w
p
对角线上第m个元素w
p
(m,m)有其中，表示原始输入图像的第m个标记点；根据公式得到位置仿射矩阵m
p
，为ld的齐次表示，然后进行双线性插值后得到引导图像根据输入图像的扭曲特征，记作f
g,w
；
[0028]
通过adain模块将经过mls处理后的扭曲特征f
g,w
转化为原始输入图像id的风格，即光照效果，合成具有原始输入图像id风格的输出图像，从而经过adain模块处理后得到特征f
g,w,a
和原始输入图像id的特征fd在空间和风格上图像对齐。
[0029]
优选地，所述步骤2包括以下步骤：
[0030]
运用人脸特征点检测，对于样本图像集中的每张样本图像以及原始输入图像id，检测出m个特征点；
[0031]
分别计算输入原始输入图像id与样本图像集中各样本图像的对应特征点之间的加权仿射距离之和：设输入原始输入图像id与样本图像的所有m个特征点的加权仿射距离之和为则有式中，wm为原始输入图像id与样本图像中第m个特征点的加权仿射距离，wm为赋予第m个特征点的权重，根据图像间表情姿势差异，给每个特征点赋予不同的权重；
[0032]
列举所有样本图像，在前向传播中得到m个特征点与原始输入图像id对应特征点间具有最小仿射距离和的样本图像
[0033]
引入辅助损失，通过反向传播算法更新特征点权重值，反复迭代后，找出样本图像集中最佳的样本图像作为引导图像。
[0034]
优选地，将图像定义为带妆容的输入图像yr，则所述步骤5包括以下步骤：
[0035]
步骤501、将输入图像yr输入idnet特征提取网络，idnet特征提取网络利用编码瓶颈结构区分输入图像yr中的妆容特征和人脸特征，获得输入图像yr的视觉特征图vr∈rc×h×w；
[0036]
步骤502、视觉特征图vr在idnet特征提取网络内经过1
×
1卷积层后得到人脸特征信息在idnet特征提取网络内不断沿着通道维度扩展重复从而产生特征张量不断沿着通道维度扩展重复从而产生特征张量
[0037]
步骤503、将视觉特征图vr以及特征张量输入stnet风格迁移网络；
[0038]
stnet风格迁移网络运用编码瓶颈结构及解码瓶颈结构，其编码部分结构与idnet特征提取网络类似，但参数不同。stnet风格迁移网络的编码部分采用不带仿射参数的in即instance normalization归一化算法，使得视觉特征图vr正态分布。卸妆后特征图由公式计算得出，其中，和为步骤502中从idnet特征提取网络中提取的特征张量。卸妆后特征图送入stnet风格迁移网络后续解码部分，最终获得卸妆后的输出图像
[0039]
优选地，步骤6中，所述gan生成式对抗网络包括人脸特征编码器、妆容编码器、解码器和判别器，则利用所述gan生成式对抗网络进行插值妆容迁移具体包括以下步骤：
[0040]
步骤601：获取素颜图像x；
[0041]
步骤602：基于素颜图像x获取人脸特征ei，采用人脸特征编码器对人脸特征进行编码；
[0042]
步骤603：经过人脸特征编码器处理得到人脸特征码i
x
；
[0043]
步骤604：获取参考带妆图像y；
[0044]
步骤605：基于参考带妆图像y获取妆容特征em，采用妆容特征编码器对妆容特征em进行编码；
[0045]
步骤606：经过妆容特征编码器处理得到妆容特征码my；
[0046]
步骤607：将妆容特征码my和人脸特征码i
x
输入解码器；
[0047]
步骤608：解码器生成重组后的带妆容图像xs，带妆容图像xs再次被分离为人脸特征与妆容特征；
[0048]
步骤609：将步骤608获得的人脸特征输入人脸特征编码器，再次生成人脸特征码
[0049]
步骤610：将步骤608获得的妆容特征输入妆容特征编码器，再次生成妆容特征码
[0050]
步骤611：由解码器生成重组后妆容图像xf，式中，α∈[0,1]表示权重，权重越大表示妆容的浓度越大，g(
·
)为解码器函数。
[0051]
步骤612：获得素颜图像x；
[0052]
步骤613：获得重组后妆容图像xf；
[0053]
步骤614：将素颜图像x以及重组后妆容图像xf输入判别器后，由判别器输出判别结论，若素颜图像x与重组后妆容图像xf对应同一个用户，则判别器输出为真，将重组后妆容图像xf作为gan生成式对抗网络的最终输出，若素颜图像x与重组后妆容图像xf对应不是同一个用户，则判别器输出为假，则返回步骤步骤601，直至判别器输出为真。
[0054]
优选地，步骤6中，vae变分自编码器对重组后妆容图像xf进行妆容局部细节优化，具体包括以下步骤：
[0055]
s601：获得获取重组后妆容图像xf以及参考带妆图像y，将重组后妆容图像xf定义为源图像ι
x
，将参考带妆图像y定义为参考图像ιy；
[0056]
s602：将源图像ι
x
和参考图像ιy分别嵌入两个隐向量l
x
、ly，l
x
可分解为人脸特征向量f
x
和妆容特征向量m
x
，ly可分解为人脸特征向量fy和妆容特征向量my，其中，运用一个转换矩阵w从l
x
、ly提取人脸特征向量f
x
、fy，运用一个转换矩阵ι-w从l
x
、ly中提取妆容特征向量m
x
、my，ι包括源图像ι
x
和参考图像ιy；
[0057]
基于parsing mask提取三个化妆品覆盖的关键脸部部位与妆容特征，分别为底妆、眼影和唇彩，在隐空间中进一步将l
x
、ly进行分解，其中，唇部特征向量和经过转换矩阵w依次分解为与以及与眼部特征向量和经过转换矩阵w依次分解为与以及与脸部特征向量和经过转换矩阵w依次分解为与以及与
[0058]
然后，和进行加法操作，和进行加法操作，和进行加法操作；
[0059]
s603：将通过步骤s602获得的输出输入进入解码部分，获得最终的输出结果。
[0060]
优选地，步骤6中，为了保持脸部和妆容的信息，引入循环一致性损失函数，如下所示：
[0061]
l
cyc
＝‖lyw-f
x
‖2 ‖ly(i-w)-my‖2[0062]
ly为或f
x
为或my为或对vae变分自编码器进行训练时，使循环一致性损失函数收敛。
[0063]
在本发明所公开的技术方案中：首先输入像素较低图像id，基于系列样本图像选出与输入图像相似度最高的图像作为引导；然后按相似度从高至低排列，提供可自行选择的多张进行混合妆容迁移的图像；对目前涉及到的图像均进行双立方采样至256
×
256尺寸；利用mls和adain在特征空间中对引导图像进行空间对齐和照明转换，为防止对齐出错，因此本发明采用了mls滑动最小二乘法对齐，而adain模块则用输入图像的均值和标准差作为仿射参数，将光照效果当作一种图像风格，其可将引导图像的特征转化为输入图像的风格；接下来采用自适应特征融合模块以及注意力区域逐步融合转化后的引导图像和特征；经过包含残差块的重建子网得到最终输出较为清晰的图像；得到清晰图像后，为了妆容迁移更好的效果，搭建特征提取网络提取特征信息，和输入图片一起作为风格迁移网络的输入，从而输出卸妆后效果图；在编码部分，采用不带仿射参数的正则化算法从而获得正态分布的特征，不断更新视觉特征图，最终产生卸妆后的图像；接下来选择引导照片作为参考照片，进行基于dmt的插值妆容迁移；将生成的图像分解为两部分，人脸特征及妆容风格；然后分别获得对应的人脸特征码，根据此生成器生成妆容特征码，同理从带妆的图像提取妆容特征，获得妆容特征码；将特征码乘以权重，权重越大表示妆容的浓度越大；接着将妆容特征与源图像的人脸特征相结合生成重组后妆容；重组后的妆容再分解，依次生成对应的特征码；最后将重组妆容作为判别器的输入，将图片分类，不断训练；接下来运用变分自编码器生成网络技术原理将图像进行局部优化；将原引导图像当作参考图像，将经过上一步骤生成式对抗网络产生的照片嵌入隐空间，在隐空间利用变分自解码器优化局部妆容细节。
[0064]
通过使用本发明不仅能高效地挑出能达到最优妆容迁移效果的参考图像，一定程度上通过对图像的处理解决了输入图像的清晰度以及是否自带妆容对于核心模块妆容迁移的影响效果，并且由于结合了生成式对抗网络和变分自编码器网络技术进行妆容重组，能够达到较好的妆容迁移效果。
[0065]
本发明与现有技术相比，主要创新点体现在：
[0066]
1)为了防止参考图像与输入图像之间由于姿态或光照不同，考虑到引导照片和输入图像存在的背景及人物姿势仍然存在的一定差异性，在不同情况下作为主要参照，来重建图像的选择不同，采用adain模块以及注意力区域来引导进行渐进的融合，采用了四个自适应特征融合模块，从而较大地提高了图像处理的鲁棒性；
[0067]
2)考虑到输入照片的清晰度、尺寸大小、自带妆容对妆容迁移产生的影响，引入特征提取网络以特征矩阵的方式提取特征信息，并作为风格迁移网络的输入，不断生成更新视觉特征图，最终得到图像卸妆后效果；
[0068]
3)本发明考虑到结合gan和vae的优势，gan进行全局妆容迁移，通过控制参数大小进行插值妆容迁移，vae进行局部优化。同时引入循环一致性损失函数，提高局部妆容迁移
效果。
附图说明
[0069]
图1示出了本发明提供的面部特征融合恢复技术以及引导图像的选择的具体实现流程图；
[0070]
图2示出了图1所示流程图中自适应空间特征融合的具体实现；
[0071]
图3示出了运用编码瓶颈结构搭建idnet特征提取网络以及stnet风格迁移网络实现卸妆功能的具体实现流程图；
[0072]
图4示出了基于生成式对抗网络原理实现插值妆容迁移的生成器具体实现流程；
[0073]
图5示出了基于生成式对抗网络原理实现插值妆容迁移的判别器具体实现流程；
[0074]
图6示出了基于变分自编码器生成网络技术原理实现局部妆容迁移细节优化的具体流程。
具体实施方式
[0075]
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
[0076]
为了防止输入图像的清晰度以及存在的背景或人物姿势及表情差异对妆容迁移效果造成的影响，本发明提供了面部特征融合恢复实现方法以及一种对于能达到相对最优妆容迁移效果的引导图像的具体选择的实现方式，包含以下步骤：
[0077]
参见图1所示，本发明实现基于自适应特征融合模块的面部特征恢复技术以及根据求解加权最小二乘wls模型选择引导图像，从一系列样本图像选出与低清晰度的原始输入图像相似度最高的样本图像作为引导图像，具体流程包括以下步骤：
[0078]
s101：获取输入图像，输入图像中包括样本图像集一张低清晰度的原始输入图像id以及供用户选择的带妆图像，其中，表示第k张样本图像，k表示样本图像的总数，上标e表示为example picture sets，即样本图像集合的简写；上标d表示为degraded picture，即低清晰度的原始输入图像的简写。
[0079]
s102：将步骤s101获得的所有输入图像进行双立方采样至256
×
256尺寸。
[0080]
s103：通过求解加权最小二乘模型从样本图像集选择出表现最优的样本图像作为原始输入图像id的引导图像。
[0081]
由于重建高清晰度的输入图像时，引导图像与输入图像的差异性容易降低输出的真实性，所以本发明基于通过求解加权最小二乘模型得到特征点集合间的加权仿射距离进行相似度测量，将样本图像集中与原始输入图像id具有最高相似度的一张样本图像作为引导图像。
[0082]
步骤s103进一步包括以下步骤：
[0083]
运用人脸特征点检测，对于样本图像集中的每张样本图像以及原始输入图像id，检测出68个特征点；
[0084]
分别计算输入原始输入图像id与样本图像集中各样本图像的对应特征点之间的加权仿射距离之和：设输入原始输入图像id与样本图像的所有68个特征点的加权仿射距离之和为则有式中，wm为原始输入图像id与样本图像中第m个特征点的加权仿射距离，wm为赋予第m个特征点的权重，由于存在图像间表情姿势差异，因此给每个特征点赋予的权重不同；
[0085]
列举所有样本图像，在前向传播中得到68个特征点与原始输入图像id对应特征点间具有最小仿射距离和的样本图像
[0086]
引入辅助损失，通过反向传播算法更新特征点权重值，反复迭代后，找出样本图像集中最佳的样本图像作为引导图像。
[0087]
s104：分别对二进制图像、择优选出的引导图像以及原始输入图像id进行特征提取，其中，提取所有输入图像的68个特征点获得二进制图像。
[0088]
s105：利用mls和adain模块在特征空间中对引导图像进行空间对齐和照明转换，具体包括以下步骤：
[0089]
由于引导图像与原始输入图像id间存在的姿态差异性，利用mls和adain模块在特征空间中对引导图像进行空间对齐和照明转换；为防止对齐出错，本发明采用了mls滑动最小二乘法对齐：将选定的引导图像的特征和标记点分别表示为fg、lg，原始输入图像的特征和标记点记作fd、ld，引入位置对角矩阵w
p
，对于w
p
对角线上第m个元素w
p
(m,m)有其中，表示原始输入图像的第m个标记点；根据公式得到位置仿射矩阵m
p
，其中为ld的齐次表示。然后进行双线性插值得到引导图像根据输入图像的扭曲特征，记作f
g,w
。
[0090]
由于mls的可微性，在训练过程中特征提取子网是可学习的，因此特征提取和mls可共同进行，提高了空间对齐的鲁棒性；
[0091]
接下来引入adain模块：使用原始输入图像id的均值和标准差作为仿射参数，将光照效果当作一种图像风格，通过adain模块将经过mls处理后的扭曲特征f
g,w
转化为原始输入图像id的风格，即光照效果，合成具有原始输入图像id风格的输出图像，从而经过adain模块处理后得到特征f
g,w,a
和原始输入图像id的特征fd在空间和风格上图像对齐。其中，上标a为adain简写，w为warped feature，即扭曲特征的简写，g为guidance feature，即引导图像特征的简写。
[0092]
接下来，本发明通过合并多个自适应特征融合模块(下文简称为asff模块)，结合输入的信息与引导图像的转化输出具有较高还原清晰度的图片当进行特征融合时，如果直接将原始输入图像id和引导图像进行连接作为重建子网，对输入会受限于图像间探索出的互补性，因此本发明选择采用asff块逐步融合转化后的引导图像和特征。同时，考虑到引导图像和原始输入图像id存在的背景及人物姿势的差异性，在不同情况下作为主要参照来重建图像的选择不同，因此本发明引出注意力区域来引导具体特征融合。
[0093]
s106：采用四个asff模块经过包含残差块的重建子网得到最终输出的具有较高还原清晰度的图像具体包括以下步骤：
[0094]
为了提高鲁棒性，本发明进行渐进的融合，采用了四个相同的asff模块后得到特征fc，其中，每一个asff模块的具体实现，参见图2所示，具体步骤包括：
[0095]
s201：得到原始输入图像id的特征fd后经过1
×
1卷积核降维；
[0096]
s202：得到经过步骤s105处理的引导图像的特征f
g,w,a
后经过1
×
1卷积核降维；
[0097]
s203：通过提取二进制图像的特征得到标记点特征；
[0098]
s204：对步骤s203中所得特征进行1
×
1卷积核降维；
[0099]
s205：将步骤s201、步骤s202以及步骤s204所得到的的特征进行连接；
[0100]
s206：将通过步骤s205获得的经过连接的特征作为带偏置卷积网络层的输入；
[0101]
s207：在步骤s206基础上引入注意力机制，利用引入注意力机制的带偏置卷积网络层将经过1
×
1卷积降维后的f
g,w,a
、fd和标记点特征三者融合：
[0102]
由于引导图像的特征f
g,w,a
和原始输入图像id的特征fd空间移变，传递互补信息，因此将两者相结合重建图像清晰效果更好；同时，因为存在背景及人物表情动作差异，需要基于原始输入图像id的特征fd进行重建，保留原始输入图像id的部分特征，因此本发明在带偏置卷积网络层中引入注意力机制，将经过1
×
1卷积降维后的f
g,w,a
、fd和标记点特征三者融合；
[0103]
s208：将通过步骤s202获得的引导图像的特征f
g,w,a
作为卷积层的输入；
[0104]
s209：将经过步骤s208处理后的特征与通过步骤s201获得的经过卷积层处理后的特征进行减法运算后，送入残差结构进行降维处理；
[0105]
s210：将经过步骤s209处理的特征与经过步骤s207处理的特征进行乘法运算后，再次送入残差结构进行降维处理；
[0106]
s211：将通过步骤s201获得的原始输入图像id的特征作为卷积层的输入；
[0107]
s212：将经过步骤s211处理后的特征与经过步骤s210处理后的特征进行加法运算后和通过步骤s210得到的结果共同输入包含残差块的重建子网处理得到输出结果。
[0108]
在第四个asff模块中，将特征fc输入包含残差块的重建子网后，得到最终的具有较高还原清晰度的图像
[0109]
图像是否自带妆容对于妆容迁移的效果也有较大影响，对于妆容的效果体现有一定干扰作用。因此，得到具有较高还原清晰度的图像后需要判断是否自带妆容。若自带妆容，则需要进行卸妆处理后再进行妆容迁移；若不带妆容，则用户手动选择直接进行妆容迁移。
[0110]
为了妆容迁移更好的效果，对于自带妆容的图像，需要先进行卸妆处理。卸妆处理的具体流程如图3所示，搭建特征提取网络提取特征信息，和图像一起作为风格迁移网络的输入从而输出卸妆后效果图。具体实现卸妆操作的步骤包括：
[0111]
s301：获得具有较高还原清晰度的图像将图像定义为带妆容的输入图像yr；
[0112]
s302：将输入图像yr输入idnet特征提取网络，在idnet特征提取网络中经过编码三重瓶颈结构处理后输出人脸特征信息上标c、h、w分别表示图像通道数、图像高度、图像宽度；
[0113]
s303：将idnet特征提取网络的输出人脸特征信息s303：将idnet特征提取网络的输出人脸特征信息作为stnet风格迁移网络解码部分的输入；
[0114]
步骤s301至步骤303具体包括以下步骤：
[0115]
idnet特征提取网络利用编码瓶颈结构区分妆容特征和人脸特征，经编码瓶颈结构后获得输入图像yr的视觉特征图vr∈rc×h×w；
[0116]
将视觉特征图vr输入stnet风格迁移网络；同时，视觉特征图vr在idnet特征提取网络内经过1
×
1卷积层后得到人脸特征信息1卷积层后得到人脸特征信息在idnet特征提取网络内不断沿着通道维度扩展重复从而产生特征张量将特征张量将特征张量输入stnet风格迁移网络；
[0117]
stnet风格迁移网络运用编码瓶颈结构及解码瓶颈结构，其编码部分结构与idnet特征提取网络类似，但参数不同。在stnet编码部分中采用不带仿射参数的in即instance normalization归一化算法，使得视觉特征图vr正态分布。卸妆后特征图由公式计算得出，其中，和为步骤502中从idnet特征提取网络中提取的特征张量。卸妆后特征图送入stnet风格迁移网络后续解码部分，最终获得卸妆后的输出图像
[0118]
s304：由stnet风格迁移网络产生卸妆后的输出图像利用风格迁移网络处理卸妆后的输出图像或直接处理不带妆容的具有较高还原清晰度的图像将待风格迁移网络处理的图像进一步定义为素颜图像x∈[0,1]h×w×3。
[0119]
本发明提供的风格迁移网络结合gan生成式对抗网络和vae变分自编码器的优势，由gan生成式对抗网络进行全局妆容迁移，通过控制参数大小进行插值妆容迁移，再利用vae变分自编码器进行局部优化。
[0120]
利用gan生成式对抗网络实现从源图进行妆容特征与人脸特征的分离及在目标图上进行全局性妆容迁移的妆容重组，并实现基于权重调节的妆容浓淡程度控制。gan生成式对抗网络的结构由四个部分组成，分别是人脸特征编码器、妆容编码器、解码器和判别器。
[0121]
本发明选择步骤s103获得的引导图像或者用户自定义的带妆容图像作为参考带妆图像y∈[0,1]h×w×3，由gan生成式对抗网络进行基于dmt的插值妆容迁移，具体流程如图4所示，步骤包括：
[0122]
s401：获取素颜图像x；
[0123]
s402：基于素颜图像x获取人脸特征ei，采用人脸特征编码器对人脸特征进行编码；
[0124]
s403：经过人脸特征编码器处理得到人脸特征码i
x
；
[0125]
s404：获取参考带妆图像y；
[0126]
s405：基于参考带妆图像y获取妆容特征em，采用妆容特征编码器对妆容特征em进行编码；
[0127]
s406：经过妆容特征编码器处理得到妆容特征码my；
[0128]
s407：将妆容特征码my和人脸特征码i
x
输入解码器；
[0129]
s408：解码器生成重组后的带妆容图像xs，带妆容图像xs再次被分离为人脸特征与
[0145]
ly为或f
x
为或my为或对vae变分自编码器进行训练直至循环一致性损失函数收敛。
[0146]
s603：将通过步骤s602获得的输出输入进入解码部分，获得最终的输出结果。
[0147]
以上为本发明的具体实施方式，综上所述，本发明主要提出了一种基于自适应空间特征融合的注意力机制的面部特征融合恢复技术以及结合生成式对抗网络和变分自编码器生成网络技术的妆容重组模型训练方式。其中，本发明主要实现了基于自适应特征融合模块的面部特征恢复技术、根据求解加权最小二乘wls模型选择引导图像、搭建特征提取网络以及风格迁移网络进行卸妆操作、结合生成式对抗网络及变分自编码器网络各自优势实现基于引导图像的妆容迁移重组。
[0148]
本发明主要解决了由于姿态或光照不同、背景及人物姿势的差异性、输入照片的清晰度、尺寸大小以及自带妆容对妆容迁移重组效果产生的影响；通过结合生成式对抗网络和变分自编码器网络技术进行妆容重组，达到较好妆容迁移效果。