一种妆容迁移方法以及系统与流程

1.本发明涉及一种妆容迁移的方法，具体涉及一种保留肤色细节的妆容迁移方法。


背景技术：

2.如今人们的娱乐生活越来越丰富多彩，短视频娱乐迅猛发展，拍摄者对于自己在短视频上所展现的面容相貌有各种各样的需求，但化妆技术要求高难以学习，并且化妆耗费时间多，所以目前可以选择模特搭配好并上妆的妆容，将其迁移到目标人脸上去，此方法提供了多种妆容供用户选择，满足了用户对于不同妆容的需求。
3.但是，上述方法只能通过仿射变化将存有模特妆容的迁移图像映射到目标人脸的面部轮廓上，而缺少对脸部细微部位的迁移调节，会显得妆容不够贴合。在上述迁移妆容的过程中，会直接将模特自带的肤色同时迁移，如果迁移图像的肤色与目标人脸的肤色亮度不一致，那么目标人脸上的肤色明暗细节就会丢失，最终导致妆容合成后目标人脸无法很好的融合迁移妆容，使融合后的图像失真。所以，如何保留迁移图像中的肤色细节，自然协调地融合迁移图像和目标人脸成为一个难题。


技术实现要素：

4.为解决妆容迁移时的肤色失真的问题，本发明提供一种能够在迁移妆容时保持肤色明暗和亮度细节的方法。
5.一种妆容迁移方法，包括以下步骤：
6.读取原始图片和妆容图片，提取人脸特征点，根据所述人脸特征点分割所述原始图片，获得原始分片，根据所述人脸特征点分割所述妆容图片，将所述原始分片与分割后的所述妆容图片进行仿射匹配对应，获得与所述原始分片对应的妆容分片；
7.原始图片指将要被覆盖上妆容的人脸，妆容图片指具有模板妆容图片的人脸。
8.根据所述妆容分片在脸部的不同区域设置每一妆容分片的权重值；
9.将所述原始分片和所述妆容分片的颜色转换为lab色彩模式；
10.根据lab色彩模式提取所述原始分片和所述妆容分片的lab值，根据所述lab值计算肤色迁移量；
11.根据所述妆容分片的权重值将所述妆容分片迁移至所述原始分片中，形成目标分片，再根据所述肤色迁移量调整每一目标分片的lab值，合成所述目标分片，获得目标图片。
12.进一步地，所述计算肤色迁移量具体包括：
13.根据所述原始分片的lab值中的亮度值和所述妆容分片的lab值中的亮度值求得亮度变换因子和亮度偏置系数；
14.分别计算所述原始分片和所述妆容分片的lab平均值和lab方差值，根据所述亮度变换因子、亮度偏置系数、原始分片的lab平均值和lab方差值以及妆容分片lab平均值和lab方差值计算肤色迁移量。
15.进一步地，将所述原始分片和所述妆容分片的颜色转换为lab色彩模式后还包括
以下步骤：对所述lab色彩的值域进行映射，使l值、a值和b值的值域达到一致。
16.进一步地，每一所述妆容分片的权重值与相邻的妆容分片的权重值平滑处理。
17.进一步地，将所述妆容分片迁移至所述原始分片中的步骤后，还包括利用泊松融合技术将妆容分片和原始分片的融合边缘处进行融合。
18.进一步地，分割所述原始图片和所述妆容图片前还包括剔除眼睛区域与牙齿区域。
19.进一步地，提取人脸特征点具体包括：提取81个人脸特征点。
20.一种妆容迁移系统，包括：
21.读取单元，读取原始图片和妆容图片，提取人脸特征点；
22.分割单元，根据所述人脸特征点分割所述原始图片，获得原始分片，根据所述人脸特征点分割所述妆容图片，将所述原始分片与分割后的所述妆容图片进行仿射匹配对应，获得与所述原始分片对应的妆容分片；
23.权重值设置单元，根据所述妆容分片在脸部的不同区域设置每一妆容分片的权重值；
24.色彩转换单元，将所述原始分片和所述妆容分片的颜色转换为lab色彩；
25.提取单元，根据所述lab色彩提取所述原始分片和所述妆容分片的lab值；
26.计算单元，根据所述lab值计算肤色迁移量；
27.合成单元，根据所述妆容分片的权重值将所述妆容分片迁移至所述原始分片中，形成目标分片，再根据所述肤色迁移量调整每一目标分片的lab值，合成所述目标分片，获得目标图片。
28.进一步地，所述计算单元包括：
29.参数计算单元，根据所述原始分片的lab值中的亮度值和所述妆容分片的lab值中的亮度值求得亮度变换因子和亮度偏置系数；
30.平均和方差计算单元，分别计算所述原始分片和所述妆容分片的lab平均值和lab方差值；
31.肤色迁移量计算单元，根据所述亮度变换因子、亮度偏置系数、原始分片的lab平均值和lab方差值以及妆容分片lab平均值和lab方差值计算肤色迁移量。
32.本发明的有益效果为：
33.本发明利用脸部特征点进行分片迁移，并将不同区域的分片设置不同的权重值，使某些重要区域的分片能够达到较大程度的迁移。本发明使用了lab空间色彩将各个分片的迁移亮度和迁移色彩进行了计算，使被迁移的妆容图片中的肤色能够更加贴合人脸，避免迁移后失去人脸上原有的明暗细节，利用lab中的亮度值和色彩值使妆容和人脸合成后肤色和亮度等细节与人脸本身保持一致，提高了目标图片的自然协调感。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为妆容迁移方法的流程示意图。
具体实施方式
36.为使得本技术的申请目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本技术一部分实施例，而非全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
37.下面结合附图和具体实施例，进一步阐明本发明。
38.实施例1
39.一种妆容迁移方法，如图1所示，包括以下步骤：
40.s1，读取原始图片和妆容图片，提取81个人脸特征点，根据人脸特征点分割所述原始图片，获得原始分片，根据人脸特征点分割妆容图片，将原始分片与分割后的妆容图片进行仿射匹配对应，获得与原始分片对应的妆容分片。
41.原始图片指将要被覆盖上妆容的人脸，妆容图片指具有模板妆容图片的人脸。
42.本实施例中根据通过dlib提取的原始图片中的人脸的特征点进行分割，一般为81个人脸特征点。在分割原始图片前还应该剔除眼睛区域和牙齿区域，避免眼睛区域的黑白色与牙齿区域的白色影响整体皮肤的肤色计算。妆容分片与原始分片的分片区域一一对应。
43.81个人脸特征点会包含整张人脸的边缘点位，眼睛的边缘点位，鼻子的中轴线点位，嘴唇外部边缘点位和嘴唇内部边缘点位，可以确定人脸以及五官的具体坐标位置。
44.s2，根据妆容分片在脸部的不同区域设置每一妆容分片的权重值。
45.权重值会影响迁移程度，设置权重值是为了使各个分片之间有重点的迁移。并且，每一妆容分片的权重值与相邻的妆容分片的权重值平滑处理。
46.例如迁移腮红这一妆容特点的分片，中心的分片的权重值最高，从权重值最高的中心分片作为圆心散发出去的其他分片，越远离中心分片的分片权重值越低，从最中心的分片到最外部的分片的权重值平滑过渡，使妆容迁移有重点的同时也更贴合原始图片的肤色。
47.s3，将原始分片和妆容分片的颜色转换为lab色彩模式。各个分片的原始色彩模式为rgb模式，将它们的色彩模式改为lab正交化颜色空间，能表示的颜色多于rgb色彩模式能表达的颜色。
48.lab色彩模式中l表示连读值，a表示由绿色到红色的光谱变化，b表示由蓝色到黄色的光谱变化。l的值域为(0，100)，a和b的值域为(-128,127)由于l和a，b的值域不一致，会使后续的计算变得麻烦，所以，本实施例中，会先将l，a，b的值域进行映射，使l值、a值和b值的值域达到一致。
49.具体映射方法为，使l＝l*2.55，a＝a 128，b＝b 128，最终l，a，b的值域为((0，255)，(0，255)，(0，255))。
50.s4，根据lab色彩模式提取所述原始分片和所述妆容分片的lab值，根据所述lab值计算肤色迁移量。
51.s5，根据妆容分片的权重值将所述妆容分片迁移至所述原始分片中，形成目标分片，再根据所述肤色迁移量调整每一目标分片的lab值。
52.s6，合成所述目标分片，获得目标图片。
53.步骤s4中，具体包括：
54.s41，根据原始分片的lab值中的亮度值和妆容分片的lab值中的亮度值求得亮度变换因子和亮度偏置系数。
55.将原始分片和妆容分片表示为source图像和target图像，source图像和target图像的亮度迁移公式为：dst＝src*α β。
56.其中，src和dst分别代表source图像和target图像的图像矩阵，
57.src＝l
src
(i)，i＝1,2,3
……
n，n为分片数量；
58.dst＝l
dst
(i)，i＝1,2,3
……
n，n为分片数量；
59.l
src
(i)和l
dst
(i)分别表示每一source图像的亮度值和每一target图像的亮度值。
60.α＝α(i)，i＝1,2,3
……
n，n为分片数量；β＝β(i)，i＝1,2,3
……
n，n为分片数量。α(i)和β(i)分别是每一分片的亮度变换因子和亮度偏置系数。通过求解矩阵方程，利用夹逼原理求得α(i)和β(i)。
61.计算亮度变换因子和亮度偏置系数可以尽可能的保留原始图片的光影亮度和皮肤明暗细节。没有采用直接的亮度转换方式，在遇到原始图片中的部分区域有高光或者有阴影是，不会直接将高光和阴影全部中和，导致亮度细节丢失。
62.s42，分别计算原始分片和妆容分片的l，a，b的平均值和l，a，b的方差值。
63.mean
src
(i)，std
src
(i)分别表示每一source图像在l，a，b通道的平均值和标准方差值；
64.mean
dst
(i)，std
dst
(i)分别表示每一target图像在l，a，b通道的平均值和标准方差值。
65.用同一字母式表达l，a，b三种通道的计算值，是为了在计算机程序中方便调用，在计算同一通道值时，那个字母式就是表示正在计算的通道值。
66.s43，根据亮度变换因子、亮度偏置系数、原始分片的lab平均值和lab方差值以及妆容分片lab平均值和lab方差值计算肤色迁移量。
67.src(i)表示第(i)片source图像的l，a，b三种通道的通道值，img(i)为第(i)片目标图像分片的l，a，b三种通道的通道值，合起来的lab值称为肤色迁移量。
[0068][0069]
根据肤色迁移量调整每一目标分片的色彩细节，使其保用原始图片的肤色亮度细节。
[0070]
步骤s5中，具体包括：
[0071]
s51，根据权重值调整迁移程度，将每一妆容分片迁移到对应的原始分片上，形成目标分片。
[0072]
迁移函数如下：log(img)＝(1-θ)
·
log(source) 0
·
log(target)
[0073]
θ表示迁移程度，可以自定义，取值为(0，1)，权重值越大迁移程度越大。
[0074]
img，source和target分别表示目标图像的像素度，source图像的像素度和target
图像的像素度。
[0075]
s52，根据步骤s43中计算出的肤色迁移量调整每一目标分片的lab值，根据肤色迁移量调整每一目标分片的色彩细节，使其保用原始图片的肤色亮度细节。
[0076]
在其他实施例中，在步骤s51迁移结束后，如果妆容图片与原始图片的边缘位置过渡僵硬，则采用泊松融合技术将妆容分片和原始分片的融合边缘处进行融合，让人脸边缘处的过渡更加平缓自然。此时如有必要也可以调节图片整体的亮度。
[0077]
实施例2
[0078]
一种妆容迁移系统，用于实现实施例1中描述的方法，包括以下：
[0079]
读取单元，读取原始图片和妆容图片，提取人脸特征点。
[0080]
分割单元，根据人脸特征点分割所述原始图片，获得原始分片，根据人脸特征点分割妆容图片，将原始分片与分割后的妆容图片进行仿射匹配对应，获得与原始分片对应的妆容分片。实现实施例1中的步骤s1，根据人脸特征点分割原始图片，获得原始分片，根据人脸特征点分割所述妆容图片，将原始分片与分割后的妆容图片进行仿射匹配对应，获得与原始分片对应的妆容分片。
[0081]
权重值设置单元，实现实施例1中的步骤s2，根据妆容分片在脸部的不同区域设置每一妆容分片的权重值。利用不同的权重值，使各个分片有迁移程度的不同，能使妆容更好地适应人脸。
[0082]
色彩转换单元，将所述原始分片和所述妆容分片的颜色转换为lab色彩。实现实施例1中的步骤s3。
[0083]
提取单元，根据lab色彩提取原始分片和妆容分片的lab值。
[0084]
计算单元，根据lab值计算肤色迁移量。实现实施例1中的步骤s4。
[0085]
合成单元，根据妆容分片的权重值将所述妆容分片迁移至原始分片中，形成目标分片，再根据肤色迁移量调整每一目标分片的lab值，合成目标分片，获得目标图片。实现实施例1中的步骤s5。
[0086]
其中，计算单元还包括：
[0087]
参数计算单元，根据所述原始分片的lab值中的亮度值和所述妆容分片的lab值中的亮度值求得亮度变换因子和亮度偏置系数。具体计算过程如下：
[0088]
将原始分片和妆容分片表示为source图像和target图像，source图像和target图像的亮度迁移公式为：dst＝src*α β。
[0089]
其中，src和dst分别代表source图像和target图像的图像矩阵，
[0090]
src＝l
src
(i)，i＝1,2,3
……
n，n为分片数量；
[0091]
dst＝l
dst
(i)，i＝1,2,3
……
n，n为分片数量；
[0092]
l
src
(i)和l
dst
(i)分别表示每一source图像的亮度值和每一target图像的亮度值。
[0093]
α＝α(i)，i＝1,2,3
……
n，n为分片数量；β＝β(i)，i＝1,2,3
……
n，n为分片数量。α(i)和β(i)分别是每一分片的亮度变换因子和亮度偏置系数。通过求解矩阵方程，利用夹逼原理求得α(i)和β(i)。
[0094]
计算亮度变换因子和亮度偏置系数可以尽可能的保留原始图片的光影亮度和皮肤明暗细节。
[0095]
平均和方差计算单元，分别计算原始分片和妆容分片的l、a、b三个平均值mean
src
(i)、mean
dst
(i)和lab方差值std
src
(i)、std
dst
(i)。
[0096]
肤色迁移量计算单元，根据所述亮度变换因子、亮度偏置系数、原始分片的lab平均值和lab方差值以及妆容分片lab平均值和lab方差值计算肤色迁移量。具体计算过程如下：
[0097]
src(i)表示第(i)片source图像的l，a，b三种通道的通道值，img(i)为第(i)片目标分片的l，a，b三种通道的通道值，合起来的lab值称为肤色迁移量。
[0098][0099]
根据肤色迁移量调整每一目标分片的色彩细节，使其保用原始图片的肤色亮度细节。
[0100]
实施例3
[0101]
本实施例提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现实施例1中的妆容迁移方法。
[0102]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
[0103]
所述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0104]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0105]
定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。