一种基于属性修改的对抗人脸图像生成方法

本发明涉图像处理，尤其涉及一种基于属性修改的对抗人脸图像生成方法。

背景技术：

1、随着深度神经网络的迅速发展，其在现实人工智能的各个领域，尤其是在计算机视觉领域引发了一场研究热潮。目前的人脸识别(face recognition，fr)相关应用已经非常常见，图1为现有技术中的一种人脸识别模型的应用场景示意图，如图1所示，在现实生活中很多都需要身份验证，例如人脸解锁和支付，这些都依赖于人脸识别。然而，过于强大的人脸识别也对个人隐私构成了极大的威胁。例如，人脸识别模型能识别出很多社交媒体上的私人面部信息，然后通过获取的信息进行分析进而可以跟踪用户关系。这种信息泄露对个人来说很严重，因此迫切需要提出一种方法来帮助个人保护他们的面部图像，可以干扰未经授权的fr系统的识别。

2、随着ai技术的快速发展，生成对抗人脸的技术变得更加简单，如图2展示了使用不同生成技术生成的两种类型的对抗人脸，分别是基于梯度生成的对抗人脸以及基于属性生成的对抗人脸。可以看出，与基于梯度生成对抗人脸的技术不同，基于属性的对抗生成方法可以更加容易地制造更加逼真且隐蔽的对抗人脸图像，因此，使用基于属性的方法来生成对抗人脸保护用户的私人照片。

3、对抗人脸生成技术的研究问题在于如何生成具有攻击能力的图像，使得fr人脸识别模型将其判断错误，同时保证一定的隐蔽性。人脸识别任务的一种常见攻击是结合生成对抗网络(generative adversarial network，gan)的结构，然后基于噪声的方法生成对抗人脸。这些攻击方法在单个像素上增加了p范数扰动，降低了攻击的可转移性，并且对去噪模型比较脆弱。有学者分别以打印的对抗性帽子和打印的眼镜作为物理可实现的形式来攻击现实世界的人脸识别模型，在数字图像上进行一些加噪也可以对现实世界进行一定的攻击。这种攻击方式可以对现实生活造成直接的威胁，攻击者带个眼睛或者帽子就可以误导相应的fr人脸识别模型使其判断错误，但是这种修改本质也是在像素层面上的修改，而且生成的对抗人脸图像和原始图像相比有很大区域的不同，几乎不具备隐藏性这一特点，只是探讨研究了对抗样本在物理现实世界一样可行。有学者首先使用基于gan的框架合成面部显著区域的面部扰动。有学者也利用gan制作假人脸图像。有学者设计了一种妆容生成框架来合成对抗性眼影妆容进行可转移攻击，有学者设计了一种妆容生成框架来合成对抗性全脸妆容进行可转移攻击。最近，有学者探索了一种新的攻击形式——基于属性的对抗性攻击。通过插值，可以将对抗线索编码为单个面部属性。但是其样例插值不探索属性的使用，并且可能产生有限的图像质量。有学者通过扰动高级语义来生成攻击，而不是对低级像素进行扰动，以提高攻击的可转移性，该框架根据人脸识别特征与目标的差异，制作对抗噪声并将其添加到不同的属性中。引入了重要感知属性选择和多目标优化策略，进一步保证了隐身性和攻击强度的平衡。然而，在黑盒情况下，目前的这些方法攻击效果不佳，且隐蔽性也有好有坏，在攻击fr模型的时候达不到很好的效果。

4、上述现有技术中的生成对抗人脸攻击fr模型方法的缺点包括：

5、1)对目标模型的可访问性。现有的大多数方案属于白盒攻击，即攻击者对要攻击的目标模型有非常具体的了解，这种情况不太符合实际的攻击。或者基于查询的黑盒攻击，即攻击者可以任意查询目标模型。由于用户不知道第三方跟踪器运行的是哪种dnn，因此在保护用户隐私方面是不可行的。

6、2)视觉质量差。如上述所述的基于噪声的攻击可得，现有针对fr系统的对抗性攻击无法在黑盒设置下保持图像质量。基于补丁的对抗性攻击通常会对源图像造成相当奇怪和明显的变化。

7、3)可转移性弱。上述还表明，目前的技术水平对黑盒识别模型的攻击成功率相对较低，主要就是生成的对抗人脸在迁移性这方面还有待提升，在对未见过的目标模型进行攻击时攻击能力下降很多。

8、综上所述，在黑盒环境下，如何平衡敌对人脸图像的视觉质量和攻击能力仍然是一个挑战。

技术实现思路

1、本发明的实施例提供了一种基于属性修改的对抗人脸图像生成方法，以实现有效地提高人脸识别模型的鉴别真伪的能力。

2、为了实现上述目的，本发明采取了如下技术方案。

3、一种基于属性修改的对抗人脸图像生成方法，包括：

4、通过生成器从目标图像中提取目标人脸的特征值，将特征值进行模糊操作后换入到源图像中，得到换脸后的对抗人脸图像；

5、通过对抗妆容迁移生成网络结构对所述对抗人脸图像进行妆容转移处理，得到所述目标图像的最终对抗人脸图像。

6、优选地，所述的通过生成器从目标图像中提取目标人脸的特征值，将特征值进行模糊操作后换入到源图像中，得到换脸后的对抗人脸图像，包括：

7、设置生成器包括编码器、id注入模块、解码器和眼部信息提取模块，编码器从目标图像xt中提取目标人脸的部分特征值，id注入模块将xt身份信息传输到编码器提取出来的特征中，解码器将修改后的特征恢复到目标图像xt中，得到身份转移后目标图像，眼部信息提取模块提取身份转移后目标图像的眼部mask区域，进行模糊操作后换入到xs源图像中，得到换脸后的对抗人脸图像xr；

8、对编码器、id注入模块和解码器进行训练，训练的损失函数包括身份损失和重构损失，设编码器输出的图像为xg，定义的眼部掩码为m，xs为源图像，则生成的换脸后的对抗人脸图像为：

9、xr＝xg∩m+xs∩(255_m)  (1)

10、xr和xt之间的身份损失定义如下：

11、lid＝1-cos[f(xt)，f(xr)]  (2)

12、xr和xt之间的重构损失定义如下：

13、lrec＝||xr-xs||1  (3)

14、使用鉴别器提取xr与xs之间的匹配损失函数如下：

15、

16、其中d(i)表示鉴别器d的i层特征提取器，ni表示i层的元素个数，m为总层数；

17、所以对抗人脸图像xr的总损失为：

18、ltotal＝λidlid+λreclrec+λofmlofm  (5)

19、其中的三个系数为权重占比的超参数；

20、根据所述对抗人脸图像xr的总损失ltotal调整编码器、id注入模块和解码器的参数，当所述对抗人脸图像xr的总损失ltotal小于设定的判定阈值，当生成的xr图像和xt被识别为同一个人，且xr在视觉上保持和xs相似的时候，训练结束，保留当前的编码器、id注入模块和解码器的参数，得到训练好的编码器、id注入模块和解码器。

21、优选地，所述的通过对抗妆容迁移生成网络结构对所述对抗人脸图像进行妆容转移处理，得到所述目标图像的最终对抗人脸图像，包括：

22、通过去妆容对抗模块h将xr和参考妆容y的妆容进行提取和互换，得到所述目标图像的最终对抗人脸图像g(xr，y)；g是妆容迁移psgan模型的生成器部分，实现输入两个人脸的妆容交换；d是gan结构的鉴别器部分；

23、对上述生成器g、去妆容对抗h以及鉴别器d进行训练，训练的损失函数包括生成器损失函数、鉴别器损失函数、对抗损失函数和对抗性集成损失函数，先训练g和d，根据损失函数达到平衡后将鉴别器d参数保存，不参与后续训练，再训练g和h继续优化参数，当生成的g(xr，y)能够被识别为目标图像，且同时保证与xs源图像在视觉上保持一致的时候，训练结束，得到训练好的生成器g、去妆容对抗h以及鉴别器d。

24、由上述本发明的实施例提供的技术方案可以看出，本发明方法生成的对抗图像能够在确保攻击能力的情况下，生成比较多视觉上难以察觉的攻击。同时，大量的定量实验表明，在黑盒设置下，本发明可以显著降低未经授权的人脸识别网络的识别准确率，进而保护个人隐私。

25、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。