一种基于多对抗块的人脸对抗样本生成系统及训练方法与流程

本发明属于人工智能安全，涉及人类识别技术，尤其涉及一种基于多对抗块的人脸对抗样本生成系统及方法。

背景技术：

1、当前，人脸识别技术在广泛的应用场景中发挥着重要作用，如安全门禁、支付验证、社交媒体标签等。然而，尽管其广泛应用，研究表明人脸识别模型容易受到对抗样本的攻击。对抗样本是一种精心设计的输入数据，其目的是误导机器学习模型产生错误的输出。在人脸识别领域，这些对抗样本可以通过在目标对象的脸部添加对抗块来创建。这些块可能包括噪声、纹理扰动或其他视觉干扰，其目的是扰乱人脸识别模型的特征提取过程，导致错误的识别结果。因此，研究如何生成高质量的对抗样本对防御及抗攻击尤为重要。尽管对抗样本的威胁不可忽视，但目前的研究表明，人脸对抗样本攻击仍存在一定的局限性。首先，人脸对抗样本与原图像风格差异巨大，现实意义不强。

2、专利cn202111368399.5公开了一种人脸对抗样本生成模型的构建方法、装置及设备，基于生成对抗网络，通过获取人脸图像样本并输入生成器，可以得到生成器输出的人脸掩码；将人脸掩码和原始人脸图像之和作为人脸对抗样本输入判别器可以得到判别结果；然后将人脸对抗样本输入目标攻击模型得到输出结果，如此即完成一次训练；之后根据训练结果更新生成器和判别器的参数，并重复进行预设次数的训练最终即可得到参数最优的生成器和判别器，也即得到所需的人脸对抗样本生成模型。并进一步可以通过人脸对抗样本生成模型自动生成人脸对抗样本，其相对于传统的人脸对抗样本生成方法，生成速度显著提升，且生成的人脸对抗样本的质量更好。然而，该方法在训练过程中没有考虑风格损失和人脸自然度者两个因素，从而导致生成的人脸掩码与原图像中的人脸存在明显差异，有严重的边界撕裂感。在人眼看来辨识度很高，现实的应用价值低，并且生成的人脸对抗样本鲁棒性弱。

技术实现思路

1、针对人脸对抗样本与原图像风格差异巨大以及可迁移性差、黑盒攻击成功率低等问题，本发明目的旨在提供一种基于多对抗块的人脸对抗样本生成系统及方法，基于人脸关键特征点提取网络以及gans网络，设计并训练了一种能够获得自然人脸风格的多对抗块人脸对抗样本的生成网络，所生成的人脸对抗样本无论是在人脸自然度还是在黑盒攻击成功率上都比传统的数种对抗攻击方法有显著的提升。

2、为了达到上述目的，本发明提供了一种基于多对抗块的人脸对抗样本生成系统，其包括：

3、人脸关键特征点提取模块，用于对源图像的人脸关键特征点进行提取，得到人脸关键特征点坐标网格，确定出相应的目标攻击区域，并利用人脸的眼部及三角区的指定区域周围的特征点坐标生成相应的0-1二进制掩膜；

4、生成器，用于依据目标攻击区域生成相应的生成图像；

5、融合模块，首先基于生成图像和二进制掩膜相乘生成多对抗块，然后结合源图像融合得到最终的人脸对抗样本。

6、上述人脸关键特征点提取模块包括顺次设置的blazeface短程模型和面部网格模型。blazeface短程模型是在mobilenet人脸识别网络的基础上设计并训练的一种针对移动gpu推理优化的轻量级且准确的人脸检测器。面部网格模型是在ssd检测模型的基础上增加了高分辨率网络，提升了检测性能，能够添加面部的完整映射。该人脸关键特征点提取模块将blazeface短程模型和面部网格模型相结合，输出478个3维人脸特征点的估计值，进一步的，对实际人脸进行特征点提取。人脸的眼部和三角区域在表情变化下受到的影响较小，同时也是人脸识别任务中难以准确识别的区域。依据上述人脸关键特征点提取模块提取得到人脸关键特征点坐标网格，得到目标攻击区域；并利用人脸的眼部及三角区的指定区域周围的特征点坐标生成相应的0-1二进制掩膜p。

7、上述生成器采用编码器-解码器结构，由一层以上的卷积层和对称设置的一层以上的反卷积层构成。

8、上述融合模块通过以下公式得到最终的人脸对抗样本：

9、

10、式中，为人脸对抗样本，表示向量对应位置上的元素相乘，p为与源图像的目标区域og大小尺寸相同的二进制掩码，表示生成器生成的生成图像，g(﹒)表示生成器输出结果，表示多对抗块。因此，本发明中仅将得到的对抗块替换源图像中的相应区域，从而能够保证生成的人脸更加自然。

11、上述基于多对抗块的人脸对抗样本生成系统还包括鉴别器，用于在生成器训练过程中，区分生成器生成的生成图像和对照图像目标区域。所述鉴别器由若干层卷积层构成。

12、本发明还提供了上述基于多对抗块的人脸对抗样本生成系统的训练方法，其包括以下步骤：

13、l1对生成器进行训练；该步骤包括以下分步骤：

14、l11将训练集中的数据分为源图像组和对照图像组；

15、l12通过人脸关键特征点提取模块分别对源图像组和对照图像组中的图像进行提取，并确定出各源图像和对照图像的目标攻击区域；

16、l13将各源图像的目标攻击区域输入生成器生成相应的生成图像；

17、l14生成的各生成图像和对照图像的目标区域输入到鉴别器进行鉴别，同时得到生成损失和鉴别损失；

18、l15利用生成损失和鉴别损失对生成器和鉴别器参数进行更新；然后，返回步骤l13，重复上述步骤l13-l15，直至鉴别器不能区分生成图像和对照图像的目标区域，或者达到预设次数上限；

19、l2通过基于元学习的集成模型对步骤l1训练得到的生成器进行微调。

20、上述步骤l1的目的是训练生成器，使其能够生成自然人脸图像。

21、步骤l14中，生成损失计算公式如下：

22、

23、式中，ogi表示第i个源图像的目标区域；g(·)表示生成器输出结果；d(·)表示鉴别器输出结果；n表示每组训练样本中源图像数量；

24、鉴别损失计算公式如下：

25、

26、式中，odi表示第i个对照图像的目标区域。

27、上述步骤l14中，利用生成损失和鉴别损失，通过adam优化算法对生成器和鉴别器进行参数优化。

28、上述步骤l2的目的是对生成器进行微调，提升对抗样本的可迁移性。基于元学习的思想，假设有k个预先训练好的人脸检测模型(f＝f1,f,,...,f.,...,f/)构成基于元学习的集成模型，任意选择其中k-1个人脸检测模型作为训练模型，另外一个人脸检测模型作为测试模型，按照以下步骤对生成器进行微调更新：

29、l21基于k-1个训练模型，设计k-1条训练和测试支路，分别对生成器进行训练和测试；沿任一条支路训练和测试步骤如下：

30、l211利用生成器首先在训练模型上进行攻击训练，并利用训练得到的攻击损失更新生成器参数；

31、l212利用参数更新后的生成器在测试模型上进行攻击测试，并利用测试得到的攻击损失更新生成器参数；

32、l22将不同支路测试后的生成器参数进行加权相加，得到集成后的生成器参数；

33、l23判断是否达到基于元学习的集成模型训练预设次数上限，若没有返回步骤l21，否则，基于元学习的集成模型训练结束。

34、基于元学习的集成模型中的人脸检测模型选自irse50、ir152、mobileface或facenet等。

35、生成器在训练模型或测试模型上进行攻击的步骤如下：

36、步骤a，通过人脸关键特征点提取模块对源图像组中的源图像进行人脸关键特征点提取，并确定出相应的目标攻击区域和二进制掩码，然后依据目标攻击区域，通过生成器生成相应的生成图像，通过融合模块，依据生成图像和二进制掩码生成多对抗块，然后结合相应的源图像融合得到若干人脸对抗样本；

37、步骤b，将生成的若干人脸对抗样本和目标图像输入训练模型或测试模型，得到相应的攻击损失。

38、攻击损失计算公式如下：

39、

40、式中，it表示目标图像，f(﹒)表示人脸检测模型的输出。通过不断降低攻击损失使得生成的对抗样本与目标图像i4相接近，从而使人脸检测模型将二者判断为同一目标。

41、对基于所有源图像得到的攻击损失进行求和，再结合生成损失通过adam优化算法对生成器进行参数优化。与此同时，按照前面给出的公式(2)(包含对照图像的目标区域)计算鉴别损失，并通过adam优化算法对鉴别器参数。

42、在不同基于元学习的集成模型训练迭代过程中，训练模型和测试模型可以不同，为从k个人脸检测模型中随机选取得到。

43、本发明基于人脸关键特征点提取模块，从源图像提取人脸的目标区域和相应的二进制掩码；然后通过生成器获取生成图像，再通过融合模块将生成图像与源图像进行融合得到最终的人脸对抗模块。与现有技术相比，本发明具有以下有益效果：

44、(1)本发明基于人脸关键特征点提取模块提取的目标区域，经生成器得到生成图像，同时结合人脸得到的二进制掩码，得到相应的多对抗块，再将其与源图像进行融合，能够使生成更加自然的人脸图像；使生成的人脸对抗样本具有优秀的人脸自然度，靠人的肉眼不易区分。

45、(2)本发明针对目前人脸对抗样本与源图像风格差异巨大的问题，提出基于多对抗块的自然人脸对抗样本生成器训练方法，能够使生成器生成自然人脸图像；

46、(3)本发明通过基于元学习的集成模型对生成器进行更新微调，以提升对抗样本的可迁移性。