一种基于自适应学习的高鲁棒性深度伪造检测方法

本发明涉及基于人工智能（ai）的图像分类领域，具体涉及一种基于自适应学习的高鲁棒性深度伪造检测方法。

背景技术：

1、随着深度伪造技术的发展，由于伪造人脸图像的便捷性与真实性，深度伪造技术成为恶意用户散播虚假内容的工具。为了防止恶意用户滥用人脸深度伪造技术，深度伪造检测算法旨在鉴别输入的人脸图像是否为深度伪造人脸图像。

2、现有深度伪造检测算法大多针对于高质量伪造人脸图像，然而为了保证传输效率，在传播过程中会经过压缩、裁剪、下采样等降低人脸图像质量的退化操作，这些有损人脸图像质量的退化操作能够有效提高传输速度，但同时向人脸图像引入细微噪声，干扰伪造人脸图像中可识别的伪造特征，导致现有深度伪造检测算法无法识别退化后的深度伪造人脸图像。本发明研究了深度伪造图像在传播过程中所遭受的人脸图像退化操作对深度伪造检测鲁棒性的影响，重点关注深度伪造人脸图像在不同平台上经历的各种未知且复杂的质量退化操作。研究结果表明现有深度伪造检测算法在检测伪造人脸图像时，若该人脸图像遭受过人脸图像退化操作，那么深度伪造检测算法在提取该人脸图像的特征时，所提取的人脸特征极易混入退化噪声，导致深度伪造检测算法在检测低质量深度伪造人脸图像时，算法性能显著下降。因此，亟需一种针对退化图像的高鲁棒性渐进式自适应人脸图像质量的深度伪造检测方法，以提升深度伪造检测模型对低质量图像的检测性能。

3、本发明存在如下技术问题：

4、1）现有深度伪造检测算法的有效性取决于其辨别真假人脸图像之间细微差别的能力。然而，人脸图像质量退化操作将引入与伪造特征相似的噪声从而干扰真伪细微差异的鉴别，最终影响深度伪造检测算法的有效性；

5、2）现有深度伪造检测算法采用的公开深度伪造人脸图像数据集无法涵盖多种人脸图像质量退化，虽然现有算法在训练过程中使用的数据增强技术能够缓解这一问题，但数据增强的多样性与现实世界复杂多样的退化操作存在明显差距，导致现有深度伪造检测算法对于退化人脸图像的准确率不佳；

6、3）现有深度伪造检测算法采用随机采样的方法训练模型，难以平衡来自不同质量的人脸图像的不一致性反馈，导致深度伪造检测算法无法适应不同的人脸图像质量变化。

技术实现思路

1、本发明针对现有技术的不足，提供了一种基于自适应学习的高鲁棒性深度伪造检测方法。该方法首先基于质量退化生成算法自适应生成不同质量的退化人脸图像，补充现有深度伪造人脸图像数据集质量多样性，同时结合自适应采样网络协调不同质量的人脸图像的学习信号，动态捕捉未知质量的人脸图像的伪造特征，从而提升深度伪造检测模型对于低质量伪造图像的检测性能。

2、为了实现上述目的，本发明所采用的技术方案如下：

3、本发明公开了一种基于自适应学习的高鲁棒性深度伪造检测方法，包括：算法训练阶段和算法推理阶段，具体地：

4、算法训练阶段：

5、获得一个原始人脸图像以及相应的标签；

6、通过质量退化生成算法生成一个退化设置；

7、质量退化生成算法根据退化设置和获得的原始人脸图像生成原始人脸图像相应的退化人脸图像，得到人脸图像对以及相应的真实标签对；

8、根据人脸图像对，自适应深度伪造检测算法执行图像质量评估和深度伪造检测双重任务，得到分别对应原始人脸图像和退化人脸图像的两个输出对：评估图像质量的图像质量标签对和判断图像真伪的检测标签对；

9、根据图像质量标签对和检测标签对，自适应采样网络通过计算得到人脸图像质量反馈和算法性能反馈；

10、自适应采样网络根据算法性能反馈和人脸图像质量反馈计算关于人脸图像对的训练权重，训练权重被用来计算加权损失，最后利用加权损失帮助质量退化生成算法和自适应深度伪造检测算法更新算法参数；

11、算法推理阶段：

12、获得待测人脸图像；

13、将其输入至已经训练完毕的自适应深度伪造检测算法，自适应深度伪造检测算法计算得到深度伪造检测的分类结果。

14、作为进一步地改进，本发明所述的通过质量退化生成算法生成一个退化设置，具体为：

15、质量退化生成算法采用高斯噪声、高斯模糊、下采样、jpeg压缩四种经典退化算法以模拟图像在传播过程中遭受的退化操作，并在退化设置中约束高斯模糊内核，下采样尺寸，高斯噪声大小，jpeg压缩比例的取值范围，质量退化生成算法的主干网络主要用于预测退化设置中、、、的取值大小：

16、。

17、作为进一步地改进，本发明所述的质量退化生成算法根据退化设置和获得的原始人脸图像生成原始人脸图像相应的退化人脸图像，得到人脸图像对，具体为：

18、质量退化生成算法根据主干网络预测的退化设置，对原始人脸图像进行退化操作，生成退化人脸图像：

19、；

20、其中，表示卷积操作，表示尺度因子的降采样操作，表示压缩比例。

21、作为进一步地改进，本发明所述的根据人脸图像对，自适应深度伪造检测算法执行图像质量评估和深度伪造检测双重任务，得到分别对应原始人脸图像和退化人脸图像的两个输出对：评估图像质量的图像质量标签和判断图像真伪的检测标签对，具体为：

22、自适应深度伪造检测算法分别从原始人脸图像与相应的退化人脸图像中提取图像表征和，表征输入至自适应深度伪造检测算法的主干网络得到评估图像质量的质量标签对和判断图像真伪的检测标签对，根据质量标签对，自适应深度伪造检测算法的在图像质量评估任务中引入质量顺序损失函数：

23、；

24、其中，表示人脸图像数，和分别是第张原始人脸图像和退化人脸图像的预测质量标签，为超参数，而深度伪造检测任务损失函数可表示为：

25、<mstyle displaystyle="true" mathcolor="#000000"><mstyle displaystyle="true" mathcolor="#000000"><mi>l</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><msub><mrow /><mrow><mstyle displaystyle="true" mathcolor="#000000"><mi>c</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>l</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>s</mi></mstyle></mrow></msub></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>=</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>−</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mstyle displaystyle="true"><munderover><mstyle displaystyle="true" mathcolor="#000000"><mi>∑</mi></mstyle><mrow><mstyle displaystyle="true" mathcolor="#000000"><mi>i</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>=</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mn>1</mn></mstyle></mrow><mstyle displaystyle="true" mathcolor="#000000"><mi>n</mi></mstyle></munderover></mstyle></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mo>[</mo><mrow><mstyle displaystyle="true" mathcolor="#000000"><mi>y</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><msub><mrow /><mstyle displaystyle="true" mathcolor="#000000"><mi>i</mi></mstyle></msub></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>l</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>o</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>g</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mo>(</mo><mrow><mstyle displaystyle="true" mathcolor="#000000"><mover accent="true"><mi>y</mi><mo>^</mo></mover></mstyle><mstyle displaystyle="true" mathcolor="#000000"><msub><mrow /><mstyle displaystyle="true" mathcolor="#000000"><mi>i</mi></mstyle></msub></mstyle></mrow><mo>)</mo></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mo>+</mo></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mo>(</mo><mrow><mstyle displaystyle="true" mathcolor="#000000"><mn>1</mn></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>−</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>y</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><msub><mrow /><mstyle displaystyle="true" mathcolor="#000000"><mi>i</mi></mstyle></msub></mstyle></mrow><mo>)</mo></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>l</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>o</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>g</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mo>(</mo><mrow><mstyle displaystyle="true" mathcolor="#000000"><mn>1</mn></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mi>−</mi></mstyle><mstyle displaystyle="true" mathcolor="#000000"><mover accent="true"><mi>y</mi><mo>^</mo></mover></mstyle><mstyle displaystyle="true" mathcolor="#000000"><msub><mrow /><mstyle displaystyle="true" mathcolor="#000000"><mi>i</mi></mstyle></msub></mstyle></mrow><mo>)</mo></mstyle></mrow><mo>]</mo></mstyle></mstyle>；

26、其中，表示第张人脸图像的真实标签，表示第张原始人脸图像对应的伪造人脸图像的预测概率。

27、作为进一步地改进，本发明所述的根据图像质量标签对和判断图像真伪的检测标签对，自适应采样网络通过计算得到人脸图像质量反馈和算法性能反馈，具体为：

28、根据图像质量标签，自适应采样网络计算图像质量反馈，以表示主干网络预测的图像质量得分，其得分越高，即图像质量越好：

29、；

30、其中，表示高斯分布，同时，自适应采样网络根据检测标签计算真实标签和预测标签之间的算法性能反馈。

31、作为进一步地改进，本发明所述的训练权重被用来计算加权损失，最后利用加权损失帮助质量退化生成算法和自适应深度伪造检测算法更新算法参数，具体为：

32、基于自适应采样网络为原始人脸图像和相应的退化人脸图像自适应生成的相应权重和，质量退化生成算法和自适应深度伪造检测算法的训练损失函数如下：

33、，

34、，

35、其中，表示训练人脸图像权重，包括原始人脸图像和相应的退化人脸图像，为平衡损失函数的非负超参数；

36、自适应采样网络采用局部最优策略来预测当前训练迭代时各人脸图像的权值，自适应采样网络的优化函数如下：

37、，

38、其中，为超参数。

39、本发明的有益效果如下：

40、1） 本发明通过质量退化生成算法生成一个退化设置，该退化设置采用高斯噪声、高斯模糊、下采样、jpeg压缩四种经典退化算法，为质量退化生成算法提供多样的退化方式，以精确拟合现实场景中包括微信、微博、facebook、twitter等平台中对图像的退化操作。

41、2） 本发明质量退化生成算法根据退化设置和获得的原始人脸图像生成原始人脸图像相应的退化人脸图像，得到人脸图像对。质量退化生成算法根据退化设置和原始人脸图像自适应生成不同质量的退化人脸图像，解决了现有公开深度伪造人脸图像数据集无法涵盖多种人脸图像质量退化的问题，补充现有深度伪造人脸图像数据集质量多样性，帮助自适应深度伪造检测算法更好地学习伪造特征与退化噪声之间的差异，为自适应深度伪造检测算法有效捕捉伪造特征提供助力；

42、3） 本发明根据人脸图像对，自适应深度伪造检测算法执行图像质量评估和深度伪造检测双重任务，得到分别对应原始人脸图像和退化人脸图像的两个输出对：评估人脸图像质量的人脸图像质量标签对和判断深度伪造人脸图像真伪的检测标签对。自适应深度伪造检测算法基于对比学习区分原始人脸图像与退化人脸图像之间的特征差异，有效刻画不同质量人脸图像的特征分布，并执行人脸图像质量评估和深度伪造检测双重任务，提高自适应深度伪造检测算法对于未知质量人脸图像的鲁棒性；

43、4） 本发明所述的自适应采样网络根据人脸图像质量反馈和算法性能反馈计算关于人脸图像对的训练权重，所述的训练权重被用来计算加权损失，最后利用所述的加权损失帮助质量退化生成算法和自适应深度伪造检测算法更新算法参数。本发明采用渐进式加权与优化的方法，根据训练图像的质量反馈和算法性能反馈逐步调整训练图像的相应权重，以实现人脸图像质量自适应的深度伪造检测，并基于人脸图像质量进行算法动态训练，根据由不同质量的人脸图像产生的不一致反馈指导自适应深度伪造检测算法进行优化，提高自适应深度伪造检测算法对于原始人脸图像和退化人脸图像准确率之间的均衡性。