一种基于泊松流模型的对抗训练方法及装置

本发明涉及人工智能安全，尤其是涉及一种基于泊松流模型的对抗训练方法及装置。

背景技术：

1、近年来，随着深度学习的发展，深度神经网络被广泛应用于各种领域，尤其是图像领域。然而，随着对抗样本的提出，神经网络的安全性逐渐成了人工智能安全问题中的研究重点。对抗样本是指在数据集样本中添加难以察觉的对抗性扰动导致神经网络做出错误的分类，对于没有进行对抗防御的深度学习模型，在受到简单的对抗攻击的情况下模型性能就会急剧下降甚至失效，因此，提高深度学习系统防御对抗攻击的能力，提高模型的鲁棒精度，保证系统的安全性和稳定性变得尤为重要。

2、对抗训练是指将对抗样本添加到训练数据中，它被认为是目前训练鲁棒深度神经网络，防御对抗攻击最有效的方法之一。然而，有学者发现对抗训练过程中，在第一次学习率衰减之后，继续训练会导致测试集上的鲁棒准确率(数据集中加入对抗样本时的准确率)迅速降低，即使训练集上的鲁棒准确率仍然稳步提升，他们将这种现象称为鲁棒过拟合。为了改善这种现象，提高训练模型的对抗鲁棒性，对原始数据进行预处理是有效的方法，其中包括启发式驱动和数据驱动的数据增强以及使用外部数据。启发式驱动的数据增强依赖于领域知识和经验法则来设计数据转换策略，数据驱动的数据增强方法使用算法从训练数据中自动学习最有效的转换策略。数据驱动的策略通常能探索更多的可能性，生成更多样化的样本，更好地适应特定的数据集和任务。

3、然而，传统的对抗训练方法的训练数据多样性不足，经常依赖难以获取的外部数据，在训练过程的鲁棒过拟合现象较为严重，导致通过对抗训练的深度学习模型泛化性低，防御对抗样本的能力较差，模型的对抗鲁棒性不高。

技术实现思路

1、为克服相关技术中存在的问题，本发明提供一种基于泊松流模型的对抗训练方法及装置，用以解决相关技术中的缺陷。

2、根据本发明的第一方面，提供一种基于泊松流模型的对抗训练方法，所述方法包括：

3、从原始数据集中采样获得样本数据集，并建模为电场中的电子，由常微分方程模拟电子在电场中的运动，计算所述样本数据集中每个样本数据的经验泊松场，以基于所述经验泊松场计算损失函数，迭代更新泊松流模型参数；

4、基于所述泊松流模型使用前向模拟生成与所述原始数据集具有相似分布特性的高维点，并将所述高维点转换为与所述样本数据格式相同的图像数据；

5、将所述高维点转换生成的图像数据输入预训练的深度学习分类网络，生成伪标签并选取其中置信度相对高的若干样本数据与所述原始数据集合并生成合并数据集；

6、基于所述合并数据集生成对抗样本，并使用所述对抗样本与所述原始数据集训练目标分类模型。

7、优选地，所述从原始数据集中采样获得样本数据集，并建模为电场中的电子，由常微分方程模拟电子在电场中的运动，计算所述样本数据集中每个样本数据的经验泊松场，以基于所述经验泊松场计算损失函数，迭代更新泊松流模型参数，包括：

8、从所述原始数据集中随机采样若干样本数据，生成样本数据集，并从所述样本数据集中采样若干样本数据，获得样本数据子集；

9、对于所述样本数据子集中每个样本数据，通过常微分方程模拟数据点在模型潜在空间中的连续变化，并添加扰动，得到扰动数据点；

10、对所述扰动数据点进行负归一化计算，并对所述样本数据集计算每个所述扰动数据点的经验泊松场；

11、基于所述泊松流模型的输出与所述经验泊松场的差异计算损失函数；

12、迭代上述步骤并通过所述损失函数更新所述泊松流模型的参数，获得针对所述原始数据集的泊松流模型参数。

13、优选地，所述添加扰动，得到扰动数据点，包括：

14、从均匀分布中随机采样幂次m，表示为：

15、

16、式中，表示均匀分布，m为超参数，以确保扰动后的所述扰动数据点能到达足够大的半球；

17、从高斯分布中随机采样噪声∈，表示为：

18、

19、式中，∈x和∈z表示噪声在不同维度上的分量，为高斯分布，σ2为方差，i为单位矩阵，n为数据的维度，噪声分量∈x和∈z相互独立；

20、从单位球sn(1)中均匀采样向量u，表示为：

21、

22、式中，sn(1)为n维空间中到原点距离为1的点的集合，以确保采样的数据点均匀分布在所有可能的方向上；

23、构建所述扰动数据点表示为：

24、

25、y＝x+||∈x||(1+t)mu

26、z＝|∈z|(1+t)m

27、式中，x为所述样本数据，y、z为所述扰动数据点的坐标，τ为超参数。

28、优选地，所述对所述扰动数据点进行负归一化计算，并对所述样本数据集计算每个所述扰动数据点的经验泊松场，包括：

29、通过以下公式对所述样本数据集计算每个所述扰动数据点的经验泊松场：

30、

31、式中，βl为所述样本数据集，为样本数据xi添加扰动后的所述扰动数据点，为所述样本数据集βl中所述扰动数据点规范化的经验泊松场，为期望，n为数据的维度，γ为正则化参数。

32、优选地，所述基于所述泊松流模型的输出与所述经验泊松场的差异计算损失函数，包括：

33、通过以下公式计算损失函数：

34、

35、式中，fθ表示所述泊松流模型参数，θ为所述泊松流模型参数，β为所述样本数据子集，为样本数据添加扰动后的所述扰动数据点，为所述样本数据集βl中所述扰动数据点规范化的经验泊松场；为所述损失函数，表示通过l2范数度量所述泊松流模型预测值与所述样本数据集计算出的经验泊松场的差异，以促使所述泊松流模型的输出尽可能接近于目标电场。

36、优选地，所述迭代上述步骤并通过所述损失函数更新所述泊松流模型的参数，获得针对所述原始数据集的泊松流模型参数，包括：

37、迭代上述步骤并通过以下公式更新所述泊松流模型的参数直至所述泊松流模型收敛，获得针对所述原始数据集的泊松流模型参数：

38、

39、式中，θ为所述泊松流模型参数，η为学习率，为所述损失函数关于所述泊松流模型参数θ的梯度。

40、优选地，所述基于所述合并数据集生成对抗样本，并使用所述对抗样本与所述原始数据集训练目标分类模型，包括：

41、对所述合并数据集分批次进行对抗攻击，获得对抗样本；

42、将所述对抗样本及所述原始数据集中的原始数据作为训练数据，通过批量梯度下降算法，更新训练所述目标模型的参数直至所述目标模型收敛。

43、优选地，所述对所述合并数据集分批次进行对抗攻击，获得对抗样本，包括：

44、对所述合并数据集分批次进行k轮的映射式梯度下降攻击获得对抗样本，表示为：

45、

46、式中，xk为第k轮扰动下的所述对抗样本；clip()为裁剪函数，用于将所述对抗样本x裁剪回隐私预算∈内；α为扰动步长，sign()为符号函数，y为所述原始数据集中的原始数据的真实标签，为交叉熵损失。

47、优选地，所述将所述对抗样本及所述原始数据集中的原始数据作为训练数据，通过批量梯度下降算法，更新训练所述目标模型的参数直至所述目标模型收敛，包括：

48、通过以下公式更新训练所述目标模型的参数直至所述目标模型收敛：

49、

50、式中，e为所述目标模型，为所述训练数据的数据分布，f()为θ参数化的目标模型，x为所述对抗样本，s为允许扰动的集合，为所述原始数据集中的原始数据的真实标签，δ为对抗扰动，为对应所述目标模型的损失函数。

51、根据本发明的第二方面，提供一种基于泊松流模型的对抗训练装置，所述装置包括：

52、泊松流模型训练模块，用于从原始数据集中采样获得样本数据集，并建模为电场中的电子，由常微分方程模拟电子在电场中的运动，计算所述样本数据集中每个样本数据的经验泊松场，以基于所述经验泊松场计算损失函数，迭代更新泊松流模型参数；

53、前向模拟模块，用于基于所述泊松流模型使用前向模拟生成与所述原始数据集具有相似分布特性的高维点，并将所述高维点转换为与所述样本数据格式相同的图像数据；

54、数据合并模块，用于将所述高维点转换生成的图像数据输入预训练的深度学习分类网络，生成伪标签并选取其中置信度相对高的若干样本数据与所述原始数据集合并生成合并数据集；

55、对抗训练模块，用于基于所述合并数据集生成对抗样本，并使用所述对抗样本与所述原始数据集训练目标分类模型。

56、本发明公开了一种基于泊松流模型的对抗训练方法及装置，通过泊松流模型基于原始数据集创建新的数据视图，相比其他生成模型生成的数据和外部数据更加接近原始数据分布，并提高了训练数据的多样性，显著缓解了训练过程中的鲁棒过拟合现象，增强了目标模型的对抗鲁棒性。

57、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。