一种针对基于交叉熵对抗攻击的防御方法

1.本发明涉及人工智能技术领域，尤其涉及一种针对基于交叉熵对抗攻击的防御方法。


背景技术：

2.随着人工智能，机器学习/深度学习方法的快速发展，基于人工智能算法的系统广泛部署于实际的工业生产环境中。然而，由于基于人工智能算法的系统容易受到对抗样本攻击，因此其给生产生活带来极大便捷的同时也存在一些安全问题。所谓对抗样本攻击是指通过对原始输入添加肉眼不可辨别的轻微扰动后再输入至人工智能系统，使人工智能系统获得非预期的预测结果。一种基于人工智能算法的系统容易受到对抗样本攻击，本质上意味着基于人工智能的算法的对抗鲁棒性(即抵御对抗样本攻击的能力)太差，因此提高深度神经网络模型的对抗鲁棒性则尤为重要。
3.目前，提高对抗鲁棒性的主要方法有：(1)梯度隐藏：把模型的梯度进行隐藏或者混淆，使得基于梯度的对抗样本生成算法无法获得模型的正确梯度，从而不能轻松攻击人工智能系统。(2)图像预处理：通过对输入进行预处理，降低对抗扰乱。(3)对抗训练：该方法也是目前的主流方法；即，在训练阶段将产生的对抗样本和原始样本(干净样本)一同作为输入，参与训练过程；该方法可以有效提高模型的对抗鲁棒性。然而，针对基于交叉熵的对抗攻击样本，上述的三大类方法的对抗鲁棒性仍有待提高，并且上述三大类方法的对抗攻击防御有效性事实上从理论上均无法得到验证。


技术实现要素：

4.面对基于交叉熵的对抗攻击样本，现有提高对抗鲁棒性的方法的防御效果较差，以及对抗攻击防御有效性无法从理论上得到验证的问题，本发明提供一种针对基于交叉熵对抗攻击的防御方法，可以从理论上彻底防御基于交叉熵的对抗攻击。
5.本发明提供的一种针对基于交叉熵对抗攻击的防御方法，包括：
6.采用干净样本对需要防御的深度神经网络模型进行训练，使其达到拟合状态；
7.当所述深度神经网络模型达到拟合状态之后，采用干净样本对其继续训练使其达到超拟合状态；所述超拟合状态对应至采用对抗样本对所述深度神经网络模型进行训练之后达到的拟合状态；
8.将此时超拟合状态下的深度神经网络模型作为训练好的深度神经网络模型进行使用。
9.进一步地，在采用干净样本对其继续训练使其达到超拟合状态的过程中，采用最小化无关类别分数方法进行优化，设置优化目标如下述的公式所示：
10.minimaze(z
s-zy)
11.其中，
12.s＝argmax z
i and s≠y
13.其中，zs为除真实标签y之外的其他所有标签的预测分数中的最大值，i＝0,1,
…
,k-1；k表示类别个数。
14.本发明的有益效果：
15.本发明提供的一种针对基于交叉熵对抗攻击的防御方法，提出了“超拟合状态”概念，在该状态下模型虽然会牺牲少量的干净样本的正确率，但是其对抗鲁棒性会得到大幅度的提升。此外，本发明还分析了导致超拟合现象的数学原因，并从理论上证明了，在现代计算机浮点运算的体系结构下，超拟合可以完美解决基于交叉熵的白盒对抗攻击，并且对于未来的基于交叉熵的白盒对抗攻击同样具有防御性。
16.并且，针对超拟合需要大量的迭代训练的问题，本发明还提出了mucs优化策略，大幅缩减了模型达到超拟合状态所需要的迭代轮次。通过和目前先进的防御模型相比，本发明提出的防御方法在面对基于交叉熵的白盒对抗攻击表现地最佳。
附图说明
17.图1为本发明实施例提供的一种针对基于交叉熵对抗攻击的防御方法的流量示意图；
18.图2为本发明实施例提供的middlecnn模型和resnet-18模型在cifar-10数据集上的训练示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.一般而言，基于深度学习的网络模型的模型训练状态变化总是从欠拟合(under-fitting，开始训练阶段)到拟合(fitting，训练完成)，最后达到过拟合(over-fitting)的状态，由于over-fitting会使训练的模型泛化性降低，所以，在现有技术的训练过程中总是选择在模型达到fitting的状态时即停止训练。
21.但发明人发现，不同fitting状态的概念是相对的，事实上存在下述对应关系，即：对于普通/原始/干净样本的over-fitting其实是对抗样本的under-fitting状态。通过加大训练过程的迭代轮次即可使得模型在对抗样本上也达到fitting的状态，这个状态对于干净样本来说是远在over-fitting之后的，本发明中称其为超拟合(super-fitting)。
22.实施例1
23.基于上述内容，本发明实施例提供一种针对基于交叉熵对抗攻击的防御方法，包括以下步骤：
24.s101：采用干净样本对需要防御的深度神经网络模型进行训练，使其达到拟合状态；
25.s102：当所述深度神经网络模型达到拟合状态之后，采用干净样本对其继续训练使其达到超拟合状态；所述超拟合状态对应至采用对抗样本对所述深度神经网络模型进行训练之后达到的拟合状态；
26.s103：将此时超拟合状态下的深度神经网络模型作为训练好的深度神经网络模型进行使用。
27.为了验证本发明实施例的有效性，本发明还提供有下述实验。
28.首先使用middlecnn(网络结构为3个卷积层，每个卷积层后伴随有批量正则化操作，leakrelu和最大池化操作，输出通道分别为64，128，256，之后是两个全连接层，输出单元分别为1024和10)和resnet-18在cifar-10数据集上训练模型使其达到super-fitting状态。
29.图1展示了训练过程中的两种网络模型(或防御模型)的部分信息。在图1中，上面的两幅子图分别为middlecnn模型对训练集的干净样本正确率和测试集的对抗样本正确率(左)和使用交叉熵损失函数(ce-loss)在对抗样本上计算的损失函数的值(右)；下面的两幅子图分别为resnet-18模型对训练集的干净样本正确率和测试集的对抗样本正确率(左)和使用交叉熵损失函数(ce-loss)在对抗样本上计算的损失函数的值(右)。
30.在图1所示的上述实验过程中，两种网络模型都使用普通样本(clean)进行训练，训练过程中使用的是ce-loss，adam优化器(学习率设置为1e-3，其他参数默认)，没有使用任何防御手段，仅仅加大了训练的轮次(设置为30000)，使模型达到超拟合状态。之后在cifar-10的测试集上使用pgd-20进行对抗鲁棒性(使用对抗样本测试对抗鲁棒性)评估，middlecnn在pgd-20产生的对抗样本的正确率为83.72％(在原始样本上可以达到88.97％)；resnet-18的对抗鲁棒性为68.75％(在原始样本上可以达到83.85％)。由此可见，超拟合仅仅牺牲了一部分泛化性(干净样本的正确率低于拟合)，但是却巨幅地提高了模型的对抗鲁棒性。
31.并且，从理论上，本发明方法可以彻底防御基于交叉熵的对抗攻击，理论验证过程如下：
32.由于lnx在x≤0时不可导，所以ce-loss实现往往采取它的一个等价计算过程：
[0033][0034]
其中，
[0035][0036][0037]
其中b为模型输出通过softmax和ln函数之后的结果，t为样本真实标签的one_hot编码格式。
[0038]
可以推出：
[0039]
[0040][0041][0042]
于是：
[0043][0044]
可以发现，当zk→‑
∞(k∈[0,k)and k≠y)时，则有：
[0045][0046]
此时会出现梯度消亡情况，也即基于交叉熵损失的攻击将没有效果。因此本发明从数学上也可以解释超拟合是如何抵抗对抗攻击的，并且理论上本发明方法可以彻底防御基于交叉熵的对抗攻击。
[0047]
实施例2
[0048]
超拟合可能会面临两个问题：1)无法让zk达到数学上的-∞；2)花费太长时间；例如，在有rtx3090显卡的情况下，使resnet-18达到超拟合状态也需要30,000次迭代，大概花费几天的时间。
[0049]
上述的问题1)是容易解决的，在现代计算机的浮点运算机制下，仅仅只需让zk达到一个非常小的值(并且zk《0)，并不需要达到数学上的-∞即可使得进而导致超拟合状态成立。
[0050]
为了解决上述的问题2)，本发明实施例还提供一种新的优化过程，具体为：在采用干净样本对其继续训练使其达到超拟合状态的过程中，采用最小化无关类别分数(mucs)方法进行优化，设置优化目标如下述的公式所示：
[0051]
minimaze(z
s-zy)
[0052]
其中，
[0053]
s＝argmax z
i and s≠y
[0054]
其中，zs为除真实标签y之外的其他所有标签的预测分数中的最大值，i＝0,1,
…
,k-1；k表示类别个数。所谓除真实标签y之外的其他所有标签的预测分数也即真实标签不相关的类别分数。
[0055]
具体地，仅仅通过最小化zs即可达成最小化所有不相关类别分数的目标。
[0056]
为了验证本发明实施例提供的mucs优化方法的有效性，本发明还做了相关实验，实验结果如表1所示。表1展示了mucs和普通交叉熵损失对cifar-10的超拟合状态影响结果，包括收敛速度(以迭代次数表示)以及最终达到的对抗鲁棒正确率(抵抗pgd-20)。
[0057]
表1mucs和交叉熵损失函数的表现
[0058][0059]
为了进一步验证本发明提供的超拟合方法的有效性，本发明还将其与其他目前较为先进的防御模型进行了对比实验。
[0060]
为了和目前先进防御模型进行对比，本发明方法采用了攻击性更强的pgd-100，apgd-100以及标准的a3进行测试。使用了cifar-10和cifar-100两个数据集。在实验中超拟合训练的优化器为adam，学习率为1e-3，攻击算法设置扰乱半径为8.0/255，step size＝0.8/255，攻击时使用ce-loss计算梯度，其它参数均保持默认。实验结果如表2和表3所示。实验数据表明超拟合比其它先进的防御方法表现更加优秀。
[0061]
表2本发明的超拟合方法和其他先进防御模型在cifar-10上的表现
[0062]
[0063][0064]
表3本发明的超拟合方法和其他先进防御模型在cifar-100上的表现
[0065]
[0066][0067]
本发明将超拟合的表现和其它最近的优秀防御方法进行对比，实验中使用了cifar-10和cifar-100两个数据集的测试集(随机选取了1280张图片，batch size设置为128)，并分别使用干净样本，pgd-100，apgd-100和默认版本的a3产生的对抗样本在9种网络模型结构(3种基础结构middlecnn，resnet，wide resnet)对模型的鲁棒性进行评估。表2和表3中第一列为不同的防御方法以及所使用的网络模型结构和模型参数量(带标识的为扰乱半径为0.031，带标识的为该防御模型训练时使用了额外的无标签数据集)，干净样本所在列为模型在干净样本下的正确率；pgd，apgd和a3所在列分别为模型在pgd-100，apgd-100，默认版本a3算法产生的对抗样本下的正确率。由表2和表3可知，本发明提出的超拟合方法可以利用更小的模型(也即更少的参数)获得更高的对抗鲁棒性。
[0068]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。