无锚框模型类梯度全局对抗样本生成方法、系统及设备

本发明属于深度学习对抗攻击，尤其涉及一种无锚框模型类梯度全局对抗样本生成方法、系统及设备。

背景技术：

1、目前，现有对抗攻击算法大多是以锚框或以单张图片为单位，在泛化性能上受到锚框超参数、图片类型、目标大小及数量等因素一定程度的制约。近期的研究表明，moosavi-dezfooli等人根据数据集内多张图片构建了一个针对图像分类问题的通用对抗攻击算法uap，通过该算法生成的对抗样本具有通用性及较强的泛化性能。通用性体现在算法无需为每张输入图像计算特定扰动，而是通过该算法的计算最终仅仅形成一张通用扰动，该通用扰动能够对整个目标数据集形成有效扰动。该扰动的存在揭示了视觉领域网络结构中普遍的线性特征及相同的类目标之间存在相似性。hendrik metzen j等人在其基础上将此类通用对抗样本算法成功迁移到了语义分割（semantic segmentation）问题上。该算法的成功应用表明了该类通用对抗样本不仅存在于较为简单的计算机视觉任务中，例如图像分类，更为复杂的视觉任务也有相似的缺陷。该通用对抗算法在实验中体现出的高泛化性，甚至对整个数据集的大量数据形成有效影响，其对于各类深度神经网络模型的危害是极为严重的。现有的对于此类通用对抗样本的研究较少，且都存在于图像分类、语义分割任务，在其他重要计算机视觉任务比如目标检测、人体姿态估计中尚未得到较高的关注，故而对抗防御难以采用较为有效的策略防御此类对抗样本， 通用对抗样本的相关研究亟待开展。

2、现有技术一：

3、传统的对抗样本生成方法主要基于单一的输入图像进行局部的对抗扰动。这种方法主要通过计算输入图像与目标类别的梯度差，然后对图像进行微小的修改来生成对抗样本。这种方法的主要目标是使得修改后的图像能够误导模型的分类结果，而不会引起人类视觉的注意。

4、现有技术二：

5、另一种现有的攻击方法是通过利用深度学习模型的内部信息来生成对抗样本。这种方法主要通过在模型的隐藏层中添加扰动来生成对抗样本，而不是直接在输入图像上添加扰动。这种方法的主要目标是通过修改模型的内部表示来误导模型的输出结果。

6、现有技术存在的技术问题：

7、（1）对抗样本的泛化能力不强： 传统的对抗样本生成方法主要基于单一的输入图像进行局部的对抗扰动，这样生成的对抗样本对特定的输入图像有效，但在其它输入图像上无效。这限制了这种方法的泛化能力。

8、（2）对抗样本的生成效率低： 利用深度学习模型的内部信息来生成对抗样本的方法，需要对模型进行多次的前向和后向传播，以计算隐藏层的梯度。这种方法的计算复杂度高，导致生成对抗样本的效率低。

9、（3）扰动性能的影响： 直接叠加扰动会影响扰动性能，因为这会导致部分扰动被抵消或者增强，从而影响对抗样本的有效性。

10、（4）针对性不强： 传统的对抗样本生成方法往往忽视了输入图像中目标类别间的联系与区别，这会降低对抗样本的攻击效果。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种无锚框模型类梯度全局对抗样本生成方法、系统及设备。

2、本发明是这样实现的，一种应用于无锚框模型的全局对抗样本生成系统，该系统包括：

3、一个梯度收集模块，配置为对输入图像中指定的目标类别执行梯度收集操作，其中梯度收集是基于目标类别的，利用公式 \( g_c = \frac{1}{n} \sum_{i=1}^{n} \nabla l(f(x_i), y_i) \) 来计算，其中 \( g_c \) 表示类梯度，\( n \) 是该类别中目标的数量，\( \nabla l \) 是损失函数对输入 \( x_i \) 的梯度，\( f(x_i) \) 是模型对 \( x_i \) 的预测，\( y_i \) 是 \( x_i \) 的真实标签；

4、和一个扰动生成模块，配置为基于收集到的梯度和经典对抗算法生成图像尺度的对抗扰动，进而形成针对整个数据集的通用扰动，公式为 \( \delta = \epsilon \cdotsign(g_c) \)，其中 \( \delta \) 是生成的扰动，\( \epsilon \) 是扰动强度，\( sign(g_c) \) 是梯度方向；

5、所述梯度收集模块：

6、梯度收集模块原理可以归纳为以下数学约束性优化问题，表达为下式：

7、；

8、；

9、；

10、如公式所示，其中是人为设计的扰动，是最小化的范数类型，可以为，函数表示目标检测器检测到的物体类别；和分别表示干净图像和受干扰的图像；表示扰动能达到的最大和最小像素值范围；

11、在此基础上有两种产生扰动的方式来实现类别不相容；第一种方法是攻击每个对象所处的类别；更确切地说，是对属于一个类别的所有物体进行一次攻击，收集梯度后将类别中所有的的梯度相加；第二种方式是攻击图像实体本身，使所有物体类别都被判断错误；由于同一类的目标在梯度上存在近似特点，第一种产生扰动的方式比后者更有效，故所以选择以类为单位收集梯度的方式，将上述束性优化问题转化为：

12、；

13、；

14、如上述公式所示，其中是单张图像中所有属于类且的特定目标，为centernet模型检测到所有目标所属的类别；由于centernet的检测结果依赖于检测到的关键点keypoint及偏移量offset，且偏移量offset是对centernet预测目标关键点的进一步微小矫正，考虑到偏移量offset对centernet目标关键点的贡献远低于关键点keypoint,故将对抗攻击集中攻击检测到的关键点来欺骗检测器；因此可以将上述约束性优化问题表达式转化为：

15、；

16、；

17、；

18、如公式所示，其中为目标检测器centernet的检测结果，为centernet检测到单张图像中所有目标所属的类别；为检测到目标类别所对应的所有目标的关键点，为其中属于类别的目标的关键点，对于每个检测到类别为的关键点都有；进而在上式中，目标转变为寻找到一个合适的扰动向量，在满足最小化范数的基础上，使得对所有属于第类的关键点所代表的目标，都有；

19、所述扰动生成模块：

20、通过梯度收集模块收集到类梯度后，需要选择适当的基于最小化范数的典型对抗攻击算法生成输入图像的扰动；fgsm和pgd是两种典型的最小化范数的攻击方法；fgsm为单步扰动攻击，算法通过损失函数计算输入图像的梯度，利用梯度的符号作为方向和扰动强度来产生对抗扰动；pgd算法是fgsm的迭代版本，其多步计算当前梯度并在每个迭代步中对扰动方向进行调整，该算法可以表示为。

21、所述系统进一步包括：一个扰动应用模块，配置为将生成的通用扰动 \( \delta\) 应用到数据集中的每个图像上，以形成对抗样本集，其中对抗样本 \( x_{adv} \) 通过公式 \( x_{adv} = x + \delta \) 生成，\( x \) 是原始图像。该模块还配置有反馈机制，用于评估生成的对抗样本在人体姿态估计任务上的效果，并据此调整扰动生成模块中的参数，如扰动强度 \( \epsilon \) 和梯度收集策略，以优化对抗样本的效果。

22、本发明提供的一种无锚框模型类梯度全局对抗样本生成方法，所述无锚框模型类梯度全局对抗样本生成方法利用输入图像中的目标类，以类为单位收集类梯度，按照此方式进行梯度收集可以利用类内目标梯度上的相似性，避免直接叠加扰动对扰动性能的影响，进而生成图片尺度扰动；基于一定数量的图像尺度扰动形成针对人体姿态估计任务的全局扰动。

23、进一步，所述无锚框模型类梯度全局对抗样本生成方法，包括：

24、第一步，利用通用对抗样本的高泛化特性，以单张输入图片中感兴趣的目标类为单位，快速收集梯度；

25、第二步，按照类为单位进行梯度收集可以着重针对输入图像中目标类别间的联系与区别，通过一次性收集同一类别内所有目标的梯度，达到同时攻击类内目标的目的；

26、第三步，基于现有经典对抗算法形成图像尺度的对抗扰动，在此基础上结合数据集中多张图片及相应图像尺度扰动形成针对整个数据集的通用扰动。

27、进一步，所述无锚框模型类梯度全局对抗样本生成方法的无锚框模型采用centernet模型作为目标网络，centernet模型的输入图像满足特征尺寸，其中为一个具有w宽度为和h高度的三通道输入；经过预测，得到结果为图像目标中心点热图，热图h表示为，其中是中心点的类别数量，是模型的降样比例；在ms-coco数据集的姿态估计任务里，代表每个人体不同关节点的空间位置信息，而在ms-coco数据集中目标检测任务里，代表着数据集中有80类感兴趣的目标类；在预测过程中，当预测值时，它代表着一个被检测到第c类的目标前景中心点，而当时，代表着检测到一个不感兴趣的背景点；centernet模型训练时使用一个组合代价函数:，其代价函数分为三个部分，其中训练目标是带惩罚的像素级逻辑回归，是对目标的尺寸进行回归，形式是一个范数正则项，引入了一个额外的范数形式的目标中心点误差偏置项，通过三个部分代价的有机结合最终完成各类视觉任务的预测；

28、centernet人体姿态预测包括两个步骤：首先，模型会直接预测人类目标的中心点，再估计一个回归偏移量，其中偏移量可以表示为形式，从而可以得到单阶段预测结果为，；同时，模型会按照目标检测任务的模式对输入图像中人类关节进行关节点的多目标预测；与第一阶段不同的是每个关节点都为不同类别中心点，共计个类别；最后网络会对初步预测结果进行矫正，将首步回归到的关节点与第二次预测中第类的目标进行结合。

29、进一步，步骤一：将对抗攻击问题归纳为通用约束性优化表达形式，如下式所示；

30、(1)

31、(2)

32、(3)

33、在上式中，是优化范数类型，在集合中选择，函数表示目标检测器的检测结果，和代表原有图像和扰动样本， 优化目标是通过添加对抗扰动后，模型对对抗样本的检测结果与原有图像出现差异；

34、步骤二：算法的目标是计算通用扰动，其参与通用扰动的数据图像为并满足，其中为具有某个一定分布的数据集，原问题转化为以下约束性优化表达式，表示为：

35、(4)

36、(5)

37、式中为满足一定约束条件的概率值，为受通用扰动干扰下模型推断正确率，表达式表示为在目标数据集中，受到通用扰动影响下模型判断的错误率为；

38、步骤三：收集数据集中输入图像类梯度的方式来产生扰动，网络模型的检测结果依赖于检测到的中心点keypoint及偏移量offset，对抗扰动将采用同时扰动中心点及偏移量来形成综合扰动，将上述表达式束问题转化为：

39、(6)

40、(7)

41、(8)

42、式中为输入图像中属于类关节的包含检测到相应的中心点keypoint及偏移量offset的人体关节目标，为网络模型的检测结果，为检测器检测到输入图像中所有目标类别；

43、步骤四：迭代得到对抗样本中的扰动，公式中r所示，方法为首先需要针对单张图像生成图像尺度的对抗扰动；

44、步骤五：进而将类图像尺度进行规范化，并叠加收集到的类扰动，得到图片尺度扰动，相关表达式所示为：

45、(11)

46、(12)

47、式中表示pgd算法中迭代计算扰动的最大迭代次数，分别表示扰动的总步长和单步步长，有；

48、步骤六：在此得到图像尺度扰动基础上通过数据集中多张图片形成对整个数据集的通用扰动。

49、进一步，所述步骤四具体方法为采用对抗性能较稳定的迭代式最小化范数的pgd算法来计算扰动，每次算法会按照网络模型检测到的图像中的类别，按照类别进行梯度收集，在姿态估计任务中输入图像中目标表现为个人类关节的中心点，首先需要根据检测结果按照类别进行分类，计算同一类别总损失并反传至输入图像计算类梯度，如下式：

50、(9)

51、(10)

52、式中为收集到的属于类的类损失，为属于类的人体关节中心点。为通过模型反向传播得到的类图像尺度扰动。

53、进一步，所述步骤六首先收集数据集中随机参与通用扰动生成数据的所有图片尺度扰动并叠加得到，将扰动投影到半径为扰动步长的球上，相关算法如下式所示：

54、(13)

55、(14)

56、式中表示参与通用对抗样本生成的数据总数，其参与生成通用扰动的数据总量为，且，代表收集数据集中随机参与通用扰动生成数据的所有图片尺度扰动之和，代表最终的通用扰动，通用扰动充分参考了参与生成通用扰动的所有图片尺度扰动，并且在扰动强度上满足。

57、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述无锚框模型类梯度全局对抗样本生成方法。

58、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述无锚框模型类梯度全局对抗样本生成方法。

59、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述无锚框模型类梯度全局对抗样本生成方法。

60、本发明的另一目的在于提供一种基于所述无锚框模型类梯度全局对抗样本生成方法的无锚框模型类梯度全局对抗样本生成系统，所述无锚框模型类梯度全局对抗样本生成系统包括：

61、梯度收集模块，用于利用通用对抗样本的高泛化特性，以单张输入图片中感兴趣的目标类为单位，快速收集梯度；

62、类别间收集模块，用于按照类为单位进行梯度收集可以着重针对输入图像中目标类别间的联系与区别，通过一次性收集同一类别内所有目标的梯度，达到同时攻击类内目标的目的；

63、通用扰动形成模块，用于基于现有经典对抗算法形成图像尺度的对抗扰动，在此基础上结合数据集中多张图片及相应图像尺度扰动形成针对整个数据集的通用扰动。

64、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

65、第一、本发明提出的对抗样本算法揭示了深度神经网络模型决策超平面内边界间的高度线性化，对此类对抗样本的研究可为深度神经网络抵御对抗样本相关课题提供重要理论基础和实践支撑。

66、本发明以图像中的目标类为单位快速进行类梯度收集，通过一次性融合同一类别内所有目标的梯度来体现类内相似性与类间差异性。结合数据集中一定比例的图像及对应的图片尺度扰动生成全局扰动，通过上述过程突破模型候选框及图片数量的制约。

67、本发明提出一种全局扰动对抗攻击算法。首先利用输入图像中的目标类，以类为单位收集类梯度，按照此方式进行梯度收集可以利用类内目标梯度上的相似性，避免直接叠加扰动对扰动性能的影响，进而生成图片尺度扰动。在此基础上，基于一定数量的图像尺度扰动形成针对人体姿态估计任务的全局扰动，全局扰动克服了现有对抗扰动生成方法基于图片或基于后选框的缺点，可以针对大量数据形成有效的干扰，同时在推断速度上基本达到实时攻击的要求。实验结果验证了全局对抗扰动算法的有效性。

68、第二，本发明提出的全局对抗样本生成系统在无锚框模型应用中显著的技术进步体现在以下几个方面：

69、1）针对性梯度收集：系统通过一个梯度收集模块，专门针对输入图像中特定的目标类别执行梯度收集。这种基于类别的梯度收集策略利用了类内目标在梯度上的相似性，有助于生成更具针对性和效率的对抗扰动。这不仅提高了对抗样本生成的效率，而且通过减少不必要的扰动，提高了扰动的隐蔽性。

70、2）图像尺度对抗扰动：扰动生成模块利用收集到的梯度和经典对抗算法生成图像尺度的对抗扰动，这种方法不仅针对单个图像有效，而且能够针对整个数据集形成通用扰动。这种全局性的扰动生成方法提高了对抗样本的通用性，使得生成的对抗样本能够有效地在不同的输入图像中引入误导信息，增强了对抗攻击的广泛适用性。

71、3）动态优化反馈机制：系统包含一个扰动应用模块，它不仅将生成的扰动应用到数据集中的每个图像上，而且还配备了反馈机制。这个机制能够评估对抗样本在特定任务（如人体姿态估计）上的效果，并据此调整扰动生成模块中的参数，如扰动强度和梯度收集策略。这种动态优化机制确保了对抗样本的有效性，同时保持了对抗扰动的最小化，从而在保证攻击成功率的同时，尽地减少对模型性能的影响。

72、4）高泛化特性的利用：系统利用了通用对抗样本的高泛化特性，通过快速收集单张输入图片中的目标类别梯度，提高了梯度收集的速度和效率。这种方法不仅加速了对抗样本的生成过程，而且通过利用高泛化特性，提高了对抗样本在不同模型和任务中的适用性。

73、综上所述，该全局对抗样本生成系统在提高对抗样本生成效率、扰动隐蔽性、通用性以及动态优化反馈机制方面取得了显著的技术进步，为无锚框模型在面对对抗攻击时提供了一种有效的防御手段。