面向行人目标的多视角自适应权重平衡对抗攻击方法

本发明属于人工智能，具体涉及面向行人目标的多视角自适应权重平衡对抗攻击方法。

背景技术：

1、深度神经网络的优越性能推动工业物联网的快速发展，在目标检测、图像分类、语义分割和自动驾驶等领域取得巨大的成功。其中，目标检测一直以来备受学术界和工业界的高度关注，它的任务是从给定的图像中提取感兴趣区域并标记出类别和位置。近年来，多项研究表明对抗样本能够成功地干扰数字和物理领域内的目标检测模型，给目标检测模型的应用带来巨大威胁。行人目标是目标检测主要研究对象之一，具有丰富的类内差异性。在自动驾驶场景中，如果自动驾驶系统受到对抗样本攻击，可能会将实际存在的行人错误地识别为道路背景等其他目标，导致系统无法及时准确识别并进行躲避，从而发生交通事故。因此，有必要深入研究面向目标检测的对抗攻击方法，以提升目标检测应用的安全性水平。

2、自lu等人在目标检测领域中提出对抗攻击方法以来，研究人员提出了一系列面向目标检测的对抗攻击方法。在实际场景中，攻击者通常难以获取攻击模型的详细信息，因此黑盒攻击在学术和工业领域引起了广泛关注。黑盒对抗攻击可分为两大类别，分别是基于查询和基于迁移的黑盒对抗攻击。对于前者，通常在白盒模型上进行对抗扰动的预训练，随后通过不断访问目标黑盒模型并根据得到的信息进行微调，但频繁的查询可能暴露攻击意图，削弱攻击的隐蔽性。基于迁移的黑盒攻击则利用对抗样本的模型可迁移性直接攻击目标模型，无需查询并确保攻击的隐蔽性。在现有的黑盒攻击方法研究中，大部分研究都只考虑单一视角的情况，忽略不同视角对攻击效果的影响，因此这些攻击方法在不同视角下对目标攻击效果较差。

技术实现思路

1、本发明的目的是提供面向行人目标的多视角自适应权重平衡对抗攻击方法，解决了现有技术中存在的只考虑单一视角情况，导致攻击方法在不同视角下对目标攻击效果较差的问题。

2、本发明所采用的技术方案是，面向行人目标的多视角自适应权重平衡对抗攻击方法，具体包括如下步骤：

3、步骤1：选取人体目标图像数据集，将数据集中的图像按照人体目标的正面、斜面和侧面三个视角进行划分；

4、步骤2：将不同视角的人体目标图像输入目标检测模型，通过中心定位确定攻击位置，并随机生成一个对抗补丁；

5、步骤3：优化目标检测模型；

6、步骤4：将对抗补丁经过patch cut out算法进行处理，并在人体目标图像的攻击位置进行覆盖；

7、步骤5：将步骤4得到的人体目标图像输入到优化后的目标检测模型进行训练；训练过程中，构建自适应平衡策略，动态调整每个视角通道的损失值权重；

8、步骤6：重复步骤4-5，直至整体损失函数收敛，得到最终的对抗样本。

9、本发明的特点还在于：

10、步骤2目标检测模型采用yolov5，步骤3优化目标检测模型，是将yolov5骨干网络中第5、7、9层中的卷积模块替换为model shake drop模块，model shake drop模块包括三个1×1卷积层、shake drop模块和sequential模块。

11、model shake drop模块是基于model shake drop算法改进的模块，model shakedrop算法：

12、在向前传播过程中，model shake drop的抖动机制会对模型参数进行随机扰动，其过程的定义为：

13、（1）

14、式中，为输入数据，为模型残差模块处理；为抖动因子，服从[-1,1]均匀分布；

15、前向传播过程中的随机丢弃机制以一定概率将神经元的输出设置为零，其过程为：

16、（2）

17、式中，为执行丢弃操作的概率，服从[0,1]均匀分布；

18、整个model shake drop算法将抖动机制和随机丢弃机制进行整合，前向传播中抖动机制和随机丢弃机制的整合过程定义为：

19、（3）

20、式中，为残差模块的最终输出；

21、在反向传播过程中，定义为：

22、（4）

23、式中，为损失函数。

24、步骤4中将对抗补丁经过patch cut out算法进行处理的过程如下：

25、步骤4.1：生成一个二值掩码 m，在对抗补丁中随机选择一个矩形区域，并将该区域内的像素值置零，该过程定义为：

26、（5）

27、式中，是用于遮挡的二值掩码，（i,j）表示对抗补丁的像素坐标，r表示随机选择的矩形区域；

28、步骤4.2：利用所得到的用于遮挡的二值掩码对对抗补丁进行处理，得到最终用于训练的对抗补丁，该过程的定义为：

29、（6）

30、式中，是经过patch cut out算法后的输出，是经过patch cutout算法前的原始输入，表示取交集运算。

31、步骤5训练过程定义为：

32、（7）

33、式中，表示总视角数量，表示样本数量，表示训练过程中第个视角的权重，表示衡量攻击方法优劣的距离损失函数，表示优化后的模型，表示视角下第张样本图像的真实标签，表示经过对抗补丁攻击后视角下第张图像，表示patch cut out算法中的一种随机裁剪方式，表示对抗损失函数，表示图像像素范围。

34、衡量攻击方法优劣的距离损失函数包括三个损失函数，模型检测损失函数、可打印损失函数和纹理损失函数；

35、衡量攻击方法优劣的距离损失函数为：

36、（8）

37、模型检测损失函数的定义为：

38、（9）

39、可打印损失函数的定义为：

40、（10）

41、式中，表示攻击方法生成对抗补丁的一个像素，表示可打印颜色集的一种颜色；

42、纹理损失函数的定义为：

43、（11）

44、式中，是对抗样本图像在坐标下的像素，是对抗样本图像在坐标下的像素，是对抗样本图像在坐标下的像素。

45、对抗损失函数的定义为：

46、（12）

47、式中，是对于类别的概率输出，是对于类别的概率输出，且，表示对抗类别，是为了区别于类别，随机选择一个不同于类别的对抗类别。

48、步骤5，在训练过程中，构建自适应平衡策略，动态调整每个视觉通道的损失值权重，包括如下步骤：

49、计算出每个视角通道的损失值；

50、单个视角通道损失函数为：

51、（13）

52、式中，表示第个视角下的损失值，表示衡量攻击方法优劣的距离损失函数，表示优化后的模型，表示样本图像的真实标签，表示经过对抗补丁攻击后的图像，表示patch cut out算法中的一种随机裁剪方式，表示对抗损失，表示图像像素范围；

53、对计算的不同视角通道的损失值大小进行权重调整：对于损失值较大的视角通道权重值调大，将各个视角通道的损失值进行整体归一化，得到每个视角通道的权重值；

54、各个视角通道损失值归一化计算视角通道权重的过程为：

55、（14）

56、式中，表示训练过程中第个视角的权重，表示总视角数量，表示第个视角下的损失值。

57、步骤6中的整体损失函数定义为：

58、（15）。

59、本发明的有益效果是：

60、本发明面向行人目标的多视角自适应权重平衡对抗攻击方法，通过构建多视角通道进行训练，综合考虑不同视角下目标的特征；然后结合自集成算法model shake drop和patch cut out来优化模型，增强攻击方法的泛化能力；最后构建了一种自适应平衡策略，在训练过程中动态调整不同视角的权重，可以得到具有更好视角鲁棒性的对抗补丁，该策略有助于提升对抗攻击方法的稳健性，并使其在多个视角下保持良好的攻击效果。