用于对抗训练的交通标志对抗样本生成方法及设备

本发明属于人工智能与网络安全，具体涉及一种用于对抗训练的交通标志对抗样本生成方法及设备。

背景技术：

1、自动驾驶技术旨在使得车辆自主地完成驾驶任务，提高驾驶的效率和安全性。随着自动驾驶技术近50年来的发展，如今其已经成为汽车行业的重要发展方向之一。随着技术的不断进步和政策的逐步放开，自动驾驶汽车在更多场景中得到应用，未来发展趋势是向着更高级别的自动化、智能化和网联化方向发展，并与智能交通系统深度融合。

2、在自动驾驶技术飞速发展的同时，安全性的问题也日益凸显，成为制约其进一步广泛应用的关键所在。自动驾驶技术虽然能够提升驾驶效率和安全性，但一旦出现技术故障或系统失误，后果将不堪设想。因此，在确保自动驾驶技术不断进步的同时，必须高度重视其安全性问题，加强技术研发和测试验证，确保自动驾驶系统在各种复杂环境和突发情况下都能保持稳定可靠的运行。

3、交通标志对抗样本攻击是一种针对智能汽车视觉目标检测器的误导攻击，其在一般的交通标志图像上逐像素添加扰动，使得到的样本无法被自动驾驶检测器检测到交通标志类别或是误判为错误交通标志类别，但是这些样本在人眼看来仍为原交通标志类别。对于自动驾驶汽车而言，无法检测到交通标志类别或者误判为错误交通标志类别可能会引起较为严重的交通事故，如无法检测到限速标志，或者将限速60误判为限速100，会导致车辆出现严重的超速情况等。因此，为了强化自动驾驶汽车的安全性，研究交通标志对抗样本攻击至关重要。

4、现有的对抗样本生成方法，一般通过在训练过程中拟合目标变换以适应实际物理变换，但是生成的对抗样本只能拟合尽可能多的变换，不仅导致训练时拟合难度大，还可能会过拟合于某些不可能在车辆行驶时遇到的情况，使生成的对抗样本鲁棒性较差，进而导致利用该对抗样本训练得到的对抗模型的对抗效果不佳。

技术实现思路

1、为了解决现有技术中所存在的上述问题，本发明提供了一种用于对抗训练的交通标志对抗样本生成方法及设备。

2、本发明要解决的技术问题通过以下技术方案实现：

3、第一方面，本发明提供了一种用于对抗训练的交通标志对抗样本生成方法，包括：

4、获取交通标志图像和攻击向量；

5、对交通标志图像依次进行多尺度边界框调整、横向压缩以及预设物理适应处理，得到交通标志适应样本；

6、对交通标志适应样本进行图像嵌入得到嵌入样本；

7、将嵌入样本输入第一目标检测模型，并基于第一目标检测模型和攻击向量对嵌入样本进行迭代处理，获得对抗攻击样本；

8、将对抗攻击样本输入第二目标检测模型，并对第二目标检测模型进行对抗性训练，获得对抗性第二目标检测模型；

9、第一目标检测模型为攻击侧检测模型且节点参数被冻结；第二目标检测模型为对抗侧检测模型且节点参数未冻结；第一目标检测模型的预设损失函数用于计算风格损失、内容损失、对抗损失以及平滑损失之和；交通标志适应样本为基于车辆道路模型和相机成像模型获取得到；风格损失的值和内容损失的值为基于风格提取模型得到。

10、可选地，对交通标志图像依次进行多尺度边界框调整、横向压缩以及预设物理适应处理，得到交通标志适应样本，包括：

11、基于车辆道路模型和预设攻击参数对交通标志图像进行多尺度边界框调整，获取第一目标图像；

12、基于相机成像模型对第一目标图像进行横向压缩处理，获取第二目标图像；

13、对第二目标图像进行预设物理适应处理，得到交通标志适应样本。

14、可选地，预设攻击参数包括：预设攻击范围和预设攻击目标；

15、预设攻击范围包括：最远检测距离dmax和最短处理距离dmin。

16、可选地，预设物理适应处理包括：亮度变换、对比度变换、饱和度变换、分辨率变换、高斯噪声变换以及高斯模糊变换。

17、可选地，将嵌入样本输入第一目标检测模型，并基于第一目标检测模型和攻击向量对嵌入样本进行迭代处理，获得对抗攻击样本，包括：

18、将嵌入样本输入第一目标检测模型；

19、基于第一目标检测模型以及攻击向量对应的预设损失函数对嵌入样本进行迭代处理；

20、将预设损失函数的损失值小于预设阈值时所对应的嵌入样本作为对抗攻击样本。

21、可选地，预设损失函数包括：第一预设损失或第二预设损失；攻击向量包括：隐藏攻击或目标攻击；

22、基于第一目标检测模型以及攻击向量对应的预设损失函数对嵌入样本进行迭代处理，包括：

23、当攻击向量为隐藏攻击时，基于第一目标检测模型和第一预设损失对嵌入样本进行迭代处理；

24、当攻击向量为目标攻击时，基于第一目标检测模型和第二预设损失对嵌入样本进行迭代处理；隐藏攻击为对抗攻击样本被第一目标检测模型检测后输出的目标对象概率小于阈值；目标攻击为对抗攻击样本被第一目标检测模型检测为非目标对象且非目标对象的概率大于阈值。

25、可选地，风格损失的值和内容损失的值所对应计算过程包括：

26、获取交通标志图像和目标风格图像；

27、将交通标志图像和目标风格图像输入风格提取模型以对交通标志图像进行风格叠加处理，得到风格交通标志图像；

28、基于风格交通标志图像与目标风格图像之间的风格差异以及风格损失计算得到风格损失的值；

29、基于风格交通标志图像与交通标志图像之间的内容差异以及内容损失计算得到内容损失的值。

30、可选地，多尺度边界框调整对应的边界框大小表示为：

31、

32、其中，表示第ε个尺度下的边界框大小，ε表示第ε个尺度，m表示尺度总数，f表示相机焦距，l表示交通标志图像的尺寸，pd表示相机的像素密度，dmax表示最远检测距离，dmin表示最短处理距离；

33、横向压缩处理的压缩角度表示为：

34、

35、横向压缩处理的压缩比例表示为：

36、r＝cosa；

37、r表示横向压缩处理的压缩比例，a表示横向压缩处理的压缩角度，w表示交通标志图像与车辆行驶方向所在直线的垂线距离。

38、可选地，第一预设损失表示为：

39、

40、其中，lh表示第一预设损失，表示第一预设损失对应的第一对抗损失，lstyle表示风格损失，lcontent表示内容损失，lsmooth表示平滑损失，m表示图像嵌入时对应的背景图总数量，n是每张背景图中嵌入的交通标志适应样本的数量，k表示检测过程中边界框过滤后保留的边界框数量，pijl表示第i张背景图中第j个交通标志适应样本在边界框过滤之后得到的第l个边界框中存在交通标志适应样本的概率，wa表示对抗损失系数，ws表示风格损失系数，wc表示内容损失系数，wm表示平滑损失系数；

41、第二预设损失表示为：

42、

43、其中，lt表示第二预设损失，表示第二预设损失对应的第二对抗损失，vijly'表示攻击目标类别y'的分类置信度，vijlz表示除了y'以外的其他类别z的分类置信度，n表示对抗攻击样本的类别总数。

44、第二方面，本发明提供了一种用于对抗训练的交通标志对抗样本生成设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当用于对抗训练的交通标志对抗样本生成设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如上述第一方面用于对抗训练的交通标志对抗样本生成方法的步骤。

45、本发明提供了一种用于对抗训练的交通标志对抗样本生成方法及设备。其中，一种用于对抗训练的交通标志对抗样本生成方法，包括：获取交通标志图像和攻击向量；对交通标志图像依次进行多尺度边界框调整、横向压缩以及预设物理适应处理，得到交通标志适应样本；对交通标志适应样本进行图像嵌入得到嵌入样本；将嵌入样本输入第一目标检测模型，并基于第一目标检测模型和攻击向量对嵌入样本进行迭代处理，获得对抗攻击样本；将对抗攻击样本输入第二目标检测模型，并对第二目标检测模型进行对抗性训练，获得对抗性第二目标检测模型；第一目标检测模型为攻击侧检测模型且节点参数被冻结；第二目标检测模型为对抗侧检测模型且节点参数未冻结；第一目标检测模型的预设损失函数用于计算风格损失、内容损失、对抗损失以及平滑损失之和；交通标志适应样本为基于车辆道路模型和相机成像模型获取得到；风格损失的值和内容损失的值为基于风格提取模型得到。在本发明中，采用基于实际道路和拍摄设备建模的车辆道路模型和相机成像模型获取交通标志适应样本，使得最终生成的对抗攻击样本更加贴合实际场景，提高了对抗攻击样本的质量；其次，通过风格损失、内容损失、对抗损失以及平滑损失共同作用，获取对抗攻击样本，避免了现有物理世界对抗攻击方法为了强化鲁棒性而添加过大扰动，导致对抗攻击样本隐蔽性较差的问题；最后在对抗攻击样本质量和隐蔽性提高的基础上进行第二目标检测模型的对抗性训练，进而提高了第二目标检测模型的对抗性检测效果。

46、以下将结合附图及实施例对本发明做进一步详细说明。