面向浏览器的半物理对抗攻击方法及装置

本发明属于对抗攻击技术的，具体涉及一种面向浏览器的半物理对抗攻击方法及装置。

背景技术：

1、对抗样本攻击是由szegedy等人首先提出的一种面向机器学习模型的攻击方案，对抗样本是一种对干净图像进行有意的修改后，如添加噪声，得到的攻击图像,用以欺骗机器学习模型。攻击时先对模型输入干净图像并得到正确的分类结果。随后通过对输入样本添加微小的扰动，在计算机视觉中这类扰动常表现为噪声、形状变化、颜色改变等形式，得到对抗样本。最后将对抗样本如正常数据一样输入机器学习模型并使其做出错误判断。

2、对抗样本攻击的研究起初重点关注于图像分类任务，现逐渐拓展到目标检测、人脸识别等更加复杂的计算机视觉任务中。对抗样本攻击根据攻击应用场景，划分为数字域攻击和物理域攻击两类。在数字域攻击中，攻击者可以直接获得数字图片，并对其进行精确到像素的修改，生成的数字对抗样本可直接作为模型的输入。而在物理域攻击中，需要传感器先捕获被攻击的物理实体，生成数字域的对抗攻击图片，再将图像输入分类模型。物理域的攻击更加侧重于优化不限制幅度的局部扰动，其可以打印和粘贴在现实世界的对象上，即在现实世界中进行扰动，扰动阶段在摄像机成像之前。在物理域中，很难用能够在数字域中成功实施攻击的小扰动达到同样的攻击性能，这些微小的扰动很难被摄像机成功捕捉到，这限制了对抗样本和真实物理世界之间的联系。

3、另外，随着计算机技术和互联网技术的飞速发展，深度神经网络在图像识别、视频分类、目标检测、图像去噪等计算机视觉任务中表现出卓越的效果，深度神经网络的应用范围也越来越广泛。然而随着深度神经网络的快速发展，其弱点也随之暴露。深度神经网络模型十分容易因受到对其输入对抗性操作而出现错误。对抗性攻击不但存在于自动编码器、强化学习、语义分割和目标检测等方面，在现实中也同样存在。人脸识别、手机摄像头、路牌识别等场景中都可以实施对抗性攻击。比如在路标上张贴攻击者精心制作的贴纸即可误导自动驾驶系统将停止路标识别为限速路标。而到目前为止，对抗性攻击还是主要针对数字域进行攻击，因为稳定性、实现难度等无法迁移到物理域，针对物理域的对抗攻击方法还是较少。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种面向浏览器的半物理对抗攻击方法及装置，利用浏览器css的特性，基于网页渲染实现了更为隐蔽和复杂的对抗攻击策略。

2、为了达到上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种面向浏览器的半物理对抗攻击方法，包括下述步骤：

4、将原始图像ss输入到预训练的深度神经网络中，得到识别结果q1；

5、使用浏览器渲染效果，生成噪声图像sa；

6、将原始图像ss与噪声图像sa叠加，得到数字域的对抗样本sd；

7、将数字域的对抗样本sd输入到预训练的深度神经网络中，得到高置信度的识别结果q2；

8、对数字域的对抗样本sd拍照，获取物理域的对抗样本sc；

9、将物理域的对抗样本sc输入到预训练的深度神经网络中，得到高置信度的识别结果q3。

10、作为优选的技术方案，所述浏览器渲染效果具体为浏览器层叠样式表。

11、作为优选的技术方案，所述噪声图像sa包括feturbulence滤镜、白噪点和随机噪点。

12、作为优选的技术方案，所述原始图像ss与噪声图像sa的叠加方法，包括：

13、变更噪声图像sa的透明度，与原始图片ss进行合并；

14、噪声图像sa包括多种，利用不同噪声图像sa与原始图像ss合并；

15、变更噪声图像sa叠加位置，与原始图像ss合并；

16、使用时，采用以上一种或者多种组合叠加方法生成数字域的对抗样本sd。

17、作为优选的技术方案，所述拍照方式，包括相机拍照、截图、打印和传真。

18、作为优选的技术方案，所述深度神经网络包括卷积神经网络。

19、作为优选的技术方案，所述深度神经网络通过大量数据集进行训练，获取权重参数，经过微调后获取预训练的深度神经网络。

20、第二方面，本发明还提供了一种面向浏览器的半物理对抗攻击系统，应用于所述的面向浏览器的半物理对抗攻击方法，包括图像识别模块、噪声生成模块、图像叠加模块以及图像拍照模块；

21、图像识别模块，用于以下步骤：

22、将原始图像ss输入到预训练的深度神经网络中，得到识别结果q1；

23、将数字域的对抗样本sd输入到预训练的深度神经网络中，得到高置信度的识别结果q2；

24、将物理域的对抗样本sc输入到预训练的深度神经网络中，得到高置信度的识别结果q3；

25、噪声生成模块，用于使用浏览器渲染效果，生成噪声图像sa；

26、图像叠加模块，用于将原始图像ss与噪声图像sa叠加，得到数字域的对抗样本sd；

27、图像拍照模块，用于对数字域的对抗样本sd拍照，获取物理域的对抗样本sc。第三方面，本发明提供了一种电子设备，所述电子设备包括：

28、至少一个处理器；以及，

29、与所述至少一个处理器通信连接的存储器；其中，

30、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的面向浏览器的半物理对抗攻击方法。

31、第四方面，本发明提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的面向浏览器的半物理对抗攻击方法。

32、本发明与现有技术相比，具有如下优点和有益效果：

33、(1)本发明提出了一种面向浏览器的半物理对抗攻击方法，通过利用高度普及的css样式，对浏览器的图片从数字域与物理域上处理，既可以实现数字域对浏览器的攻击，也可以实现物理域对浏览器的攻击。

34、(2)本发明通过对数字域的对抗样本进行拍照，从物理域上能够在数字域中成功实施攻击的小扰动达到同样的攻击性能，同时这些微小的扰动成功地被摄像机捕捉到，实现了数字域和物理域的对抗样本攻击，提高了机器学习模型的鲁棒性。

技术特征：

1.面向浏览器的半物理对抗攻击方法，其特征在于，包括下述步骤：

2.根据权利要求1所述面向浏览器的半物理对抗攻击方法，其特征在于，所述浏览器渲染效果具体为浏览器层叠样式表。

3.根据权利要求2所述面向浏览器的半物理对抗攻击方法，其特征在于，所述噪声图像sa包括feturbulence滤镜、白噪点和随机噪点。

4.根据权利要求1所述面向浏览器的半物理对抗攻击方法，其特征在于，所述原始图像ss与噪声图像sa的叠加方法，包括：

5.根据权利要求1所述面向浏览器的半物理对抗攻击方法，其特征在于，所述拍照方式，包括相机拍照、截图、打印和传真。

6.根据权利要求1所述面向浏览器的半物理对抗攻击方法，其特征在于，所述深度神经网络包括卷积神经网络。

7.根据权利要求1所述面向浏览器的半物理对抗攻击方法，其特征在于，所述深度神经网络通过大量数据集进行训练，获取权重参数，经过微调后获取预训练的深度神经网络。

8.面向浏览器的半物理对抗攻击系统，其特征在于，应用于权利要求1-7中任一项所述的面向浏览器的半物理对抗攻击方法，包括图像识别模块、噪声生成模块、图像叠加模块以及图像拍照模块；

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的面向浏览器的半物理对抗攻击方法。

技术总结本发明公开了一种面向浏览器的半物理对抗攻击方法及装置，方法包括：将原始图像Ss输入到预训练的深度神经网络中，得到识别结果Q1；使用浏览器渲染效果，生成噪声图像Sa；将原始图像Ss与噪声图像Sa叠加，得到数字域的对抗样本Sd；将数字域的对抗样本Sd输入到预训练的深度神经网络中，得到高置信度的识别结果Q2；对数字域的对抗样本Sd拍照，获取物理域的对抗样本Sc；将物理域的对抗样本Sc输入到预训练的深度神经网络中，得到高置信度的识别结果Q3。本发明利用浏览器css的特性，基于网页渲染在数字域与物理域上对浏览器图片实现了更为隐蔽和复杂的对抗攻击策略。技术研发人员：任利敬,张登辉,赵静,苏国辉,王茂碧,李然,潘丽艳受保护的技术使用者：广东机电职业技术学院技术研发日：技术公布日：2024/7/29