一种基于密度贡献感知的对抗补丁生成方法、系统及介质

本申请涉及人群计数，尤其涉及一种基于密度贡献感知的对抗补丁生成方法、系统及介质。

背景技术：

1、人群计数是计算机视觉中的一项重要任务，旨在自动估计图像或视频中拥挤的人数。在关注深度神经网络的任务性能同时，其鲁棒性也是学者研究的重点。由于深度神经网络的固有特性，深度神经人群计数模型暴露了其在数字或物理环境中受到对抗性攻击的脆弱性。训练良好的人群计数模型很容易受到精心制作的对抗扰动的影响，以至于在进行特定任务时无法给出正确预测信息。进而，有研究发现通过对这一类特殊噪声进行预先学习，能够有效地防御类似扰动特征的攻击，提升任务网络模型的鲁棒性。因此，建立对抗扰动生成机制对提升深度神经网络鲁棒性具有重要意义。现有的对抗性补丁生成框架侧重于整个密度图区域，它们将密度图区域中的所有特征作为对抗性特征生成的来源。然而，非密度区域的特性不会导致基础人群计数模型的预测产生误导，利用这一类特征信息引导对抗特征生成会严重限制对抗性特征在欺骗人群估计模型中的性能，降低对抗特征可转移性。

技术实现思路

1、为解决上述技术问题，本发明的目的在于：提供一种对抗性能高的基于密度贡献感知的对抗补丁生成方法、系统及介质。

2、为实现上述目的，本申请实施例的一方面提出了一种基于密度贡献感知的对抗补丁生成方法，包括以下步骤：

3、将预设的初始化掩膜、预设的初始化噪声以及待计数图像进行元素级相加，得到初始对抗样本；

4、将所述初始对抗样本输入预训练好的人群计数模型，得到所述待计数图像对应的预测信息和密度图；

5、根据所述待计数图像对应的标签和所述密度图得到密度相关差异，并根据所述预测信息得到密度相关重要性；

6、根据所述密度相关差异和所述密度相关重要性得到密度相关贡献，进而根据所述密度相关贡献和mse损失值得到总体损失函数；

7、根据所述总体损失函数和所述初始化噪声对所述初始对抗样本进行更新，生成对抗补丁。

8、在一些实施例中，所述根据所述待计数图像对应的标签和所述密度图得到密度相关差异这一步骤，其具体包括：

9、将所述待计数图像输入所述人群计数模型，得到所述待计数图像对应的所述标签；

10、计算所述标签和所述密度图的差异绝对值，进而对所述差异绝对值进行sign函数操作，得到所述密度相关差异。

11、在一些实施例中，所述根据所述预测信息得到密度相关重要性这一步骤，其具体为：

12、将所述预测信息近似为所述密度相关重要性。

13、在一些实施例中，所述密度相关贡献通过下式确定：

14、a＝d⊙i

15、i＝ip+γin

16、其中，a表示所述密度相关贡献，d表示所述密度相关差异，i表示所述密度相关重要性，ip表示所述密度相关重要性i中的正重要性特征，in表示所述密度相关重要性i中的负重要性特征，γ为平衡权重。

17、在一些实施例中，所述根据所述密度相关贡献和mse损失值得到总体损失函数这一步骤，其具体为：

18、计算所述密度图和所述标签之间的差异，得到所述mse损失值；

19、计算所述密度相关贡献的元素总和，进而将所述mse损失值和所述元素总和进行融合，得到所述总体损失函数。

20、在一些实施例中，所述总体损失函数通过下式确定：

21、

22、其中，l表示所述总体损失函数，ai，j表示(i，j)处像素对应的所述密度相关贡献，xadvi，j表示(i，j)处像素对应的所述待计数图像，γ表示所述待计数图像xadvi，j的像素总和，gti，j表示(i，j)处像素对应的所述密度图，fθ(xadvi，j)表示所述待计数图像xadvi，j对应的标签，α和β表示超参数。

23、在一些实施例中，所述根据所述总体损失函数和所述初始化噪声对所述初始对抗样本进行更新，生成对抗补丁这一步骤，其具体为：

24、根据所述总体损失函数计算梯度相关信息，进而将所述梯度相关信息与所述初始化噪声进行相加，得到所述对抗补丁，进而根据所述对抗补丁对所述初始对抗样本进行更新。

25、为实现上述目的，本申请实施例的另一方面提出了一种基于密度贡献感知的对抗补丁生成系统，包括：

26、对抗样本生成模块，用于将预设的初始化掩膜、预设的初始化噪声以及待计数图像进行元素级相加，得到初始对抗样本；

27、预测信息获取模块，用于将所述初始对抗样本输入预训练好的人群计数模型，得到所述待计数图像对应的预测信息和密度图；

28、第一密度信息获取模块，用于根据所述待计数图像对应的标签和所述密度图得到密度相关差异，并根据所述预测信息得到密度相关重要性；

29、第二密度信息获取模块，用于根据所述密度相关差异和所述密度相关重要性得到密度相关贡献，进而根据所述密度相关贡献和mse损失值得到总体损失函数；

30、对抗补丁生成模块，用于根据所述总体损失函数和所述初始化噪声对所述初始对抗样本进行更新，生成对抗补丁。

31、为实现上述目的，本申请实施例的另一方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如前面所述的基于密度贡献感知的对抗补丁生成方法。

32、为实现上述目的，本申请实施例的另一方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如前面所述的基于密度贡献感知的对抗补丁生成方法。

33、本发明的有益效果是：本发明的基于密度贡献感知的对抗补丁生成方法、系统及介质，通过初始化掩膜、初始化噪声以及待处理图像的相加，生成初始对抗样本，并将生成的初始对抗样本输入人群计数模型，得到相应的预测信息，进而通过待计数图像的标签、密度图和人群计数模型输出的预测信息，得到密度相关差异和密度相关重要性，通过将密度相关差异和密度相关重要性相结合，得到密度相关贡献，以此得到元素级别的密度相关变化，最后结合mse损失函数，通过密度相关变化指导人群计数模型梯度下降，生成对抗补丁。本发明利用密度相关变化来构建用于攻击人群计数模型的对抗补丁，能够有效捕捉密度图中的像素级别变化，为对抗补丁生成提供有效依据，实现对抗补丁对人群计数模型的强攻击效果，提高对抗补丁在欺骗人群计数模型中的性能。

技术特征：

1.一种基于密度贡献感知的对抗补丁生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于密度贡献感知的对抗补丁生成方法，其特征在于，所述根据所述待计数图像对应的标签和所述密度图得到密度相关差异这一步骤，其具体包括：

3.根据权利要求1所述的一种基于密度贡献感知的对抗补丁生成方法，其特征在于，所述根据所述预测信息得到密度相关重要性这一步骤，其具体为：

4.根据权利要求1所述的一种基于密度贡献感知的对抗补丁生成方法，其特征在于，所述密度相关贡献通过下式确定：

5.根据权利要求1所述的一种基于密度贡献感知的对抗补丁生成方法，其特征在于，所述根据所述密度相关贡献和mse损失值得到总体损失函数这一步骤，其具体为：

6.根据权利要求1所述的一种基于密度贡献感知的对抗补丁生成方法，其特征在于，所述总体损失函数通过下式确定：

7.根据权利要求1至6中任一项所述的一种基于密度贡献感知的对抗补丁生成方法，其特征在于，所述根据所述总体损失函数和所述初始化噪声对所述初始对抗样本进行更新，生成对抗补丁这一步骤，其具体为：

8.一种基于密度贡献感知的对抗补丁生成系统，其特征在于：包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于密度贡献感知的对抗补丁生成方法的步骤。

10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的基于密度贡献感知的对抗补丁生成方法的步骤。

技术总结本发明公开了一种基于密度贡献感知的对抗补丁生成方法、系统及介质，方法包括：将预设的初始化掩膜、预设的初始化噪声以及待计数图像进行元素级相加，得到初始对抗样本；将初始对抗样本输入人群计数模型，得到待计数图像对应的预测信息和密度图；根据待计数图像对应的标签和密度图得到密度相关差异，并根据预测信息得到密度相关重要性；根据密度相关差异和密度相关重要性得到密度相关贡献，进而根据密度相关贡献和MSE损失值得到总体损失函数；根据总体损失函数和初始化噪声对初始对抗样本进行更新，生成对抗补丁。本发明能够实现对抗补丁对人群计数模型的强攻击效果，提高对抗补丁在欺骗人群计数模型中的性能，可广泛应用于人群计数技术领域。技术研发人员：肖亚铁,王翩,苏文康,黄华锟受保护的技术使用者：广州大学技术研发日：技术公布日：2024/7/29