高光谱图像对抗样本生成方法及高光谱目标检测模型测试方法

本发明属于人工智能安全，具体涉及一种高光谱图像对抗样本生成方法及高光谱目标检测模型测试方法。

背景技术：

1、高光谱图像是通过高光谱相机拍摄出的具有空间可识别性、超多波段、光谱分辨率高以及图谱合一等优点的图像。与普通图像不同，高光谱图像不仅包含目标的位置和形状信息，还包含丰富的光谱信息。在高光谱图像中，每个像素都可以看作是一个高维向量，像素的数值对应于特定波长的光谱反射率。由于同一物体的不同部分对不同波段的光谱吸收程度不同，所以高光谱图像相较于普通图像更能充分反映目标之间的内部差异。因而高光谱技术被广泛应用在遥感、图像场景分类、医学成像、军事目标识别等高精度领域。

2、随着人工智能技术的发展，深度神经网络越来越多的被引入高光谱目标检测技术上。但是，近年来的研究表明，深度神经网络容易受到攻击算法的干扰，造成了人工智能安全方面的隐患。一般的攻击算法主要通过对原始样本添加一些对抗性扰动，生成对抗样本，来误导训练好的网络做出错误的预测。因此，有必要针对高光谱目标检测网络(高光谱目标检测模型)进行抵御攻击方面的性能测试验证。一般而言，通常利用对抗样本对待测试的高光谱目标检测模型进行攻击，并通过模型的预测结果分析网络抵御攻击的能力。其中，对抗样本的质量对测试结果有着重要影响。

3、现有的对抗样本生成方法大都是针对rgb图像领域的。在rgb图像领域中，生成的对抗样本误导模型分类的大部分特征是图像的空间特征，只有少量的色彩特征。而高光谱图像中包含有丰富的光谱信息，如果仅仅将对rgb图像的对抗样本生成方法直接应用到高光谱图像中，将不会很好的利用到高光谱图像独有的光谱信息，导致生成的对抗样本所包含的信息有限，限制了对抗样本在误导模型正确分类过程中的作用，从而影响了模型测试效果。

4、因此，有必要研究出专门针对高光谱图像的对抗样本生成方法，以对高光谱目标检测模型进行测试，从而启发和激励高光谱领域中的对抗防御研究，提升高光谱领域中深度神经网络的安全性。

技术实现思路

1、本发明针对上述现有技术的不足，提出了一种高光谱图像对抗样本生成方法及高光谱目标检测模型测试方法，并通过实验证明了采用本发明的方法生成的对抗样本可以大大降低高光谱目标检测模型的分类精度，能够实现高光谱目标检测模型的有效测试。

2、本发明要解决的技术问题通过以下技术方案实现：

3、第一方面，本发明提出的一种高光谱图像对抗样本生成方法，包括：

4、获取原始高光谱图像，并选择代理模型；其中，代理模型为包括编码表和注意力机制的高光谱分类模型；

5、利用代理模型对原始高光谱图像进行处理，得到预测结果；

6、基于代理模型，结合目标类别的光谱特征和空间特征制作混合图像；

7、将原始高光谱图像和混合图像分别输入代理模型，对应得到两个浅层特征；其中，浅层特征为代理模型前部分用于做降维和特征提取处理的若干连续卷积层中最后一层卷积输出的特征；

8、基于两个浅层特征和预测结果，构建多路混合损失函数，并利用多路混合损失函数对网络进行反向传播迭代训练，得到对抗样本。

9、第二方面，本发明提出了一种高光谱目标检测模型测试方法，包括：

10、采用本发明第一方面提供的高光谱图像对抗样本生成方法生成对抗样本；

11、将对抗样本输入到待测试的高光谱目标检测模型中进行测试，以获得该高光谱目标检测模型在抵御攻击方面的测试结果。

12、本发明的有益效果：

13、1、本发明提供的高光谱图像对抗样本生成方法，首先选定了包括编码表和注意力机制的高光谱分类模型作为代理模型，然后基于选定的代理模型制作了包括目标类别光谱特征和空间特征的混合图像，接着利用代理模型获取原始高光谱图像和混合图像的浅层特征，以及代理模型输出的预测结果，并据此构建了多路混合损失函数，最后利用多路混合损失函数对代理模型进行反向传播迭代训练，得到对抗样本。该方法完整的利用了代理模型的浅层输出特征、深层输出特征以及高光谱数据的空间特征和光谱特征，使得生成的对抗样本具有更丰富的信息，从而增强了对抗样本在误导模型正确分类的过程中的作用，进而提升了对抗样本在模型测试方面的有效性；

14、2、本发明提供的高光谱图像对抗样本生成方法将论文“deep insideconvolutional networks:visualising image classification models and saliencymaps”中提出的saliency maps算法改进到高光谱图像数据中，利用改进后的saliencymaps算法有针对性的选择各个目标类别的光谱通道，并据此制作混合图像；相比对每个目标类别随机的分配通道制作的混合图像，其特征混合的更充分，使得生成的对抗样本对光谱信息利用的更加充分；

15、3、本发明提供的高光谱图像对抗样本生成方法设计了双路混合损失函数，一路是kl散度，可以缩小混合图像的浅层特征和原始图像的浅层特征之间的分布距离；另一路是交叉熵损失，考虑到网络的预测精准度对网络有至关重要的影响，所以用交叉熵损失来协助攻击。这两路损失可以共同提取出不同模型间相似的参数梯度分布，进一步提升生成的对抗样本的有效性。

16、以下将结合附图及实施例对本发明做进一步详细说明。

技术特征：

1.一种高光谱图像对抗样本生成方法，其特征在于，包括：

2.根据权利要求1所述的高光谱图像对抗样本生成方法，其特征在于，基于所述代理模型，结合目标类别的光谱特征和空间特征制作混合图像，具体包括：

3.根据权利要求2所述的高光谱图像对抗样本生成方法，其特征在于，基于所述代理模型，获得各个目标类别的通道敏感度折线图，具体包括：

4.根据权利要求3所述的高光谱图像对抗样本生成方法，其特征在于，利用改进后的saliency maps算法，获得高光谱图像中每个像素点的每个光谱通道对分类影响的权重，具体包括：

5.根据权利要求2所述的高光谱图像对抗样本生成方法，其特征在于，结合所述折线图，分析各个目标类别的光敏感区域，并生成混合向量，具体包括：

6.根据权利要求2所述的高光谱图像对抗样本生成方法，其特征在于，基于所述混合向量对所述原始高光谱图像进行光谱特征混合，得到仅混合了光谱特征的初级混合图像，具体包括：

7.根据权利要求2所述的高光谱图像对抗样本生成方法，其特征在于，对所述初级混合图像进行空间特征混合，得到最终的混合图像，具体包括：

8.根据权利要求1所述的高光谱图像对抗样本生成方法，其特征在于，所述多路混合损失函数为双路混合损失函数；所述双路损失函数是由两路混合损失函数按照一定的权重配比生成的；

9.根据权利要求8所述的高光谱图像对抗样本生成方法，其特征在于，利用所述多路混合损失函数对网络进行反向传播迭代训练，得到对抗样本，具体包括：

10.一种高光谱目标检测模型测试方法，其特征在于，包括：

技术总结本发明公开了一种高光谱图像对抗样本生成方法及高光谱目标检测模型测试方法，其中，对抗样本生成方法包括：获取原始高光谱图像，并选择代理模型；利用代理模型对原始高光谱图像进行处理，得到预测结果；基于代理模型，结合目标类别的光谱特征和空间特征制作混合图像；将原始高光谱图像和混合图像分别输入代理模型，对应得到两个浅层特征；基于两个浅层特征和预测结果构建多路混合损失函数，并利用多路混合损失函数对代理模型进行反向传播迭代训练，得到对抗样本。采用该方法生成的对抗样本包括丰富的光谱信息，能够实现高光谱目标检测模型的有效测试。技术研发人员：高大化,李睿拓,刘丹华,贺昱,牛毅受保护的技术使用者：西安电子科技大学技术研发日：技术公布日：2024/7/29