一种基于图拓扑学习的AI生成图像检测方法

本发明涉及图像处理，尤其涉及一种基于图拓扑学习的ai生成图像检测方法。

背景技术：

1、现如今伴随着生成对抗网络和扩散模型在视觉合成方面取得了显著的成功，伪造图像的方式也变得更加广泛，从而导致虚假信息滥用的风险日益增加。现有技术中主要通过cnnspot以及patchcraft去检测生成对抗网络的伪造图像，然而在处理复杂生成图像时仍面临特征提取不充分和检测准确率低的问题。在研究算法上，检测生成图像时主要依赖于全局区域伪影，会导致特殊的局部伪造痕迹，例如眼睛、毛发等细致伪影很难被检测出来。同时目前的检测方法忽视了图像样本间的对应关系，这对于自然图像检测任务非常重要。因此，亟需提供一种方案改善上述问题。

技术实现思路

1、本发明的目的在于提供一种基于图拓扑学习的ai生成图像检测方法，改善了现有技术在复杂场景下的检测能力。

2、本发明提供的一种基于图拓扑学习的ai生成图像检测方法，采用如下的技术方案：

3、基于冻结的clip提取多张图像样本的全局视觉特征并为所述多张图像样本分别添加标签；

4、将所述多张图像样本视为节点，基于点积运算得到两两节点对之间的相似度并构建节点对之间的相似度矩阵，将所述相似度矩阵中标签相同且相似度低于阈值的节点对构成难样本对，基于所述难样本对构建图拓扑结构，基于图卷积网络获取图拓扑结构中节点之间的关系特征；

5、将所述图像样本的全局视觉特征及节点之间的关系特征进行拼接融合获得节点特征向量，并输送到线性层进行真假分类预测获得检测结果；

6、基于度量学习损失函数更新图卷积网络的参数，基于二元交叉熵损失更新线性层的参数。

7、可选的，将所述标签相同且相似度低于阈值的节点对构成难样本对的过程中，所述阈值的计算方式如下：

8、所述阈值通过计算标签不同的节点对之间的相似度均值获得，阈值计算公式为：

9、；

10、其中，为相似度阈值，表示所有节点的集合，和分别为节点与节点的标签，为节点与节点的相似度。

11、可选的，基于所述难样本对构建图拓扑结构的过程中，包括：当节点对为难样本对时，两节点之间有连接边，反之则两节点之间无连接边，以此构建节点的邻接矩阵，所述邻接矩阵为图像样本的图拓扑结构。

12、可选的，基于图卷积网络获取图拓扑结构中节点之间的关系特征，包括：

13、将所述多张图像样本的全局视觉特征及图拓扑结构输入到图卷积网络，基于图卷积网络聚合所述图拓扑结构中每个节点的相邻节点的特征信息，获得图拓扑结构中节点之间的关系特征；所述图卷积网络包括两个图卷积层和一个relu激活层，所述节点的特征信息为图像样本的全局视觉特征。

14、可选的，基于图卷积网络聚合所述图拓扑结构中每个节点的特征信息的过程中，卷积公式如下：

15、；

16、其中，为第层的节点特征矩阵，为第层的节点特征矩阵，为图卷积网络中的层数索引，为relu激活层的一个非线性激活函数，为的度矩阵，，为邻接矩阵，为单位矩阵，为所述多张图像样本的全局视觉特征，为当前卷积层可训练的参数矩阵。

17、可选的，将所述图像样本的全局视觉特征及节点之间的关系特征进行拼接融合获得节点特征向量，使用如下公式进行：

18、；

19、其中，为拼接融合后的节点特征向量，为特征融合，为所述图像样本的全局视觉特征，为图拓扑结构中节点之间的关系特征。

20、可选的，输送到线性层进行真假分类预测获得检测结果，使用如下公式进行：

21、；

22、其中，为检测结果，是线性层可训练的参数矩阵，为拼接融合后的节点特征向量，b为线性层参数。

23、可选的，基于度量学习损失函数更新图卷积网络的参数，包括：基于图卷积网络获取图拓扑结构中节点之间的关系特征时，同时利用反向传播算法，计算度量学习损失函数对图卷积网络参数的梯度，基于所述梯度使用优化算法更新图卷积网络参数。

24、可选的，所述度量学习损失函数为：

25、；

26、其中，为度量学习损失函数，表示图拓扑结构中所有连接边的集合，和分别为拼接融合后的节点特征向量和节点特征向量。

27、本发明提出的基于图拓扑学习的ai生成图像检测方法的有益效果在于：

28、1、本发明提出了一种难样本区分的图拓扑结构，并基于图卷积网络聚合所述图拓扑结构中每个节点的相邻节点的特征信息，拉近标签相同的图像样本的距离，更好的区分出不同标签的图像样本。

29、2、本发明设计了一种基于图拓扑的度量学习，在训练过程中对图卷积网络进行参数调优，直至获得最优的检测效果，提高了检测伪造图像的准确率和精度。

技术特征：

1.一种基于图拓扑学习的ai生成图像检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图拓扑学习的ai生成图像检测方法，其特征在于，将所述标签相同且相似度低于阈值的节点对构成难样本对的过程中，所述阈值的计算方式如下：

3.根据权利要求1所述的一种基于图拓扑学习的ai生成图像检测方法，其特征在于，基于所述难样本对构建图拓扑结构的过程中，包括：

4.根据权利要求1所述的一种基于图拓扑学习的ai生成图像检测方法，其特征在于，基于图卷积网络获取图拓扑结构中节点之间的关系特征，包括：

5.根据权利要求4所述的一种基于图拓扑学习的ai生成图像检测方法，其特征在于，基于图卷积网络聚合所述图拓扑结构中每个节点的特征信息的过程中，卷积公式如下：

6.根据权利要求1所述的一种基于图拓扑学习的ai生成图像检测方法，其特征在于，将所述图像样本的全局视觉特征及节点之间的关系特征进行拼接融合获得节点特征向量，使用如下公式进行：

7.根据权利要求6所述的一种基于图拓扑学习的ai生成图像检测方法，其特征在于，输送到线性层进行真假分类预测获得检测结果，使用如下公式进行：

8.根据权利要求1所述的一种基于图拓扑学习的ai生成图像检测方法，其特征在于，基于度量学习损失函数更新图卷积网络的参数，包括：

9.根据权利要求8所述的一种基于图拓扑学习的ai生成图像检测方法，其特征在于，所述度量学习损失函数为：

技术总结本发明提供了一种基于图拓扑学习的AI生成图像检测方法，涉及图像处理技术领域。基于图拓扑学习的AI生成图像检测方法包括以下步骤：基于冻结的CLIP提取多张图像样本的全局视觉特征；基于所述多张图像样本构建图拓扑结构，基于图卷积网络获取图拓扑结构中节点之间的关系特征；进行拼接融合获得节点特征向量，并输送到线性层进行真假分类预测获得检测结果；基于度量学习损失函数更新图卷积网络的参数，基于二元交叉熵损失更新线性层的参数。本发明根据CLIP的视觉特征设计了一种难样本区分的图拓扑结构，将图拓扑的特征输入到图卷积网络中进行特征学习，进一步丰富和增强了特征表示的判别力，提升了检测时的准确性和泛化性。技术研发人员：丁峰,张月,张俊,徐健锋,华鑫受保护的技术使用者：南昌大学技术研发日：技术公布日：2024/12/2