一种合成图像检测框架构建方法和系统与流程

本发明涉及图像识别，尤其涉及一种合成图像检测框架构建方法和系统。

背景技术：

1、近年来，生成模型在视觉领域有了极大的突破，特别是扩散模型的提出，使得生成高质量的图像成为可能。为了防止合成图像对人类社会和生产造成影响，识别这些图片是极具价值的。但目前有关ai图片鉴别的研究较少，总体上可分为基于图像的方法和基于模型的方法。前者重点研究图像的分类问题，从图像中抽取特征进行辨别；后者则研究特定模型生成图像时的内部信息，依赖于开源的图像生成模型。目前本领域的研究存在如下问题：（1）判别器对生成模型较为敏感，随着越来越强的生成模型的问世，现有判别模型的性能将不断下降，需要基于新模型给出新的解决方案；（2）需要大量的数据进行训练，对于网络上众多付费模型，很难以低成本的方式解决问题。

技术实现思路

1、为了解决现有技术中存在的问题，本发明提供了如下技术方案。

2、本发明第一方面提供了一种合成图像检测框架构建方法，包括：

3、s101，获取一定数量的图片对作为训练集；

4、s102，分别对训练集中的各图片进行预处理形成一维序列，将所述一维序列输入至视觉转换模型的线性层进行编码获得序列编码；

5、s103，分别提取训练集中的各图片的高曝光底片、频率域低通滤波图和暗通道图进行编码，获得额外编码；

6、s104，将序列编码和位置编码相加后获得的原始图像编码以及所述额外编码输入transformer编码模型中进行融合，提取出全局特征；

7、s105，将所述全局特征输入至多层感知器中进行训练，获得各图片所属的类别。

8、进一步的，所述图片对包括真实图片及与所述真实图片对应的生成图片。

9、进一步的，在获取一定数量的图片对作为训练集之前包括：将多幅真实图片分别输入至扩散模型，通过调整扩散模型的噪声添加比例，生成多个包含差异性的生成图片。

10、进一步的，分别对训练集中的各图片进行预处理形成一维序列包括：分别将训练集中的各图片切分为多个方块，将多个所述方块作为所述一维序列。

11、进一步的，将序列编码和位置编码相加后获得的原始图像编码以及所述额外编码输入transformer编码模型中进行融合，提取transformer编码模型输出对应额外编码cls位置的隐藏向量作为全局特征。

12、进一步的，将所述全局特征输入至多层感知器中进行训练，获得各图片所属的类别包括：将所述全局特征输入至多层感知器中，采用交叉熵作为损失函数进行训练，获得各图片的类别概率。

13、本发明第二方面提供了一种合成图像检测框架构建系统，包括：

14、图片对获取模块，用于获取一定数量的图片对作为训练集；

15、序列编码模块，用于分别对训练集中的各图片进行预处理形成一维序列，将所述一维序列输入至视觉转换模型的线性层进行编码获得序列编码；

16、额外编码模块，用于分别提取训练集中的各图片的高曝光底片、频率域低通滤波图和暗通道图进行编码，获得额外编码；

17、特征提取模块，用于将序列编码和位置编码相加后获得的原始图像编码以及所述额外编码输入transformer编码模型中进行融合，提取出全局特征；

18、分类模块，用于将所述全局特征输入至多层感知器中进行训练，获得各图片所属的类别。

19、本发明第三方面提供了一种存储器，存储有多条指令，所述指令用于实现如第一方面所述的一种合成图像检测框架构建方法。

20、本发明第四方面提供了一种电子设备，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如第一方面所述的一种合成图像检测框架构建方法。

21、本发明第五方面提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的合成图像检测框架构建方法。

22、本发明的有益效果是：本发明提供的一种合成图像检测框架构建方法和系统，采用视觉transformer结构而不是用传统的卷积神经网络处理图像，能充分提取图像特征，同时将图像的对比度、频域信息和暗通道等信息编码与原始图像融合，得到全局特征用于分类；另外本申请采用图像到图像的生成方式获取成对的真实图片和生成图片，通过对比真实图片和生成图片的细节，可以大幅度提高模型训练速度以及减少数据量的依赖，显著降低训练成本。

技术特征：

1.一种合成图像检测框架构建方法，其特征在于，包括：

2.如权利要求1所述的一种合成图像检测框架构建方法，其特征在于，所述图片对包括真实图片及与所述真实图片对应的生成图片。

3.如权利要求2所述的一种合成图像检测框架构建方法，其特征在于，在获取一定数量的图片对作为训练集之前包括：将多幅真实图片分别输入至扩散模型，通过调整扩散模型的噪声添加比例，生成多个包含差异性的生成图片。

4.如权利要求1所述的一种合成图像检测框架构建方法，其特征在于，分别对训练集中的各图片进行预处理形成一维序列包括：分别将训练集中的各图片切分为多个方块，将多个所述方块作为所述一维序列。

5.如权利要求1所述的一种合成图像检测框架构建方法，其特征在于，将序列编码和位置编码相加后获得的原始图像编码以及所述额外编码输入transformer编码模型中进行融合，提取transformer编码模型输出对应额外编码cls位置的隐藏向量作为全局特征。

6.如权利要求1所述的一种合成图像检测框架构建方法，其特征在于，将所述全局特征输入至多层感知器中进行训练，获得各图片所属的类别包括：将所述全局特征输入至多层感知器中，采用交叉熵作为损失函数进行训练，获得各图片的类别概率。

7.一种合成图像检测框架构建系统，其特征在于，包括：

8.一种存储器，其特征在于，存储有多条指令，所述指令用于实现如权利要求1-6任一项所述的合成图像检测框架构建方法。

9.一种电子设备，其特征在于，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1-6任一项所述的合成图像检测框架构建方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-6任一项所述的合成图像检测框架构建方法。

技术总结本发明公开了一种合成图像检测框架构建方法和系统，属于图像识别技术领域。方法包括：获取一定数量的图片对作为训练集；分别对训练集中的各图片进行预处理形成一维序列并输入至视觉转换模型的线性层进行编码获得序列编码；分别提取训练集中的各图片的高曝光底片、频率域低通滤波图和暗通道图进行编码，获得额外编码；将其与序列编码和位置编码相加后获得的原始图像编码输入transformer编码模型中进行融合，提取出全局特征并输入至多层感知器中进行训练，获得各图片所属的类别。本申请采用视觉Transformer结构处理图像，添加额外编码，得到全局特征用于分类；另外采用图像到图像的生成方式获取成对的真实图片和生成图片，大幅度提高模型训练速度、减少数据量的依赖。技术研发人员：王业全,吴诗雨,刘静,于乃通受保护的技术使用者：北京智源人工智能研究院技术研发日：技术公布日：2024/12/23