一种基于卷积视觉Mamba的篡改检测方法

本发明属于数字取证，计算机视觉的，具体是一种基于卷积视觉mamba的篡改检测方法。

背景技术：

1、随着智能设备的普及，在社交媒体上分享数字图像逐渐成为一种很常见的行为。在互联网平台分享数字图像，有时候需要将图片处理成特定的大小，所使用的技术称为图像缩放技术，传统的数字图像缩放技术主要包括线性插值以及裁剪，这些方法都会对图像原本重要内容造成较大的破坏。

2、为了实现图像缩放的功能，同时尽可能减少图像原本重要内容的损失，2007年shai avidan提出了一种基于内容感知的图像缩放技术，即接缝裁剪(seam carving)。这种方法的主要思想是预先设定一个计算能量的函数，可以是基于像素点的梯度或者颜色变化等，然后对需要缩放的数字图像计算每个像素点的能量值，能量值越小的像素点意味着它们对整体图像的贡献越小，也意味着该像素点的重要性更低，删除这些像素点，对图像的损失更小，再利用动态规划算法，从上到下(从左到右)计算出一条能量值之和最小的像素点八连通路径(考虑像素点的八个方向)，这条路径也就是一条“缝隙”(seam)。删除这条路径，整个图像的高度(宽度)就减少了一个像素。

3、由于这项技术能够在实现图像缩放的同时，留下的伪影较少，很难用肉眼分辨。一些不法分子利用这项技术对重要的数字图像恶意篡改、扭曲事实，在互联网上发布虚假新闻，对社会稳定造成严重影响。因此，对seam carving算法检测方法的重要性越来越高，已经成为数字图像取证的一个重要分支。

技术实现思路

1、本发明为解决以上问题所采用的技术方案为：一种基于卷积视觉mamba的篡改检测方法，包括以下步骤：

2、步骤1.制作数据集：使用seam carving算法对数据集进行处理，按照不同的seamcarving率对图片宽度进行缩小，得到最终数据集。

3、步骤2.统一输入图像尺寸：将处理前的原图，随机裁剪到与对应seam carving率处理后图像相同的大小。

4、步骤3.训练网络模型，将制作好的数据集输入基于卷积视觉mamba的网络模型，使用交叉熵计算分类损失，利用反向传播更新网络模型参数。

5、步骤4.模型测试，将待检测的图像输入到训练后的网络模型，输出图像是否经过seam carving处理的检测结果。

6、在步骤3中，所述基于卷积视觉mamba的网络模型，包括顺序连接的预处理模块、伪影特征提取模块、特征尺度统一模块、视觉mamba模块。

7、所述预处理模块由一个卷积核为5×5的高通滤波组成。由于seam carving处理后的图像大部分区域与原图内容保持一致，因此采用一个预处理层对图像进行预处理，有利于抑制图像内容对检测效果带来的影响，其中高通滤波使用的卷积核如下：

8、

9、所述伪影特征提取模块由顺序连接的三种不同的卷积块组成，第一种卷积块包含一个卷积操作，用于扩充通道数；第二种是包含多个密集连接卷积块，同时将输出与初始输入进行残差连接；第三种包含两个不同核大小的卷积，同时将步长设置为2，使得特征向量大小减半。伪影特征提取模块用于增强seam carving处理后留下的伪影特征。

10、所述特征尺度统一模块通过自适应最大池化实现，由于每种seam carving率处理后图像被裁剪的像素不一样，通过将图像输入到特征尺度统一模块，输出统一维度的特征向量。

11、所述视觉mamba模块将所述统一维度的特征向量的通道数作为patch块数量，将patch块通过展平和线性投影为不同的特征单元token，再加上用于后续分类的类token，经过位置编码后，输入到多个mamba编码器堆叠的模块进行进一步全局伪影特征提取，最后输入到多层感知机进行检测分类。

12、所述mamba编码器包括正反双向两个一维卷积以及正反双向两个ssm，同时使用silu激活函数进行残差连接。

13、本发明具有以下的有益效果：

14、本发明方法使用高通滤波器对图像内容进行抑制，使用卷积神经网络进行局部特征学习，增强seam carving处理后留下的局部伪影特征，再输入到视觉mamba模块，将其转化为一系列图像表征用于后续的分类。利用卷积视觉mamba学习图像的局部和全局伪影特征，利用视觉mamba编码器中双向状态空间对提取局部伪影特征进行建模，使得模型更容易捕捉到图像中存在的伪影，能够有效提高在处理低seam carving率图像检测时的检测准确度。

技术特征：

1.一种基于卷积视觉mamba的篡改检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于卷积视觉mamba的篡改检测方法，其特征在于，所述基于卷积视觉mamba的网络模型，包括顺序连接构建的预处理模块、伪影特征提取模块、特征尺度统一模块、视觉mamba模块。

3.根据权利要求2所述的基于卷积视觉mamba的篡改检测方法，其特征在于，所述预处理模块由一个卷积核为5×5的高通滤波组成，对图像进行预处理，抑制图像内容对检测效果的影响，其中高通滤波使用的卷积核如下：

4.根据权利要求3所述的基于卷积视觉mamba的篡改检测方法，其特征在于，所述伪影特征提取模块由顺序连接的三种不同的卷积块组成，第一种卷积块包含一个卷积操作，用于扩充通道数；第二种是包含多个密集连接卷积块，同时将输出与初始输入进行残差连接；第三种包含两个不同核大小的卷积，同时将步长设置为2，使得特征向量大小减半。

5.根据权利要求4所述的基于卷积视觉mamba的篡改检测方法，其特征在于，所述特征尺度统一模块通过自适应最大池化实现，通过将图像输入到特征尺度统一模块，输出统一维度的特征向量。

6.根据权利要求5所述的基于卷积视觉mamba的篡改检测方法，其特征在于，所述视觉mamba模块将所述统一维度的特征向量的通道数作为patch块数量，将patch块通过展平和线性投影为不同的特征单元token，再加上用于后续分类的类token，经过位置编码后，输入到多个mamba编码器堆叠的模块进行全局伪影特征提取，最后输入到多层感知机进行检测分类。

7.根据权利要求6所述的基于卷积视觉mamba的篡改检测方法，其特征在于，所述mamba编码器包括正反双向两个一维卷积以及正反双向两个ssm，同时使用silu激活函数进行残差连接。

技术总结本发明公开了一种基于卷积视觉Mamba的篡改检测方法，该方法首先使用接缝裁剪算法对数据集进行处理，按照不同的接缝裁剪率对图片宽度进行缩小，得到数据集。其次将处理后的原图，随机裁剪到与对应接缝裁剪率处理后图像相同的大小。然后将数据集输入基于卷积视觉Mamba的网络模型，使用交叉熵计算分类损失，利用反向传播更新网络模型参数。最后将待检测的图像输入到训练后的网络模型，输出图像是否经过接缝裁剪处理的检测结果。本发明更容易捕捉到图像中存在的伪影，能够有效提高在处理低接缝裁剪率图像检测时的检测准确度。技术研发人员：沈张一,罗文豪,陈艳利,姚晔受保护的技术使用者：杭州电子科技大学技术研发日：技术公布日：2024/7/29