电网环境下的视频帧间篡改检测方法、装置、设备及介质

本发明涉及视频篡改检测领域，尤其涉及一种电网环境下的视频帧间篡改检测方法、装置、设备及介质。

背景技术：

1、电网频率（electric network frequency，enf）是指电网的传输频率，在50hz或60hz上下波动。在电网环境下拍摄的视频可能表现出由交流电网中光源强度变化引起的闪烁伪影，表现出与enf波动相同的模式，这种闪烁以其时变性和准周期性为特点，是视频篡改取证的有效线索。

2、目前，基于enf信号的视频取证技术有两类。一类技术以真实enf数据库为参照对篡改视频进行检测与定位。另一类是针对全局曝光模式下的视频，利用enf信号的相位连续性进行篡改检测与定位。这两类技术存在如下缺陷：一是需要从视频中准确估计出enf信号并借助真实enf数据库作为参考方可实现检测，二是未考虑行曝光模式下采集的视频以及动态场景情况，导致实施视频篡改检测工作困难。

技术实现思路

1、本发明的目的在于如何在不需要参考电网频率的情况下，实现照明环境下cmos传感器采集的视频的帧间篡改检测。

2、本发明解决其技术问题所采用的技术方案是：

3、一种电网环境下的视频帧间篡改检测方法，其包括以下步骤：

4、获取包含多个视频的数据集；其中，所述视频包括含有电网频率信号的原始视频和帧间篡改视频；

5、对每个视频，计算每帧画面的所有行像素的平均亮度值，获得每帧的行亮度序列，并连接所有帧的行亮度序列以获得每个视频的行亮度信号样本；

6、对所述行亮度信号样本采用去除直流分量和下采样操作，获得预处理后的一维时间序列样本；

7、利用所述一维时间序列样本训练时间序列异常检测模型；其中，所述时间序列异常检测模型包括：由两个卷积块构成的特征提取模块，每个卷积块中含有一个一维卷积层，一个批量标准化层，一个激活层和一个最大池化层，两个卷积块串联连接；由一个双向门控循环单元构成的时间序列处理模块，其中双向门控循环单元交换两个独立的单向门控循环单元层，其接收第二个卷积块的输出特征，一个用于正向处理输入序列，另一个用于反向处理输入序列；由注意力机制构成的关键信息处理模块，其接收时间序列处理模块的输出作为输入，计算每个时间步的注意力权重，根据注意力权重生成加权的特征表示；由dropout层与全连接层组成的分类模块，其中dropout层用来减少模型过拟合与提高模型的泛化能力，全连接层将加权的特征表示映射到输出类别上，得到分类结果；

8、通过训练好的序列异常检测模型对待检测的视频进行检测，以输出所述视频的分类结果，从而判断视频是否被篡改。

9、优选地，当视频为静态视频时，则对每个视频，计算每帧画面的所有行像素的平均亮度值，获得每帧的行亮度序列，并连接所有帧的行亮度序列以获得每个视频的行亮度信号样本，具体包括：

10、计算每个静态视频每一帧的所有行像素的平均亮度值，将静态视频的每帧图像转换成行亮度序列；

11、连接所有帧的行亮度序列构成表示每个静态视频的行亮度信号样本。

12、优选地，当视频为动态视频时，则对每个视频，计算每帧画面的所有行像素的平均亮度值，获得每帧的行亮度序列，并连接所有帧的行亮度序列以获得每个视频的行亮度信号样本，具体包括：

13、对每个动态视频采取高斯混合模型区分前景与背景，使用背景减除算法生成每帧的二值掩码以标记并遮挡运动对象，其中在二值掩码中表示运动对象的像素值为255，表示静止区域的像素值为0；

14、将每帧的二值前景掩码覆盖于原动态视频帧上用于遮挡运动对象，其中运动对象的像素值被修改为255，而静止区域的像素值不变，得到每个预处理后的动态视频；

15、计算预处理后的动态视频每一帧所有行像素中未被遮挡像素的平均亮度值，将视频每帧图像转换成一维亮度序列；

16、连接所有帧的一维亮度序列构成表示每个动态视频的行亮度信号样本。

17、优选地，对所述行亮度信号样本采用去除直流分量和下采样操作，获得预处理后的一维时间序列样本，具体包括：

18、对行亮度信号样本采取去除直流分量处理，即将行亮度信号样本减去其平均值，获得去除直流分量后的一维时间序列样本；

19、对去除直流分量后的一维时间序列样本采取下采样处理，将一维时间序列样本下采样至1000hz，获得一维时间序列样本。

20、优选地，利用所述一维时间序列样本训练时间序列异常检测模型，具体包括如下：

21、读取多个一维时间序列样本和其对应的类别标签；

22、对每个一维时间序列样本执行标准化处理，并进行样本划分，将80%的样本作为训练样本，余下的20%作为测试样本；

23、利用训练样本训练时间序列异常检测模型；其中，训练过程进行100个训练周期，每个训练周期完整遍历一次训练样本，每个批次的处理中，执行前向传播，损失计算和反向传播；训练过程使用交叉熵损失函数，adam优化算法调整模型权重；

24、在训练完成后，采用测试样本对时间序列异常检测模型进行检测，执行单次前向传播，计算准确率，召回率和f1分数，以评估时间序列异常检测模型的检测性能。

25、优选地，所述帧间篡改视频通过对原始视频在随机位置上执行随机帧数和固定帧数的帧删除，帧复制和帧插入生成。

26、本发明实施例还提供了一种电网环境下的视频帧间篡改检测装置，其包括：

27、数据集获取单元，用于获取包含多个视频的数据集；其中，所述视频包括含有电网频率信号的原始视频和帧间篡改视频；

28、行亮度信号样本计算单元，用于对每个视频，计算每帧画面的所有行像素的平均亮度值，获得每帧的行亮度序列，并连接所有帧的行亮度序列以获得每个视频的行亮度信号样本；

29、预处理单元，用于对所述行亮度信号样本采用去除直流分量和下采样操作，获得预处理后的一维时间序列样本；

30、训练单元，用于利用所述一维时间序列样本训练时间序列异常检测模型；其中，所述时间序列异常检测模型包括：由两个卷积块构成的特征提取模块，每个卷积块中含有一个一维卷积层，一个批量标准化层，一个激活层和一个最大池化层，两个卷积块串联连接；由一个双向门控循环单元构成的时间序列处理模块，其中双向门控循环单元交换两个独立的单向门控循环单元层，其接收第二个卷积块的输出特征，一个用于正向处理输入序列，另一个用于反向处理输入序列；由注意力机制构成的关键信息处理模块，其接收时间序列处理模块的输出作为输入，计算每个时间步的注意力权重，根据注意力权重生成加权的特征表示；由dropout层与全连接层组成的分类模块，其中dropout层用来减少模型过拟合与提高模型的泛化能力，全连接层将加权的特征表示映射到输出类别上，得到分类结果；

31、检测单元，用于通过训练好的序列异常检测模型对待检测的视频进行检测，以输出所述视频的分类结果，从而判断视频是否被篡改。

32、本发明实施例还提供了一种电网环境下的视频帧间篡改检测设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的电网环境下的视频帧间篡改检测方法。

33、本发明实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上述的电网环境下的视频帧间篡改检测方法。

34、本发明具有如下效果：

35、1）本发明实现了对不同场景的视频亮度的处理，将二维数据转换一维时间序列，无需提取电网信号，且对视频场景不做限制，增强了适用场景与实用性；

36、2）本发明的时间序列异常检测模型通过学习不同时间序列样本的特征，实现了无参考电网频率数据库的视频帧间篡改检测，有效提供一种针对含有enf信号的视频的取证方法。