基于多级记忆增强的外观运动一致性视频异常检测方法

本发明涉及视频异常检测，更具体的说是涉及一种基于多级记忆增强的外观运动一致性视频异常检测方法。

背景技术：

1、视频异常检测是指从视频中准确检测出发生的异常事件，在公共场所的安全防范方面发挥着重要的作用。异常事件指的是场景中不符合预期或常规模式的事件，例如奔跑等异常事件。由于异常事件很少发生，导致没有足够的异常数据制作数据集，因此无法使用有监督的方式直接利用异常数据来训练模型。现有的视频异常检测方法通常采用无监督的方式，在训练阶段仅利用正常样本数据来训练模型，使模型学习正常样本的特征；在测试阶段，由于模型没有学习异常样本的特征，异常样本将会产生较大的重建或预测误差，从而实现异常事件检测。

2、近年来，无监督视频异常检测又可以分为基于重构的方法和基于预测的方法，这两类方法通常使用端到端的自编码器作为主干网络。由于自编码器的泛化能力较强，不仅能重构正常样本，也能重构异常样本，降低了正常样本与异常样本之间重建误差的差距，导致不能有效区分正异常样本，从而降低了异常检测的精度。此外，异常事件不但与外观特征相关(如：形状、颜色、纹理等)，而且与运动特征相关(如：速度、方向、轨迹)。然而，目前的大多数工作仅利用外观特征来检测异常，或者使用双分支网络分别处理外观和运动特征，没有建立外观和运动特征的相关性，从而影响了异常检测的精度。

技术实现思路

1、有鉴于此，本发明提供至少解决上述部分技术问题的一种基于多级记忆增强的外观运动一致性视频异常检测方法，便于提高异常检测的精度。

2、为实现上述目的，本发明采取的技术方案为：提供一种基于多级记忆增强的外观运动一致性视频异常检测方法，该方法包括以下步骤：

3、s1、获取视频数据，将视频数据处理成帧数据，并划分为训练集和测试集；

4、s2、构建多级记忆增强的外观运动一致性网络；

5、s3、对训练集中的帧数据进行处理，处理后输入至所述多级记忆增强的外观运动一致性网络中进行训练，建立视频异常检测模型；

6、s4、将测试集中帧数据输入至所述视频异常检测模型，计算获取待测试帧的异常分数，并判断是否为异常。

7、可选的，所述步骤s1中，所述训练集只包含正常事件的帧数据，测试集不仅包含正常事件还包含异常事件的帧数据。

8、可选的，所述步骤s2中，构建的所述多级记忆增强的外观运动一致性网络包括：外观编码器、运动编码器、外观运动融合模块和解码器，其中：

9、外观编码器和运动编码器均包括一个卷积块和三个下采样块，所述卷积块包括两个卷积层，每个下采样块包括一个下采样层和两个卷积层；所述卷积层包含卷积模块、批归一化模块和激活函数；

10、所述外观运动融合模块设置在外观编码器和运动编码器之间，用于使外观编码器提取的外观特征和运动编码器提取的运动特征进行融合；

11、所述解码器中嵌入有多个记忆模块，所述解码器包括多个上采样块和一个卷积块，每个上采样块包括一个记忆模块、一个上采样层和两个卷积层；通过跳跃连接从外观编码器复制相应的编码特征，将这些编码特征与解码器相应级别的上采样特征连接起来。

12、可选的，所述外观运动融合模块进行特征融合的过程包括：

13、首先，运动特征fm通过空间注意力模块生成空间注意力权重ms，利用该权重ms引导外观特征fa关注重要的空间区域，并生成新的特征fa′；

14、其次，将生成的特征fa′通过通道注意力模块学习特征通道间的关系，自适应地调整特征通道的重要程度，生成通道注意力权重mc，将该权重mc与特征fa′进行逐元素相乘生成特征fa″；

15、最后，将特征fa″与外观特征fa进行逐元素相加，生成最终的融合特征f。

16、可选的，所述记忆模块为一个矩阵m∈rn×c，矩阵的每一行为一个记忆项mi∈rc，i＝1,2,...,n；记忆模块的工作过程包括：

17、计算查询特征z与记忆项mi的余弦相似度，经过softmax函数获得相应的权重wi，公式为：

18、

19、根据权重wi将记忆模块中的所有记忆项进行加权组合构建出新的特征，公式为：

20、

21、其中，表示记忆模块重建的特征，n表示记忆模块的大小。

22、可选的，所述步骤s3的具体流程包括：

23、s31、将训练集中连续的t-1个视频帧序列输入到flownet2光流网络中生成相应的t-2个光流序列，将t-1个视频帧序列和其对应t-2个光流序列输入到多级记忆增强的外观运动一致性网络中；

24、s32、视频帧序列经过外观编码器提取外观特征，光流序列经过运动编码器提取运动特征；将提取的外观和运动特征输入到外观运动特征融合模块进行融合，建立外观和运动特征之间的相关性；

25、s33、通过嵌入在解码器中的多个记忆模块记录外观运动一致性特征，并重构新的特征；

26、s34、将重构的特征输入到解码器中，经过上采样操作，预测生成下一帧，计算真实帧和预测帧之间的预测损失和运动损失，并联合特征紧凑性损失和特征分离损失构建总体损失函数，不断优化网络模型，建立视频异常检测模型。

27、可选的，所述步骤s34中，总体损失函数的构建过程包括：

28、为约束外观编码分支和运动编码分支，使用l2距离计算预测损失，并采用flownet2网络进行光流估计，使用l1距离计算运动损失，公式为：

29、

30、其中，lpre为预测损失、lm为光流损失，f(·)为flownet2网络，xt为真实帧和为预测帧；

31、为使查询特征接近记忆模块中最相似的记忆项，使用l2距离计算特征紧凑性损失lcom，公式为：

32、

33、其中，zk为第k个查询特征，m为最相似的记忆项，q为记忆模块的个数，k为查询特征的个数；

34、为减少记忆项的数量和内存模块的大小，采用特征分离损失lsep使记忆项之间产生较大的距离，公式为：

35、

36、其中，n为第二接近查询特征zk的记忆项；

37、对各损失函数进行组合得到总体损失函数l，公式为：

38、l＝λprelpre+λmlm+λcomlcom+λseplsep

39、其中，λpre、λm、λcom、λsep为超参数。

40、可选的，所述步骤s4中，所述异常分数的计算方法为：

41、使用峰值信噪比来衡量预测帧和真实帧xt的差异，公式为：

42、

43、其中，psnr为峰值信噪比，e为视频帧中所包含的像素点总数，为最大像素值：

44、使用l2距离计算查询特征和其最相似记忆项的差异，公式为：

45、

46、其中，q为记忆模块的个数，k为查询特征的个数，zk为第k个查询特征，m为与查询特征最相似的记忆项；

47、将峰值信噪比和l2距离作为异常的量化评价指标，得出异常分数s(t)，公式为：

48、

49、其中，g(·)为归一化函数，α、β为平衡参数。

50、与现有技术相比，本发明至少具有如下有益技术效果：

51、1.本发明提供了一种基于多级记忆增强的外观运动一致性视频异常检测方法，通过构建的多级记忆增强的外观运动一致性网络，可以提高视频异常检测的精度。

52、2.本发明中通过外观编码分支和运动编码分支学习外观和运动特征，并建模外观和运动之间的一致性；提出了一个外观运动特征融合模块，深入探索了外观和运动特征之间的相关性，提升了视频异常检测模型的性能；引入了多级记忆增强模块，可以让网络更加丰富的记录正常事件的外观和运动特征，增强重构正常特征的能力，降低重构异常特征的能力，从而降低网络的泛化能力，可有效的提高视频异常检测的精度。

53、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

54、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。