一种监控视频异常事件检测方法和装置

本发明属于计算机视觉，尤其涉及一种基于自注意力机制和记忆增强的监控视频异常事件检测方法和装置。

背景技术：

1、随着经济社会的持续发展，人民群众的安全意识的提高，各类视频监控设备的安装量飞速提升，工作人员可以通过实时查看监控视频随时监控异常事件的发生，及时处理发生在道路、街道等地的突发事件。然而，随之而来的海量监控视频对以往依靠人工监看和异常上报的工作形成了挑战。因此，开发一种能够检测异常事件的视频异常检测算法既是维护公共安全的迫切需求，又是提高社会治理能力现实需要，具有很高的应用价值。

2、对于视频监控数据来说，异常事件仅仅占其中的很小一部分，大部分数据均为正常视频，异常数据获取和标注都面临了巨大的困难。因此，传统方法假设正常视频的特征服从某种分布或者模式，然后利用训练数据学习这种分布或者模式。这种分布可以是参数化的或者非参数化的，不符合正常数据所属分布或者模式的视频被判定为异常。但是由于正常和异常的界限不明显，这种方法往往会导致大量的错判和漏判，实际应用并不理想。随着大数据时代的到来，越来越多的正常和异常视频数据得以被收集，得益于深度学习和计算机视觉技术强大的特征学习能力，弱监督多实例学习模型逐渐应用到视频异常事件检测领域，相关检测的精度和准确率不断提高。然而此模型存在视频特征上下文学习和编码能力不足，正常和异常区分能力不足等问题。

技术实现思路

1、本发明要解决的技术问题是，提供一种基于自注意力机制和记忆模块的监控视频异常事件检测方法和装置，解决传统方法特征上下文编码能力弱，以及模型对于异常和正常分辨能力弱问题。

2、为实现上述目的，本发明采用如下的技术方案：

3、一种监控视频异常事件检测方法，包括：

4、步骤s1、获取监控视频数据；

5、步骤s2、提取监控视频数据的视频特征；

6、步骤s3、对所述视频特征进行编码；

7、步骤s4、根据视频特征编码结果，得到视频片段级别的伪标签；

8、步骤s5、根据视频特征编码结果，得到异常得分；

9、步骤s6、根据根据视频片段级别的伪标签、视频级别的标签和异常得分训练深度卷积神经网络；

10、步骤s7、将待预测的监控视频数据输入到训练好的深度卷积神经网络，实现监控视频的异常事件检测。

11、作为优选，步骤s3中，将视频特征输入到改进的基于自注意力机制的transformer中，计算视频特征的全局注意力和局部注意力，得到视频特征的全局和局部特征编码结果，并进行融合，得到视频特征编码结果。

12、作为优选，步骤4中，将视频特征编码结果输入到记忆模块进行查询，根据查询得到的相似度，得到视频片段的伪标签。

13、作为优选，步骤5中，将视频特征编码结果输入到回归网络中，计算不同权重窗口尺度下的异常分数均值，进行加权融合，得到最终的异常得分。

14、本发明还提供一种监控视频异常事件检测装置，包括：

15、获取模块，用于获取监控视频数据；

16、提取模块，用于提取监控视频数据的视频特征；

17、编码模块，用于对所述视频特征进行编码；

18、第一处理模块，用于根据视频特征编码结果，得到视频片段级别的伪标签；

19、第二处理模块，用于根据视频特征编码结果，得到异常得分；

20、训练模块，用于根据视频片段级别的伪标签、视频级别的标签和异常得分训练深度卷积神经网络；

21、检测模块，用于将待预测的监控视频数据输入到训练好的深度卷积神经网络，实现监控视频的异常事件检测。

22、作为优选，编码模块将视频特征输入到改进的基于自注意力机制的transformer中，计算视频特征的全局注意力和局部注意力，得到视频特征的全局和局部特征编码结果，并进行融合，得到视频特征编码结果。

23、作为优选，第一处理模块将视频特征编码结果输入到记忆模块进行查询，根据查询得到的相似度，得到视频片段的伪标签。

24、作为优选，第二处理模块将视频特征编码结果输入到回归网络中，计算不同权重窗口尺度下的异常分数均值，进行加权融合，得到最终的异常得分。

25、本发明使用卷积神经网络的特征提取能力；并且对基于自注意力机制transformer的进行改进，对特征进行局部和全局编码，提高了特征的表示能力；采用记忆模块，进一步提升模型的表征和区分正常异常视频的能力，极大改善了监控视频异常事件检测的准确率。使得相关部门能够及时获知视频监控中出现的异常事件，并及时处理，这对维护公共安全，提高城市管理能力和水平，完成社会智能化和现代化的改造具有重大意义。

技术特征：

1.一种监控视频异常事件检测方法，其特征在于，包括：

2.如权利要求1所述的监控视频异常事件检测方法，其特征在于，步骤s3中，将视频特征输入到改进的基于自注意力机制的transformer中，计算视频特征的全局注意力和局部注意力，得到视频特征的全局和局部特征编码结果，并进行融合，得到视频特征编码结果。

3.如权利要求2所述的监控视频异常事件检测方法，其特征在于，步骤4中，将视频特征编码结果输入到记忆模块进行查询，根据查询得到的相似度，得到视频片段的伪标签。

4.如权利要求3所述的监控视频异常事件检测方法，其特征在于，步骤5中，将视频特征编码结果输入到回归网络中，计算不同权重窗口尺度下的异常分数均值，进行加权融合，得到最终的异常得分。

5.一种监控视频异常事件检测装置，其特征在于，包括：

6.如权利要求5所述的监控视频异常事件检测装置，其特征在于，编码模块将视频特征输入到改进的基于自注意力机制的transformer中，计算视频特征的全局注意力和局部注意力，得到视频特征的全局和局部特征编码结果，并进行融合，得到视频特征编码结果。

7.如权利要求6所述的监控视频异常事件检测装置，其特征在于，第一处理模块将视频特征编码结果输入到记忆模块进行查询，根据查询得到的相似度，得到视频片段的伪标签。

8.如权利要求7所述的监控视频异常事件检测装置，其特征在于，第二处理模块将视频特征编码结果输入到回归网络中，计算不同权重窗口尺度下的异常分数均值，进行加权融合，得到最终的异常得分。

技术总结本发明公开一种监控视频异常事件检测方法和装置，包括：步骤S1、获取监控视频数据；步骤S2、提取监控视频数据的视频特征；步骤S3、对所述视频特征进行编码；步骤S4、根据视频特征编码结果，得到视频片段级别的伪标签；步骤S5、根据视频特征编码结果，得到异常得分；步骤S6、根据视频片段级别的伪标签、视频级别的标签和异常得分训练深度卷积神经网络；步骤S7、将待预测的监控视频数据输入到训练好的深度卷积神经网络，实现监控视频的异常事件检测。采用本发明的技术方案，解决传统方法特征上下文编码能力弱，以及模型对于异常和正常分辨能力弱问题。技术研发人员：沈钧戈,刘广林,毛昭勇,余晨阳,武迎龙受保护的技术使用者：西北工业大学技术研发日：技术公布日：2024/8/16