基于信息融合技术的智慧安防报警系统及其方法与流程

本申请涉及智能报警领域，且更为具体地，涉及一种基于信息融合技术的智慧安防报警系统及其方法。

背景技术：

1、随着科技的不断进步，智慧安防领域也得到了快速发展，智慧安防报警系统已成为社会安全保障的重要组成部分。智慧安防报警系统是一种利用先进的信息技术和传感器设备来实现对监控区域进行实时监测和报警的系统，能够为社会安全提供有力保障。

2、然而，传统的安防系统主要依赖于摄像头捕捉和分析安防监控区域的图像信息。然而，仅凭图像信息可能无法完全捕捉到一些隐蔽或不可见的异常情况，例如低光照环境下的行为、声音产生的异常等。此外，传统的安防系统在使用图像信息进行异常检测时，容易受到光线、阴影、天气等环境因素的干扰，导致误报或虚警的问题，例如，光线变化或者树叶摇动可能会被误判为异常情况，从而导致不必要的报警。因此，仅仅依靠图像信息来进行安防监控可能会导致监控盲区，无法全面准确地判断监控区域是否存在异常情况。

3、因此，期望一种基于信息融合技术的智慧安防报警系统。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于信息融合技术的智慧安防报警系统及其方法，其通过声音传感器和摄像头实时采集监控区域的声音信号和监控视频，并在后端引入基于人工智能的信号分析和数据处理算法来进行该声音信号和该监控视频的语义分析，以结合监控区域的声音语义和视频语义来综合对异常情况进行检测和报警。这样，能够通过对于监控区域的多模态信息的分析和融合表征来综合进行智慧安防监控，从而实现实时的安防监控和报警，提高对监控区域异常情况的准确检测和报警能力。

2、根据本申请的一个方面，提供了一种基于信息融合技术的智慧安防报警系统，其包括：

3、数据采集模块，用于获取由声音传感器和摄像头采集的被监控区域在预定时间段的监控视频和声音信号；

4、视频语义理解模块，用于通过基于深度神经网络模型的视频编码器对所述监控视频进行特征提取以得到监控区域视频语义理解特征图；

5、声音信号分帧模块，用于对所述声音信号进行分帧处理以得到声音信号帧的序列；

6、声音信号帧幅度谱计算模块，用于计算所述声音信号帧的序列中各个声音信号帧的幅度谱以得到声音信号帧幅度谱向量的序列；

7、声音信号帧幅度谱语义关联分析模块，用于对所述声音信号帧幅度谱向量的序列进行声音信号帧幅度谱特征关联分析以得到声音信号语义理解特征向量；

8、监控区域多模态融合表征模块，用于融合所述声音信号语义理解特征向量和所述监控区域视频语义理解特征图以得到监控区域多模态融合表示特征；

9、区域异常检测模块，用于基于所述监控区域多模态融合表示特征，确定监控区域是否存在异常。

10、根据本申请的另一个方面，提供了一种基于信息融合技术的智慧安防报警方法，其包括：

11、获取由声音传感器和摄像头采集的被监控区域在预定时间段的监控视频和声音信号；

12、通过基于深度神经网络模型的视频编码器对所述监控视频进行特征提取以得到监控区域视频语义理解特征图；

13、对所述声音信号进行分帧处理以得到声音信号帧的序列；

14、计算所述声音信号帧的序列中各个声音信号帧的幅度谱以得到声音信号帧幅度谱向量的序列；

15、对所述声音信号帧幅度谱向量的序列进行声音信号帧幅度谱特征关联分析以得到声音信号语义理解特征向量；

16、融合所述声音信号语义理解特征向量和所述监控区域视频语义理解特征图以得到监控区域多模态融合表示特征；

17、基于所述监控区域多模态融合表示特征，确定监控区域是否存在异常。

18、与现有技术相比，本申请提供的一种基于信息融合技术的智慧安防报警系统及其方法，其通过声音传感器和摄像头实时采集监控区域的声音信号和监控视频，并在后端引入基于人工智能的信号分析和数据处理算法来进行该声音信号和该监控视频的语义分析，以结合监控区域的声音语义和视频语义来综合对异常情况进行检测和报警。这样，能够通过对于监控区域的多模态信息的分析和融合表征来综合进行智慧安防监控，从而实现实时的安防监控和报警，提高对监控区域异常情况的准确检测和报警能力。

技术特征：

1.一种基于信息融合技术的智慧安防报警系统，其特征在于，包括：

2.根据权利要求1所述的基于信息融合技术的智慧安防报警系统，其特征在于，所述深度神经网络模型为三维卷积神经网络模型。

3.根据权利要求2所述的基于信息融合技术的智慧安防报警系统，其特征在于，所述声音信号帧幅度谱语义关联分析模块，用于：将所述声音信号帧幅度谱向量的序列通过基于lstm模型的声音信号语义编码器以得到所述声音信号语义理解特征向量。

4.根据权利要求3所述的基于信息融合技术的智慧安防报警系统，其特征在于，所述监控区域多模态融合表征模块，用于：使用基于元网络的信息融合模块对所述声音信号语义理解特征向量和所述监控区域视频语义理解特征图进行处理以得到监控区域多模态融合表示特征图作为所述监控区域多模态融合表示特征。

5.根据权利要求4所述的基于信息融合技术的智慧安防报警系统，其特征在于，所述监控区域多模态融合表征模块，用于：

6.根据权利要求5所述的基于信息融合技术的智慧安防报警系统，其特征在于，所述区域异常检测模块，包括：

7.根据权利要求6所述的基于信息融合技术的智慧安防报警系统，其特征在于，所述监控区域多模态融合特征优化单元，包括：

8.根据权利要求7所述的基于信息融合技术的智慧安防报警系统，其特征在于，所述异常检测单元，包括：

9.一种基于信息融合技术的智慧安防报警方法，其特征在于，包括：

技术总结本申请公开了一种基于信息融合技术的智慧安防报警系统及其方法，其通过声音传感器和摄像头实时采集监控区域的声音信号和监控视频，并在后端引入基于人工智能的信号分析和数据处理算法来进行该声音信号和该监控视频的语义分析，以结合监控区域的声音语义和视频语义来综合对异常情况进行检测和报警。这样，能够通过对于监控区域的多模态信息的分析和融合表征来综合进行智慧安防监控，从而实现实时的安防监控和报警，提高对监控区域异常情况的准确检测和报警能力。技术研发人员：王友峰,刘晓周,李晓凡,王崇斌,王红,潘星,何丽娜,张洲受保护的技术使用者：陕西瑞欣科技发展有限公司技术研发日：技术公布日：2024/5/8