一种基于多模态事件检测的智慧校园火灾报警方法及系统与流程

本发明涉及校园环境火灾风险评估，具体涉及一种基于多模态事件检测的智慧校园火灾报警方法及系统。

背景技术：

1、火灾检测和报警是智慧校园安全管理中一项极为重要的工作内容。现有技术多基于单一的传感器或传感器网络，只能依靠烟雾、温度等单一指标来检测火灾，存在误报率高、漏报率高等问题。同时，现有技术通常只提供静态的信息，无法实时监测和分析校园内的动态变化，如人员活动、环境变化等，不能满足复杂校园环境的需求。

2、针对现有技术的问题，本发明提出需要引入多模态数据，如音频和图像数据，综合分析多种数据来源，提高风险评估的准确性和全面性。同时，还：需要实时监测校园内的各种动态变化，并及时发出预警，以便采取及时的应急措施。因此，本发明提出了一种基于多模态事件检测的智慧校园火灾报警方法及系统来解决现有技术的不足。

技术实现思路

1、本发明针对现有技术的不足，研制一种基于多模态事件检测的智慧校园火灾报警方法及系统，能够实现对校园内火灾等紧急事件的快速准确识别，并及时发出报警信号，提高智慧校园中火灾应急响应的效率和可靠性。

2、本发明解决技术问题的技术方案为：一种基于多模态事件检测的智慧校园火灾报警方法，包括以下步骤：

3、s1、准备数据集：模拟校园环境中的火灾情形并获取其中数据其作为数据集，数据集包括音频数据集和图像数据集；

4、s2、建立火灾音频分类模型并训练模型：建立基于卷积神经网络的火灾音频分类模型，火灾音频分类模型包括音频特征提取单元和卷积神经网络分类单元，通过卷积神经网络分类单元卷积得到最终分类结果，并对火灾音频分类模型进行训练；

5、s3、建立火灾图像分类模型并训练模型：火灾图像分类模型包括dw卷积单元和mobienetv2网络单元，通过mobienetv2网络单元得到最终的预测结果，并对火灾图像分类模型进行训练；

6、s4、建立火灾检测报警模型：包括火灾条件定义单元和火灾监测报警单元，根据火灾条件定义单元中的火灾条件确定是否触发火灾监测报警单元中的火灾警报。

7、具体实施方式中，s1具体如下：

8、s1.1、音频数据集：

9、录制模拟校园火灾场景中音频作为音频数据集，具体通过behringer um2 声音驱动的 audio-technica at2020 麦克风在离火源2米到10米的距离内录制，每段音频的数据长度为5秒，将收集到的数据合成音频数据集，，其中，，a表示音频数据点的集合，a表示音频类别标签的集合，t表示音频数据点和音频类别标签的数量，表示第i个音频数据点，表示第i个音频类别标签，每个音频数据点对应一个音频类别标签；

10、s1.2、图像数据集：图像数据集包括两部分，一部分为在音频数据收集时同一的场景下的图像，另一部分为在不同天气条件下的不同时间段进行火灾模拟得到到的图像，将两部分的图像调整为统一尺寸，然后合成为图像数据集，，其中，，p表示图像数据点的集合，p表示图像类别标签的集合，t表示图像数据点和图像类别标签的数量，表示第i个图像数据点，表示第i个图像类别标签，每个数据点对应一个类别标签。

11、具体实施方式中，音频特征提取单元：

12、将音频数据集中的音频数据点的集合a输入至音频特征提取单元，，分别对音频数据点的集合a中的音频数据点进行短时傅里叶变换，得到其对应的时频矩阵向量，音频数据点在时域上的离散表示为，中共k个离散数据信息，表示第i个音频数据点中的第k歌离散数据信息，短时傅里叶变换公式定义如下：

13、，

14、其中，表示短时傅里叶变换后所得到的时频矩阵向量，j表示虚数，表示频率，h表示窗函数，t表示音频数据点的数量，表示窗函数的滑动位置，窗函数的定义如下：

15、，

16、其中，n表示窗函数的输入，表示傅里叶变换的点数；

17、最终将得到时频矩阵向量组合成时频矩阵，其中表示第i个时频矩阵向量，第i个时频矩阵向量对应第i个应音频数据点；

18、再使用梅尔滤波器对时频矩阵进行滤波，得到梅尔时频矩阵m，其中r表示梅尔滤波器组个数；

19、再对m取对数得到q=，并做离散余弦变换，q中第s个向量的离散余弦变换的定义如下：

20、，

21、其中，表示取对数后的梅尔时频矩阵中的第s个向量，j表示虚数，表示离散余弦变换的点数，离散余弦变化的结果为长度是的向量，取向量中的第2到13个值作为特征，最终的特征表示为，其中为中的第s个特征向量，内特征向量长度均为13。

22、具体实施方式中，火灾音频分类模型中的卷积神经网络分类单元由层卷积层和全连接层组成，卷积层包括卷积核、激活函数、最大池化层和dropout层；

23、第层卷积层的输入特征图为，其维度为、卷积核大小为、步长为、输出特征图维度为，其维度为，其中，分别表示第层特征的高度、宽度和深度，、和分别表示第 l层特征的高度、宽度和深度，计算公式如下：

24、，

25、，

26、，

27、其中，表示第 l层卷积核的大小，表示第 l层卷积核的数量，表示步长，特别地，当=1时， =， =；

28、对于中的每一个值，使用relu作为激活函数进行激活，得到激活后的特征，具体过程如下定义：

29、，

30、其中，表示中的值，表示第层维度，max表示如果输入大于0，则输出原始值；如果输入小于或等于0，则输出0；

31、第 l层最大池化层的池化窗口大小为、步长为；

32、然后将激活函数的输出送入最大池化层，经过最大池化层后的输出特征的维度为：

33、，

34、，

35、其中，表示第 l层最大池化层的高度，表示第 l层最大池化层的宽度，表示第 l层最大池化层的步长，得到池化层的输出；

36、再将最大池化层的输出送入dropout层训随机丢弃练过程中网络的部分神经元，减少过拟合的风险，对于中的第个值，其计算公式如下：

37、，

38、表示随机概率，表示设定丢弃的概率，最终dropout层输出特征图；

39、将dropout层的输出送入全连接层，全连接层将维度是的展平为维度为1的向量，展平后的特征向量与全连接层的权重矩阵相乘，并加上偏置项，全连接层的操作定义如下：

40、，

41、将全连接层的输出输入到softmax激活函数中，最终得到预测的结果，对于第个类别的预测概率其定义如下：

42、

43、其中，表示分类的数量，表示第个类别。

44、具体实施方式中，对火灾音频分类模型的进行训练：

45、将图像数据点集合a中数据输入至火灾音频分类模型进行训练，计算出预测结果，使用交叉熵损失函数计算预测结果与实际的音频类别标签的差异，其定义如下：

46、，

47、根据损失函数计算梯度，并通过反向传播算法，将梯度传递回网络的每一层，使用优化算法adam根据计算出的梯度更新模型的权重和偏置参数。

48、具体实施方式中，火灾图像分类模型的构建：

49、使用mobienetv2网络作为火灾图像分类网络单元的主干结构，其中包括bottleneck层和全连接层，定义bottleneck层为一种卷积块，该卷积块共包括b层，第b层的输入特征维度为、卷积神经元数量为、卷积核大小为、步长为、输出特征图维度为；

50、其中，分别表示第-1层特征的高度、宽度和深度，、和分别表示第层特征的高度、宽度和深度；

51、对除最后一层外的每一层卷积后将使用relu激活函数处理输出的特征，在relu激活函数后将跟随一个最大池化层，第1层和第3层采用普通卷积，第2层采用dw卷积，第3层卷积后将卷积得到的结果和输入做残差后作为bottleneck卷积块的最终输出；

52、第b层池化层的池化窗口大小为，步长为；

53、mobienetv2网络由多个bottleneck卷积块以及其他结构堆叠而成，mobienetv2网络一共具有m层，第m层的输入特征维度为、卷积神经元数量为、卷积核大小为、步长为、模块重复次数为、输出特征图维度为；

54、mobienetv2网络中的最后一层为全连接层，全连接层接收前一层bottleneck卷积块的输出作为输入。全连接层将维度是的展平为维度为1的向量，展平后的特征向量与全连接层的权重矩阵'相乘，并加上偏置项'，全连接层的操作定义如下：

55、'，

56、将全连接层的输出输入到softmax激活函数中，最终得到预测的结果，对于第λ个类别的预测概率其定义如下：

57、

58、其中，表示分类的数量，表示第个类别。

59、具体实施方式中，对火灾图像分类模型进行训练：

60、将图像数据点集合p中数据输入至火灾图像分类模型进行训练，计算出预测结果，使用交叉熵损失函数计算与实际的图像类别标签p之间的差异，

61、然后其定义如下：

62、，

63、根据损失函数计算梯度，并通过反向传播算法，将梯度传递回网络的每一层，使用优化算法adam根据计算出的梯度更新模型的权重和偏置参数。

64、具体实施方式中，火灾条件定义单元：

65、卷积神经网络分类单元将对输入的音频进行判断并输出是否满足音频火灾报警条件，mobienetv2网络单元将对输入的图像进行判断并输出是否满足图像火灾报警条件，将满足音频火灾报警条件的情况记作fca，将满足图像火灾报警条件的情况记作fcp，设置多个连续的推断同时作为判断依据，连续推断的数量记作，表示输入音频样本，表示输入音频样本属于火灾的概率，表示模型的输出属于火灾的音频样本中的最小，tp表示真阳性，fp表示假阳性，为给定的中连续判定为tp的最小数量，为给定的中连续判定为fp的最大数量，*为确定的最大的，则和满足以下公式：

66、，

67、，

68、，

69、出现以上情况则不会产生fp，避免fn假阴性的情况，假阴性指预测为负样本，实际为正样本；

70、在火灾检测场景中，属于最危险的情况为：

71、，

72、*的准确范围：

73、，

74、fca/fcp由*/*、*/*表示，含义是模型至少需要连续*/*次输出火灾的高于或等于*/*概率，计算fca/fcp具体过程是：

75、设定参数或的变化范围和步长，对于每个或，根据计算得到对应的和，并得到满足fca/fcp的*/*和*/*。

76、具体实施方式中，火灾检测集报警单元：

77、运行火灾音频分类模型对接收到的音频信号进行推断，判断模型输出的结果是否满足fca，如果不满足fca，则模型继续监听；否则，计算并存储满足fca音频的模型输出的平均值并暂停运行火灾音频分类模型，随后，运行火灾图片分类模型，计算当前图片结果是否满足fcp，如果不满足则火灾图片分类模型停止运行，唤醒火灾音频分类模型；否则计算并存储满足fcp图片的模型输出的平均值并发出火灾警报。

78、本发明还提供了一种基于多模态事件检测的智慧校园火灾报警系统，执行如一种基于多模态事件检测的智慧校园火灾报警方法，具体包括以下单元：

79、数据采集单元：模拟校园环境中的火灾情形并获取其中数据其作为数据集；

80、音频分类单元：建立基于卷积神经网络的火灾音频分类模型，火灾音频分类模型包括音频特征提取单元和卷积神经网络分类单元，通过卷积神经网络分类单元卷积得到最终分类结果，并对火灾音频分类模型进行训练；

81、图像分类单元：建立火灾图像分类模型，火灾图像分类模型包括dw卷积单元和mobienetv2网络单元，通过mobienetv2网络单元得到最终的预测结果，并对火灾图像分类模型进行训练；

82、火灾检测报警单元：火灾检测报警单元包括火灾条件定义单元和火灾监测报警单元，根据火灾条件定义单元中的火灾条件确定是否触发火灾监测报警单元中的火灾警报。

83、技术实现要素：中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：

84、本发明提出了一种基于多模态事件检测的智慧校园火灾报警方法及系统，本发明结合了多模态的音频和图像数据，可以从不同的角度、不同的感知方式来检测火灾事件，大大提高了火灾检测的准确性和可靠性，通过综合分析音频和图像数据，可以更快速地发现火灾迹象，并减少误报率，同时，本发明能够实时地监测校园内的声音和图像数据，一旦检测到火灾迹象，系统能够立即触发报警，并及时通知相关人员和部门，提高了火灾响应的速度，作为智慧校园的一部分，本发明的实施将有助于提高校园的管理水平，通过采集、分析音频和图像数据，系统可以为校园管理部门提供更多的数据支持，帮助他们更好地监控校园安全、预防火灾事故的发生，并能够及时、有效地应对突发事件，提高校园的整体安全性和管理效率。