一种用于智能火情监测预警的多模态联邦学习方法和系统与流程

本发明涉及火情检测预警的，尤其是一种用于智能火情监测预警的多模态联邦学习方法和系统。

背景技术：

1、传统的火灾监测系统主要依赖于简单的烟雾探测器和温度传感器，这些系统在复杂环境下的有效性受到限制，特别是在具有文化和历史价值的建筑物如文物建筑和寺庙中。这些地方不仅建筑结构复杂，而且常常存放着不可替代的文化财产，因此对火灾预防和及时预警的要求极其严格。

2、传统系统的局限性主要表现在两个方面：一是对火灾的检测不够精确，容易发生误报或漏报；二是在火灾发生后，缺乏有效的数据分析和响应机制来指导火灾的快速扑救。比如在寺庙中，往往会有香火等因素影响到环境参数，导致无法准确进行火情监测。因此，有必要开发一种新型的智能火情监测与预警系统，该系统能够集成大数据分析、深度学习技术和物联网技术，以提高火灾监测的准确性和预警的及时性。

技术实现思路

1、为了解决现有技术中火灾监测不够精确、缺乏有效数据分析和响应机制指导火灾的快速扑救的诸多技术问题，本发明提出了一种用于智能火情监测预警的多模态联邦学习方法和系统，以解决上述技术问题。

2、根据本发明的第一方面，提出了一种用于智能火情监测预警的多模态联邦学习方法，包括：

3、s1：收集火灾图像数据集、环境传感器数值数据集、历史火情记录、气候和天气数据，汇集成多模态数据集，对多模态数据集进行预处理，并进行数据增强；

4、s2：构建blazesensenet多模态火情监测单元，blazesensenet多模态火情监测单元对处理好的多模态数据集进行深入分析，精确地识别和分类各类火情；

5、s3：使用联邦学习架构fedks进行模型训练以提高blazesensenet模型监测火情和预测火情发展趋势的准确性。

6、在一些具体的实施例中，多模态数据集包括数值数据、文本数据、图像数据，预处理包括对不同类型的数据进行标准化操作，标准化操作包括去除异常值、标准化尺度、文本的词汇标准化以及图像的对比度调整。

7、在一些具体的实施例中，多模态数据集通过多模态物联网集群收集，多模态物联网集群包括火情监测传感器、红外线摄像头、物联网网关和云平台，火情监测传感器包括温度传感器、烟雾传感器和红外线人体热释电成像传感器。

8、在一些具体的实施例中，数据增强包括：对图像数据通过图像旋转、缩放和颜色调整增强视觉特征泛化能力；对数值数据通过添加噪声和smote上采样增强模型数值处理能力；对文本数据采用同义词替换和句子重排列以增强语义鲁棒性。

9、在一些具体的实施例中，s2具体包括：

10、s21：构建cspdarknet53网络结构，处理输入的火灾现场图像数据集；

11、s22：将不同尺度的特征图通过panet和fpn结构进行融合，得到特征图feature_map01；

12、s23：将融合后的特征图feature_map01通过多个卷积层，交替使用1×1和3×3的卷积核进行特征提取和处理，得到feature_map02；

13、s24：将feature_map02通过多尺度特征融合层，使用5×5卷积核以拓宽模型的视野，使模型能够捕捉到图像中的大尺度结构和更加广泛的上下文信息；

14、s25：在分类和定位层中使用1×1卷积核对特征进行压缩和整合，使blazesensenet模型精确地输出火灾类别、火情区域的边界框坐标和对象置信度；

15、s26：采用非极大值抑制算法优化边界框的选择机制，使blazesensenet模型从多个重叠的边界框中筛选出具有最高置信度的边界框，同时排除与之高度重叠但置信度低的边界框；

16、s27：构建transformer架构，利用其自注意力机制对季节变化、气候变化的时间序列数据进行深入分析；

17、s28：输入数据通过前馈神经网络架构进行处理，前馈神经网络架构由两个线性变换层组成，并通过relu激活函数相连；

18、s29：将处理后的数据传递至一个线性层，将复杂多维的特征转换为输出火情发展趋势的预测信息；

19、s210：检测到火灾发生时自动报警，并将预测的火情发展趋势实时传输给消防部门。

20、在一些具体的实施例中，s23中通过bx＝sigmoid(tx)+cx和by＝sigmoid(ty)+cy计算出火灾发生区域的边界框坐标，其中bx和by分别代表预测框的中心点在图像中的水平和垂直坐标，tx和ty则是网络预测的边界框的位置偏移量，cx和cy代表对应网格单元的左上角坐标。

21、在一些具体的实施例中，s2还包括根据红外线人体热释电成像传感器捕获的人体热图像，构建人员分布图，根据烟雾浓度的分布预测并指定人员疏散路线。

22、在一些具体的实施例中，s3具体包括：

23、s31：下发blazesensenet模型给联邦学习的各参与者，参与者使用各自的数据集进行本地模型训练；

24、s32：训练完成的本地模型上传到中央服务器；

25、s33：中央服务器上设置了固定验证集vs，用于对每个上传的本地模型进行检验，通过风险区分函数fks(li)＝max{|li(xj)-vs(xj)|}对每一个本地模型进行检验，得到fks(li)统计量，其中，li(xj)表示本地模型li在点xj的累积分布函数值，vs(xj)表示服务器上的固定验证集vs在点xj的累积分布函数值；

26、s34：剔除fks(li)统计量低于0.5的本地模型，fks(li)统计量高于0.5的本地模型参与到全局模型的聚合过程中，通过加权平均算法，构建全局模型。

27、根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述的方法。

28、根据本发明的第三方面，提出了一种用于智能火情监测预警的多模态联邦学习系统，包括：

29、数据收集单元：配置用于收集火灾图像数据集、环境传感器数值数据集、历史火情记录、气候和天气数据，汇集成多模态数据集，对多模态数据集进行预处理，并进行数据增强；

30、blazesensenet多模态火情监测单元，blazesensenet多模态火情监测单元对处理好的多模态数据集进行深入分析，精确地识别和分类各类火情；

31、训练单元：配置用于使用联邦学习架构fedks进行模型训练以提高blazesensenet模型监测火情和预测火情发展趋势的准确性。

32、本发明提出了一种用于智能火情监测预警的多模态联邦学习方法和系统，相比于现有技术，本发明的有益效果在于：提出的blazesensenet模型在火情检测精度和处理速度方面表现卓越，该模型结合了多模态数据处理能力，能够有效分析图像、文本和数值数据，极大提高火灾监测的准确性和响应速度。其次，通过运用联邦学习，该算法在维护用户数据隐私的同时，从分散的数据源中学习，提高了模型的泛化能力和场景适应性。本发明不仅增强了火情预警的实时性和准确性，也显著降低了误报的可能性，对于智能火灾预防和应急响应具有重大的实际应用价值。