一种火灾检测方法及系统

本发明涉及深度学习和目标检测领域，具体涉及一种火灾检测方法及系统。

背景技术：

1、火灾是一种常见的自然灾害，对人类的生命和财产造成严重的威胁。火灾检测是指利用各种技术手段，为火灾的预警和控制提供信息支持，是火灾防治的重要手段，对于保护人类的生命和财产、减少火灾的损失和危害，具有重要的现实意义。

2、火灾检测是一种特殊的目标检测任务，它的目的是在图像中定位和识别火灾的存在和范围，如火焰、烟雾等。火灾检测的方法可以分为两类：基于图像处理的方法和基于深度学习的方法。基于图像处理的方法主要利用火灾的颜色、亮度、形状、纹理等特征，通过一些固定的阈值或规则，来判断图像中是否存在火灾，但这类方法只利用了火灾的静态信息，而忽略了火灾的动态信息，如火焰的运动、闪烁等，导致火灾检测的误报和漏报。基于深度学习的方法主要利用神经网络模型，通过大量的火灾图像数据进行训练，来学习火灾的特征和规律，从而实现火灾的检测和分类，但这类方法也没有充分利用火灾的动态信息，而只依赖于神经网络模型的学习能力，导致火灾检测的准确性和鲁棒性不足。因此，现有的火灾检测方法都存在一定的不足和局限，急需一种能够充分结合火灾的静态和动态信息的方法，提高火灾检测的准确性和鲁棒性。

3、公布号为cn116844092a的现有发明专利申请文献《基于ai视频分析的大空间火灾探测分析系统和分析方法》，该现有方法包括：识别连续多帧图像，通过以下步骤进行分析；对采集到的视频数据进行预处理，包括去噪、增强处理；使用ai深度处理多帧图像，提高相对清晰度，利用sobel算子对图像中像素点上下及左右相邻点的灰度加权算法，提高图像清晰度；对图像目标进行去除摩尔纹出后，再次进行光流对齐；预测计算稠密光流，根据光流场，计算每个像素位置的光流强度并缩放到可视化范围，统计光流强度，通过阈值判断运动场景；获取光流强度大的中心位置点，进行中心位置范围的截取，统计液体光流的逐渐闪亮强度、火光每秒频率值、火光蔓延趋势范围特征，获取图片中烟雾纹理特征，分析烟雾运动轨迹特征。然而，前述现有方案采用的模型在计算资源有限的情况下无法保证高效运行；该现有方案无法保证网络识别火灾的精度，易发生漏检、误检；最后，该现有技术未充分考虑火灾的运动状态、趋势，在整张图像中进行图像的光流识别，导致光流预测火灾趋势的计算代价较高。

4、公布号为cn116343093a的现有发明专利申请文献《火灾态势预测方法、设备及介质》，该现有方法中，通过基于深度学习的特征提取模块，分别提取每组图像的时间特征和空间特征之前，还包括：分别对无监督光流估计模型和卷积网络单独进行训练；其中，无监督光流估计模型训练中采用的损失函数包括：结构损失和光度损失的加权融合；卷积网络训练中采用的损失函数包括：火灾区域的边界损失和像素值损失的加权融合；结构损失和边界损失共同约束火灾范围误差，光度损失和像素值损失共同约束烟雾浓度误差。然而，前述现有技术难以预测火灾的运动趋势，存在对提取的光流信息使用不充分的问题。

5、公布号为cn115424116a的现有发明专利申请文献《轻量级卷积神经网络的火灾检测方法、装置及设备》，该现有方法中，采用注意力机制squeeze-and-excitation如图2所示，该注意力模块结构简单，通用性更强。在网络的较浅层该注意力模块会强化低级共享特征，例如检测的火焰特征，同时也会包括易燃物体的特征等，使得该模型注意到火灾发生以及可能发生火灾的区域。在较深层，注意力模块强化的特征趋于特殊，只会对特定的火灾特征做出响应。两者相结合，实现对火灾特征的强化，从而提高火灾检测精度。所述注意力机制squeeze-and-excitation包括挤压操作fsq和激励操作fex，其中挤压操作采用全局平均池化层，用于全局信息的嵌入；激励操作采用两个全连接层，用于自适应重新校准。然而，前述现有技术使用mobilenetv2实现对卷积神经网络的轻量化，轻量化效果存在局限；同时，该现有技术的模型无法保证对火灾识别精度，也未考虑火灾运动趋势。

6、公布号为cn115423998a的现有发明专利申请文献《一种基于轻量级无锚检测模型的可见光森林火灾检测方法》，该现有方法中，结合高效通道注意力网络和ghostnet思想对mobilenetv3网络进行改进，构建主干特征提取网络mobilenetv3g，使得在模型轻量化的同时保留多尺度特征信息；使用深度可分离卷积简化路径聚合网络，进一步减少模型的计算量，并引入自适应空间特征融合模块，以减轻不同尺度特征图之间的不一致性。然而，该现有技术使用的cba注意力，结构较为复杂，在主干网络中进行简单的特征提取任务的应用场景下适用性较低；同时，该现有技术未考虑疑似火灾，易导致漏检、误检；该现有技术未考虑火灾运动状态和趋势，导致获取的火灾运动信息单一。

7、公布号为cn115331384b的现有发明专利申请文献《基于边缘计算的作业平台火灾事故预警系统》，该现有方法中，在原生yolox网络结构中，采用ghostnet模型作为yolox的骨干网络进行图像的特征提取，ghostnet采用了线性运算来扩充特征，增加通道数，能大幅度减少模型的参数总量和浮点数。然而，该现有技术使用的是eca注意力，难以通过降低特征维度的方式来降低网络的复杂度；该现有技术缺乏对疑似火灾的辅助判断，制约了火灾识别精度，漏误检率较高；该现有技术未充分考虑火灾的运动状态和趋势，导致获取的火灾运动信息丰富度较低。

8、公布号为cn114821466a的现有发明专利申请文献《一种基于改进yolo模型的轻型室内火灾识别方法》，该现有方法中，引入ghost module，针对在使用残差模块提取特征图的过程中，生成的冗余特征图，ghostnet使用ghost module模块进行处理，该模块将普通卷积分为两部分，首先进行一个常规的1×1少量卷积，生成输入特征层的特征浓缩，然后再进行深度可分离逐层卷积，利用上一步获得的特征浓缩生成ghost特征图；引入ghostbottlenecks，来代替瓶颈结构里面的普通卷积,ghostbottlenecks分为两个部分，分别是主干部分和残差边部分，包含ghost module的，称为主干部分；ghost bottlenecks有两个种类，当需要对特征层的宽高进行压缩的时候，设置这个ghost bottlenecks的stride＝2，即步长为2，此时会在bottlenecks里面多添加一些卷积层，在主干部分里，在两个ghostmodule中添加一个步长为2×2的深度可分离卷积进行特征层的宽高压缩，在残差边部分，添加上一个步长为2×2的深度可分离卷积和1×1的普通卷积。然而，该现有技术采用的网络模型难以实现对重要特征通道的关注，模型性能受有制约；同时，该现有技术无法利用视频中帧与帧之间的火灾运动信息，导致对检测火焰和烟雾检测效果较差，火灾检测的准确性和鲁棒性较差。

9、现有公开文献《基于轻量级卷积神经网络的图像型火灾检测算法研究》，该现有文献中，引入ghostnet作为主干网络，从而实现网络轻量化。在主干网络中引入动态卷积，在不增加网络宽度和深度的情况下提高其对形态多变的火焰的特征提取能力。然而，该现有技术中的目标检测算法采用fcos，该传统检测算法的检测准确率、推理速度较低，且对不同尺度的小目标处理受有制约，制约了模型鲁棒性；同时，该现有方案也忽视了火灾运动趋势。

10、由上述可知，现有技术在火灾检测领域存在一些明显的不足之处。具体来说，这些问题包括：

11、鲁棒性不足：现有算法在应对不同场景、光照条件和背景干扰时的鲁棒性较低，可能导致误报或漏报，影响了火灾检测系统的可靠性。

12、准确性不高：火灾检测的准确性对于防范火灾和保障人员安全至关重要，但现有技术在火灾目标的精确定位和分类方面存在一定的局限性。

13、忽略动态特征：火灾通常伴随着火焰的运动、闪烁等动态特征，然而现有算法往往忽略了这些动态特征，导致了误报和漏报的问题。

14、综上，鲁棒性及准确性较低，忽略动态特征导致火灾误报及漏报的技术问题。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有技术中鲁棒性及准确性较低，忽略动态特征导致火灾误报及漏报的技术问题。

2、本发明是采用以下技术方案解决上述技术问题的：一种火灾检测方法包括：

3、s1、基于幽灵网络ghostnet、压缩与激励网络senet改进yolo模型，以得到yolov5s轻量级目标检测模型；将预置数据集输入至yolov5s轻量级目标检测模型，判断预置数据集中的图片内容，以得到并输出每张图片中的火灾识别信息、火灾位置以及火灾置信度，其中，yolov5s轻量级目标检测模型包括：gc幽灵卷积模块、c3g三重幽灵模块；

4、s2、利用yolov5s轻量级目标检测模型检测火灾图像，以得到火灾位置以及火灾置信度；

5、s3、获取并根据火灾置信度的阈值，判断是否存在火灾；

6、s4、若否，则判断是否存在可疑火灾，利用预置光流模型，根据相邻帧的图像输入进行抽帧检测，以得到光流估计结果，包括：像素水平位移、像素垂直位移、像素运动方向以及像素速度；滤波处理光流估计结果进行滤波处理，以去除噪声、异常值，光流平滑数据；归一化光流平滑数据，以获取光流特征向量；

7、s5、若是，则将预置图像组中的视频图像对，送入至光流模型，以获取图像对间运动信息；

8、s6、获取并根据实际情况信息，自适应调节火灾边框以及火灾置信度；

9、s7、训练yolov5s轻量级目标检测模型以及预置光流模型进行训练，以得到适用火灾检测模型，据以处理得到并输出火灾检测结果。

10、本发明一种基于目标检测模型和光流特征的火灾检测方法是基于yolov5s网络模型由ghostnet中的模块、senet以及光流模型共同构建，使用改进后的模型对输入的图像进行特征的提取和融合，同时制作数据集输入到本发明所提的模型网络中，通过迭代的方式对改进后的模型进行训练。本发明采用了改进的轻量化网络yolov5s，结合ghostnet和senet模块，有效地实现火灾图像的目标检测，使模型在计算资源有限的情况下仍能高效运行。本技术在骨干网络中加入的senet注意力机制，可以使得网络更好的关注重要的特征通道，提高模型的性能。

11、将待检测的数据输入到训练好的模型中，得到数据的实时检测结果。本发明能够有效地检测不同场景和光照条件下火灾视频中的火焰和烟雾，提高了火灾检测的准确性和鲁棒性，解决了传统火灾检测方法忽略火焰的运动、闪烁等动态特征而导致火灾误报和漏报的问题。

12、在更具体的技术方案中，步骤s1包括：

13、s11、将yolo模型的第一层卷积层替换为gc幽灵卷积模块，以使用卷积核以及深度可分离卷积生成特征图；

14、s12、将yolo模型的csp跨阶段部分连接模块替换为c3g自定义残差模块，c3g三重幽灵模块：gb幽灵瓶颈模块以及残差连接。

15、本发明采用的yolov5s是一种轻量化的目标检测模型，具有高效、灵活、强大和方便的特点。

16、在更具体的技术方案中，步骤s12中的幽灵瓶颈模块gb还包括：不少于2个gc幽灵卷积模块，在gb幽灵瓶颈模块中的gc幽灵卷积模块后，添加se压缩激励模块。

17、在更具体的技术方案中，步骤s12中，在yolov5s轻量级目标检测模型中的每个c3g三重幽灵模块的输出特征图上，添加se压缩激励模块，以对每个特征通道的重要性进行学习、调整。

18、本发明采用的ghostnet是一种轻量化的网络结构，通过引入ghostnet中的模块，在不损失特征表达能力的情况下，减少卷积操作的计算量和参数量，从而提高模型的运行速度和内存占用，适用于低配置的设备和实时的场景。本技术使用ghostnet对卷积神经网络进行轻量化处理，其在相同参数量的情况下是优于传统模型。

19、在更具体的技术方案中，步骤s12还包括：

20、s121、利用se压缩激励模块，通过全局平均池化以及两个全连接层，学习特征通道间相关性，并通过激活函数来调整每个特征通道权重，以对特征通道进行重标定操作；

21、s122、根据特征通道权重，调节原始特征图的通道响应；

22、s123、在压缩激励模块se的输出特征图上，添加一个1x1卷积，以恢复原始通道数。

23、本发明senet是一种通道注意力模型，通过学习不同通道之间的依赖关系，可以增强模型对不同通道的重要性的关注，抑制无关信息的干扰，提高模型的性能。本发明使用的senet与传统模型相比结构更加简单，更适合在主干网络中进行简单的特征提取任务。本发明使用的senet能够通过降低特征维度的方式来降低网络的复杂度，提供火灾识别模型的鲁棒性。

24、本发明中的ghostnet和senet可以很好的降低网络的复杂度，提高模型的推理速度；采用光流模型可以解决提升目标检测模型无法利用视频中帧与帧之间的火灾运动信息的问题，提高了模型的检测精度，能够更好的对火灾进行检测和运动信息检测，具有很多应用场景和较高的市场价值。

25、本发明对于待检测的视频进行抽帧结合光流网络进行辅助判断，提高了网络识别火灾的精度，降低了漏检率、误检率。

26、在更具体的技术方案中，预置光流模型包括：金字塔变形代价容量网络pwc-net。

27、本发明引入光流模型，解决了传统火灾检测方法无法利用视频中帧与帧之间的火灾运动信息的问题。光流模型能够更好地检测火焰和烟雾，提高了火灾检测的准确性和鲁棒性。

28、在更具体的技术方案中，金字塔变形代价容量网络pwc-net包括：

29、特征金字塔提取器，用以利用卷积神经网络模型，分别提取两张图片的多层特征；

30、变形层，用以在每一层利用上采样的上一层光流，对第二张图片的多层特征进行变形操作，得到图片对齐特征，以得到变形精细光流；

31、代价计算层，用以计算多层特征中，每层特征之间的匹配代价，确定第一张图片上的特定点在第二张图片上的位置；

32、光流估计器，用以拼接并处理匹配代价、第一张图片的多层特征以及上一层光流，以得到并输出当前层光流；

33、上下文网络，用以利用上下文网络扩大网络感受野，得到光流估计结果，其中，上下文网络包括：膨胀卷积。

34、本发明计算的光流特征是一种描述物体运动信息的特征，通过反映物体的运动状态和方向，可以增加模型的特征表达能力和识别效果，提高模型的准确性和鲁棒性，适用于复杂的运动场景和多变的光照条件。本发明中的使用的光流模型不仅可辅助火灾识别，提高火灾的识别精度，而且可预测火灾的运动趋势。本发明对于已经确定的火灾，通过光流网络进一步识别火灾的运动状态和趋势，为火灾控制提供了更加丰富的信息。

35、本发明对于已经确定的火灾，能够根据火灾的位置，通过光流网络进一步识别火灾的运动状态和趋势，避免了在整张图像中进行图像的光流识别，降低了光流预测火灾趋势的计算代价。

36、在更具体的技术方案中，步骤s7包括：

37、s71、制作并预处理得到火灾场景视频数据集，据以截取预置图像组并进行信息标注操作，以得到火灾图像检测数据集，其中，火灾图像检测数据集包括：训练集、验证集以及测试集；

38、s72、将训练集输入yolov5s轻量级目标检测模型及光流模型，进行gpu迭代训练，得到模型最优权重；

39、s73、将模型最优权重加载至yolov5s轻量级目标检测模型及光流模型，以得到适用火灾检测模型，检测火灾图像，以得到并输出火灾边框、置信度以及火灾运动信息。

40、本发明能够根据实际情况信息，自适应调节火灾边框和火灾置信度，进一步提高了火灾检测模型的灵活性和适应性。本发明的火灾检测模型具有更高的检测准确率、较快的推理速度，能够有效的处理不同尺度小的目标提高模型的鲁棒性。

41、本技术在改进的yolov5s的基础上，加入了光流模型辅助判定是不是火灾，若最终判断是火灾，还可以通过获取帧与帧之间的光流图来获取火灾的运动趋势。

42、在更具体的技术方案中，步骤s7中，将火灾边框、火灾置信度以及火灾运动信息保存为结构化数据文件，供分析处理；根据火灾边框、火灾置信度以及火灾运动信息，生成并发出报警信息。

43、在更具体的技术方案中，一种火灾检测系统包括：

44、模型调整模块，用以基于幽灵网络ghostnet、压缩与激励网络senet改进yolo模型，以得到yolov5s轻量级目标检测模型；将预置数据集输入至yolov5s轻量级目标检测模型，判断预置数据集中的图片内容，以得到并输出每张图片中的火灾识别信息、火灾位置以及火灾置信度，其中，yolov5s轻量级目标检测模型包括：gc幽灵卷积模块、c3g三重幽灵模块；

45、初步检测模块，用以利用yolov5s轻量级目标检测模型检测火灾图像，获取火灾位置以及火灾置信度，初步检测模块与模型调整模块连接；

46、火灾判断模块，用以获取并根据火灾置信度的阈值，判断是否存在火灾，火灾判断模块与初步检测模块连接；

47、光流处理模块，用以在判定不存在火灾时，判断是否存在可疑火灾，利用预置光流模型，根据相邻帧的图像输入进行抽帧检测，以得到光流估计结果，包括：像素水平位移、像素垂直位移、像素运动方向以及像素速度；滤波处理光流估计结果进行滤波处理，以去除噪声、异常值，光流平滑数据；归一化光流平滑数据，以获取光流特征向量，光流处理模块与火灾判断模块连接；

48、图像对运动信息获取模块，用以在判定存在火灾时，则将预置图像组中的视频图像对，送入至光流模型，以获取图像对间运动信息，图像对运动信息获取模块与火灾判断模块连接；

49、火灾参数自适应调节模块，用以获取并根据实际情况信息，自适应调节火灾边框以及火灾置信度，火灾参数自适应调节模块与图像对运动信息获取模块以及光流处理模块连接；

50、模型训练及检测结果获取模块，用以训练yolov5s轻量级目标检测模型以及预置光流模型进行训练，以得到适用火灾检测模型，据以处理得到并输出火灾检测结果，模型训练及检测结果获取模块与模型调整模块以及光流处理模块连接。

51、本发明相比现有技术具有以下优点：

52、本发明一种基于目标检测模型和光流特征的火灾检测方法是基于yolov5s网络模型由ghostnet中的模块、senet以及光流模型共同构建，使用改进后的模型对输入的图像进行特征的提取和融合，同时制作数据集输入到本发明所提的模型网络中，通过迭代的方式对改进后的模型进行训练。将待检测的数据输入到训练好的模型中，得到数据的实时检测结果。本发明能够有效地检测不同场景和光照条件下火灾视频中的火焰和烟雾，提高了火灾检测的准确性和鲁棒性，解决了传统火灾检测方法忽略火焰的运动、闪烁等动态特征而导致火灾误报和漏报的问题。

53、本发明采用的yolov5s是一种轻量化的目标检测模型，具有高效、灵活、强大和方便的特点。

54、本发明采用的ghostnet是一种轻量化的网络结构，通过引入ghostnet中的模块，在不损失特征表达能力的情况下，减少卷积操作的计算量和参数量，从而提高模型的运行速度和内存占用，适用于低配置的设备和实时的场景。

55、本发明senet是一种通道注意力模型，通过学习不同通道之间的依赖关系，可以增强模型对不同通道的重要性的关注，抑制无关信息的干扰，提高模型的性能。

56、本发明中的ghostnet和senet可以很好的降低网络的复杂度，提高模型的推理速度；采用光流模型可以解决提升目标检测模型无法利用视频中帧与帧之间的火灾运动信息的问题，提高了模型的检测精度，能够更好的对火灾进行检测和运动信息检测，具有很多应用场景和较高的市场价值。

57、本发明计算的光流特征是一种描述物体运动信息的特征，通过反映物体的运动状态和方向，可以增加模型的特征表达能力和识别效果，提高模型的准确性和鲁棒性，适用于复杂的运动场景和多变的光照条件。

58、本发明解决了现有技术中存在的鲁棒性及准确性较低，忽略动态特征导致火灾误报及漏报的技术问题。