一种基于深度学习的火焰检测方法

本发明属于计算机视觉中的目标检测领域，具体的说是一种基于深度学习的火焰检测方法。

背景技术：

1、火焰检测是目标检测的一个特殊应用，它的目的是在图像或视频中及时发现火焰的迹象，从而提前报警，防止火焰的扩散和造成的损失。火焰检测在许多场合都有着重要的意义，如森林、工厂、仓库、居民区等。

2、目前，常用的火焰检测方法主要有两类：基于传感器的方法和基于图像的方法。基于传感器的方法是利用温度、烟雾、火光等物理量的变化来判断是否发生火焰，这种方法的优点是反应快速，缺点是受环境干扰大，覆盖范围小，安装成本高。基于图像的方法是利用图像处理和分析的技术来识别图像中的火焰特征，这种方法的优点是覆盖范围广，安装成本低，缺点是受图像质量、光照、背景等因素的影响，识别效果不稳定，误报率高。

3、基于图像的火焰检测方法中，又可以分为基于规则的方法和基于学习的方法。基于规则的方法是根据人为设定的一些规则或阈值来判断图像中的像素是否属于火焰特征，如颜色、形状、运动等。这种方法的优点是简单易实现，缺点是规则的设定依赖于经验，不具有通用性和适应性，难以应对复杂和多变的场景。基于学习的方法是利用机器学习或深度学习的技术来自动学习图像中的火焰特征，如特征提取、分类、检测等。这种方法的优点是能够从大量的数据中学习到更丰富和更鲁棒的火焰特征，提高火焰检测的准确率和稳定性，缺点是需要大量的标注数据和很大的计算量。

4、随着深度学习技术的发展，基于深度学习的目标检测方法在近年来取得了显著的进步，如faster r-cnn、ssd、yolo等。这些方法能够在单张图像上同时进行目标的定位和识别，实现了端到端的目标检测，大大提高了目标检测的效率和性能。然而，这些方法在火焰检测的应用中仍然存在一些问题，如火焰特征的多样性和复杂性，火焰场景的多尺度和动态变化，火焰数据的不充分和不平衡等。这些问题导致了现有的基于深度学习的火焰检测方法的准确率、速度和稳定性仍然有待提高，难以满足火焰检测的实际需求。

5、因此，如何利用深度学习技术，提出一种更有效和更可靠的火焰检测方法，是当前火焰检测领域的一个重要和紧迫的问题。

技术实现思路

1、本发明是为了解决上述现有技术存在的不足之处，提出一种基于深度学习的火焰检测方法，能有效地提取图像中的火焰特征，从而实现快速、准确和稳定的火焰检测。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于深度学习的火焰检测方法的特点在于，包括以下步骤：

4、步骤1、图像采集与预处理：

5、步骤1.1、获取真实火焰场景视频并进行抽帧和归一化的预处理，得到预处理后的图片序列，记为f＝{fn|n＝1，2，...，n}，其中，fn表示第n张归一化后的火焰图片；

6、步骤1.2、对f中每张火焰图片的火焰位置进行标注，得到带有位置标签的火焰图片{f′n|n＝1，2，...，n}；其中，f′n表示第n张带有火焰位置标签的火焰图片；

7、令f′n中第i个火焰的所在位置的位置特征记为cn，i，且cn，i＝(cn，i_x，cn，i_y)，其中，cn，i_x表示f′n中第i个火焰的位置特征cn，i的左上角坐标(xn，i_l，yn，i_l)，cn，i_y表示f′n中第i个火焰的位置特征cn，i的右下角坐标(xn，i_r，yn，i_r)；

8、步骤2、建立火焰检测网络，包括：特征提取模块、特征融合模块、预测模块；

9、步骤2.1、所述特征提取模块由并联的k个基础单元和一个激活层sig构成，其中，任意第k个基础单元由g个卷积层串联构成；

10、第n张归一化后的火焰图片fn输入到特征提取模块中，并分别经过k个基础单元的g个卷积层的特征提取，得到fn的火焰特征集合其中，表示第k个基础单元输出的fn的火焰特征；

11、将fn的火焰特征集合输入激活层sig中进行处理，得到fn的激活后的火焰特征集合其中，表示fn的第k个激活后的火焰特征；

12、步骤2.2、所述特征融合模块由并联的t个特征融合支路构成，并对fn的第k个激活后的火焰特征进行处理，得到fn的第k个融合特征集合其中，表示第t个支路输出的fn的第k个融合特征；

13、步骤2.3、所述预测模块由并联的u个基础单元构成，其中，任意第u个基础单元由cn个卷积层、pn个最大池化层、qn个全连接层依次构成；

14、fn的第k个融合特征集合输入到预测模块中，分别经过每个基础单元的cn个卷积层的处理后，得到fn的第k个火焰卷积特征集合其中，表示第u个基础单元的第cn个卷积层输出的fn的第t个支路的第k个火焰卷积特征；

15、分别经过每个基础单元的pn最大池化层的下采样处理后，得到fn的第k个火焰下采样特征集合其中，表示第u个基础单元的第pn个最大池化层输出的fn的第t个支路的第k个火焰下采样特征；

16、分别经过每个基础单元的qn个全连接层的处理后，得到fn的第k个火焰位置特征集合其中，表示第u个基础单元的第qn个全连接层输出的fn的第t个支路的第k个火焰位置特征，且中第i个火焰的位置特征记为其中，表示预测的第i个火焰的位置特征的左上角坐标表示预测的第i个火焰的位置特征的右下角坐标

17、步骤3、利用式(1)建立第u个基础单元预测的第t个支路的第k个火焰位置的损失函数

18、

19、式(1)中，表示预测的火焰的位置特征的检测框与标注的火焰的位置特征cn，i的标注框的交并比，并由式(2)得到，表示预测的火焰的位置特征的检测框与标注的火焰的位置特征cn，i的标注框的最小闭合矩形的对角线长度；

20、

21、式(2)中，表示的交集区域宽，且表示的交集区域高，且

22、步骤4、利用梯度下降法对所述火焰检测网络进行训练，并最小化所述损失函数以优化网络参数，直到所述损失函数收敛为止，从而得到训练好的火焰检测模型，用于对真实场景中的火焰进行检测。

23、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述火焰检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

24、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述火焰检测方法的步骤。

25、与现有技术相比，本发明的有益效果在于：

26、1、本发明采用inceptionnext作为火焰检测网络的特征提取模块，用于从动态变化的火焰场景图像或视频中提取多尺度和多角度的火焰特征，从而提高了火焰检测网络面对复杂、多尺度的火焰时检测的准确率、速度和稳定性。相比传统的卷积神经网络，inceptionnext结合了resnext的分组卷积和inception的多分支结构，能够在保持计算效率的同时，增加网络的深度和宽度，增强网络的表达能力和泛化能力。inceptionnext的每个基本单元都由多个分支组成，每个分支都包含多个卷积层和一个激活层，卷积层首先将输入的火焰场景图像按照通道分成若干个子组，然后在每个子组内进行卷积操作，从而增加火焰特征的多样性和表示能力，激活层对每个子组的输出的火焰特征图进行激活处理，从而加速网络的收敛和提高网络的稳定性，最后将每个分支的输出进行通道方向的拼接得到火焰特征。

27、2、本发明采用rfahead作为火焰检测网络的特征融合模块和预测模块，用于对特征提取模块输出的火焰特征进行融合和优化并生成检测框。rfahead利用自注意力机制和残差连接，能够有效地融合不同层次和不同尺度的火焰特征，从而提高火焰检测网络面对不同尺度的火焰时检测的速度和稳定性。特征融合模块的基本单元由三个部分组成，分别是上采样模块、自注意力模块和残差模块。上采样模块将低层次的火焰特征图通过双线性插值的方式上采样到高层次的火焰特征图的尺寸，然后与高层次的火焰特征图进行逐元素相加，从而实现跨层的火焰特征融合。自注意力模块计算火焰特征图中每个像素点与其他像素点的相关性，然后根据相关性的权重对火焰特征图进行加权平均，从而实现了同层的火焰特征优化。残差模块将自注意力模块的输出与原始的火焰特征图进行逐元素相加，从而增强火焰特征的表达能力。预测模块的基本单元由多个卷积层、最大池化层和全连接层组成，对融合后的火焰特征进行卷积、下采样和连接处理后在特征图上生成检测框。

28、3、本发明采用mosaic方法对训练数据进行数据增强，用于增加训练数据的多样性和难度，增强模型的泛化能力和鲁棒性，从而解决火焰数据的不充分和不平衡等问题。mosaic方法相比传统的数据增强方法，能够生成更多的新的训练样本，同时保持训练样本的原始分布和特征，提高了模型的学习效率和效果。