基于深度学习的动火作业点实时检测方法与流程

本发明属于动火检测，具体涉及一种基于深度学习的动火作业点实时检测方法。

背景技术：

1、石油天然气行业属于易燃易爆高危行业，动火作业属于特种作业，又属于石油天然气行业高风险作业，现场不安全行为和不安全状态容易引发重大安全事故，造成巨大财产损失和人员伤亡。对动火作业的动火点进行实时检测，有助于对动火作业现场不安全行为及状态进行监控、判断和预警。对于石油化工、建筑施工等高危行业而言，对实时掌握重点区域的动火作业不安全行为及状态的需求越发迫切。

2、目前主要通过对明烟、明火进行监测的方式实现对动火作业的检测。常用方法主要分为两种：一种是利用传感器的检测方法，另一种是基于深度学习的检测方法。借助传感器的检测方法，通常受生产施工现场环境影响较大和计算量限制，实际检测精确度低，应用效果无法达到生产施工现场安全管控要求。随着深度学习技术发展，使动火作业检测可以减少环境因素影响，通过较小计算量和参数量，得到比传感器检测方法更高的检测精确度。

3、现有的，基于深度学习的动火作业点实时检测方法，包括步骤：s1，根据施工作业现场图像建立烟火区域的数据集，对数据进行预处理后，输入到烟火区域的深度学习网络进行模型训练；s2，利用深度学习网络模型将输入的源图片分割成s×s矩形网格单元，并在每个网格中自动提取特征；s3，通过深度学习网络模型检测输入的原图片是否存在烟火区域，并预测目标边界框(bounding box)以及检测到的烟火区域的置信度分数，进而判断输入的原图片是否存在动火点。根据实验数据所展示的结果，上述方法检测的准确率为70％，仍存在检测精度不高的缺陷，后期需要人工介入对结果进行修正。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于深度学习的动火作业点实时检测方法，具有较高的检测精度。

2、本发明解决其技术问题所采用的技术方案是：基于深度学习的动火作业点实时检测方法，包括步骤：

3、s1，根据施工作业现场图像建立动火点颜色区域数据集和上升烟雾区域数据集；对动火点颜色区域数据集和上升烟雾区域数据集分别进行预处理后形成各自的训练集，将动火点颜色区域训练集输入至动火点颜色区域深度学习网络，将上升烟雾区域训练集输入至上升烟雾区域深度学习网络，进行各自的模型训练；

4、s2，通过深度学习网络模型将输入的原图片分割成若干个s×s的矩形网格单元，并在每个网格中自动提取特征；

5、s3，通过深度学习网络模型检测输入的原图片是否存在动火点颜色区域或上升烟雾区域的目标对象，并预测目标边界框、以及目标边界框中检测到动火点颜色区域和上升烟雾区域的置信度分数；判断输入的原图片是否存在动火点。

6、进一步的，所述步骤s3中判断输入的原图片是否存在动火点之前，还包括步骤s3a，得到动火点颜色区域的深度学习网络检测算法的权重、以及烟雾上升区域的深度学习网络检测算法的权重后，进行加权整合。

7、进一步的，所述步骤s3a中，采用最小均方算法lms进行加权整合；

8、

9、其中，wi(n)为当前权重向量值；

10、d(x,n)为采用最小均方算法加权动火点颜色区域子算法和上升烟雾区域子算法的决策函数；

11、e(x,n)为实际值与估计值的误差；

12、μ为0到2之间的值；

13、得到深度学习网络检测的动火点区域y(x,n)后，形成一个关于结果的矩阵；其中“1”代表有动火点，“-1”代表无动火点。

14、进一步的，所述步骤s3之后还包括步骤s4，将检测到的动火点区域在原图片上进行画框标识，并输出标识后的结果。

15、进一步的，所述步骤s2在自动提取特征的过程中，嵌入卷积注意力模块cbam，其通过学习的方式自动获取每个特征通道的重要程度，利用得到的重要程度提升特征并抑制对当前任务不重要的特征。

16、进一步的，所述步骤s2中，当处理视频时，读取视频的一帧图像作为输入的原图片，检测完成后，再读取视频的下一帧图像进行检测。

17、进一步的，所述步骤s3中，目标边界框为矩形框，用(x，y，w，h)表示；

18、其中，x，y为目标边界框中心点的坐标；

19、w为目标边界框的宽与原图片的宽的比例值；

20、h为目标边界框的高与原图片的高的比例值。

21、进一步的，所述步骤s3中，当网格单元里有动火点颜色区域的特征或者上升烟雾区域的特征时，置信度分数等于真相值和目标边界框之间的diou_nms；当网格单元里没有动火点颜色区域的特征或者上升烟雾区域的特征时，置信度分数为零；算法为：

22、pr(classi|object)×pr(object)×diou_nms＝pr(object)×diou_nms

23、其中，pr(classi|object)表示给定对象时，该对象属于某个类别的概率；

24、pr(object)表示该种对象出现的概率；

25、diou_nms是衡量目标边界框的重叠程度指标，nms代表非最大值抑制算法。

26、进一步的，所述步骤s3中，如果网格单元存在动火点颜色区域特征和上升烟雾区域特征，则求出原图像上所有动火点颜色区域的网格单元的置信度分数、以及原图像上上升烟雾区域的最大外接矩形区域的所有网格单元的置信度分数。

27、进一步的，所述深度学习网络模型为yolov5。

28、与现有技术相比，本发明的有益效果是：本发明提供一种基于深度学习的动火作业点实时检测方法，具有较高的检测精度。能改善小目标边界框的回归效果，增加小目标在损失函数中的权重。将检测到的动火点区域在原图片上进行画框标识，并输出标识后的结果。检测速度快、精度高、能满足实时处理的要求。

技术特征：

1.基于深度学习的动火作业点实时检测方法，其特征在于，包括步骤：

2.如权利要求1所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述步骤s3中判断输入的原图片是否存在动火点之前，还包括步骤s3a，得到动火点颜色区域的深度学习网络检测算法的权重、以及烟雾上升区域的深度学习网络检测算法的权重后，进行加权整合。

3.如权利要求2所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述步骤s3a中，采用最小均方算法lms进行加权整合；

4.如权利要求1所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述步骤s3之后还包括步骤s4，将检测到的动火点区域在原图片上进行画框标识，并输出标识后的结果。

5.如权利要求1所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述步骤s2在自动提取特征的过程中，嵌入卷积注意力模块cbam，其通过学习的方式自动获取每个特征通道的重要程度，利用得到的重要程度提升特征并抑制对当前任务不重要的特征。

6.如权利要求1所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述步骤s2中，当处理视频时，读取视频的一帧图像作为输入的原图片，检测完成后，再读取视频的下一帧图像进行检测。

7.如权利要求1所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述步骤s3中，目标边界框为矩形框，用(x，y，w，h)表示；

8.如权利要求1所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述步骤s3中，当网格单元里有动火点颜色区域的特征或者上升烟雾区域的特征时，置信度分数等于真相值和目标边界框之间的diou_nms；当网格单元里没有动火点颜色区域的特征或者上升烟雾区域的特征时，置信度分数为零；算法为：

9.如权利要求1所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述步骤s3中，如果网格单元存在动火点颜色区域特征和上升烟雾区域特征，则求出原图像上所有动火点颜色区域的网格单元的置信度分数、以及原图像上上升烟雾区域的最大外接矩形区域的所有网格单元的置信度分数。

10.如权利要求1-9中任意一项权利要求所述的基于深度学习的动火作业点实时检测方法，其特征在于，所述深度学习网络模型为yolov5。

技术总结本发明提供一种基于深度学习的动火作业点实时检测方法，具有较高的检测精度。包括步骤：对动火点颜色区域数据集和上升烟雾区域数据集分别进行预处理后形成各自的训练集，将动火点颜色区域训练集输入至动火点颜色区域深度学习网络，将上升烟雾区域训练集输入至上升烟雾区域深度学习网络，进行各自的模型训练；通过深度学习网络模型将输入的原图片分割成若干个S×S的矩形网格单元，并在每个网格中自动提取特征；通过深度学习网络模型检测输入的原图片是否存在动火点颜色区域或上升烟雾区域的目标对象，并预测目标边界框、以及目标边界框中检测到动火点颜色区域和上升烟雾区域的置信度分数；判断输入的原图片是否存在动火点。技术研发人员：李秋池,杨杰,李静,申俊,龚建华,黄鑫,魏东,刘裕伟,林冬,张凯源,蒲嵩,杜德飞,朱世仁,钱成,唐逸欣,周晓曼,谢光华,宋旭,刘禹豆,林德健受保护的技术使用者：中国石油天然气股份有限公司技术研发日：技术公布日：2024/11/14