一种基于深度学习的吸烟检测方法和系统与流程

本发明涉及吸烟检测，特别涉及一种基于深度学习的吸烟检测方法和系统。

背景技术：

1、目前，在当前的技术背景下，吸烟检测技术的发展已成为公共健康和安全领域的重要议题。随着社会对健康意识的提高以及对公共场所吸烟行为的限制，如何有效地监测和预防吸烟行为尤其在禁烟区域，成为了急需解决的问题。

2、现有的吸烟检测方法主要有依赖于烟雾探测器和人工监视的传统吸烟检测方法和基于视觉的吸烟检测方法，传统的吸烟检测方法往往存在响应时间慢、误报率高和监控盲区等缺点，基于视觉的吸烟检测方法主要存在如下问题：(1)遮挡问题：在复杂的环境中，吸烟者或其手中的香烟可能部分或完全被遮挡，这给准确检测带来了挑战。(2)动态行为和姿态变化：吸烟行为伴随着各种手部和面部的动态行为及姿态变化，这些变化对准确识别带来了难度。(3)距离和角度问题：检测系统与吸烟个体之间的距离以及摄像头的角度都可能影响检测准确性。远距离或极端角度可能导致关键特征的丢失。(4)相似行为的区分：需要区分吸烟与其他相似手部动作或行为，如吃东西、喝水或擦嘴等，这需要高度精准的模式识别技术。(5)实时处理和资源限制：实时吸烟检测需要高效的算法来确保快速响应。同时，在资源受限的设备上运行这些算法(如嵌入式系统或智能摄像头)可能面临计算资源和电力消耗的挑战。

技术实现思路

1、本发明提供一种基于深度学习的吸烟检测方法，用以解决现有的基于视觉的吸烟检测方法在复杂环境下存在，导致检测准确性低但这些方法往往存在响应时间慢、误报率高和监控盲区的问题，包括：

2、获取待识别的禁烟区域的图像采集数据；

3、基于所述图像采集数据，利用预先构建的吸烟区域检测模型，得到所述图像采集数据中是否存在疑似吸烟区域；

4、当所述图像采集数据中存在疑似吸烟区域时，利用bytetrack目标跟踪算法，生成吸烟动作轨迹；

5、根据所述吸烟动作轨迹，确定所述待识别的禁烟区域是否存在吸烟行为；

6、其中，所述吸烟区域检测模型以历史的图像采集数据作为训练数据的输入，以所述历史的图像采集数据是否存在吸烟区域的实际标注数据作为训练数据的输出，对yolov9神经网络进行训练得到的。

7、可选的，所述吸烟区域检测模型包括如下的构建过程：

8、初始化网络参数；

9、以历史的图像采集数据作为训练数据的输入；

10、以所述历史的图像采集数据中是否存在吸烟区域的实际标注数据作为训练数据的输出；

11、基于所述训练数据的输入和输出，对yolov9神经网络进行训练，并通过自适应学习率动量因子的梯度优化方法对所述yolov9神经网络中的网络参数进行更新；

12、基于更新后的网络参数，对所yolov9神经网络进行更新，并通过计算更新后的yolov9神经网络的交叉熵损失函数，采用反向传播算法对所述更新后的yolov9神经网络中的网络参数进行调整，得到吸烟区域检测模型。

13、可选的，所述当所述图像采集数据中存在疑似吸烟区域时，利用bytetrack目标跟踪算法，生成吸烟动作轨迹，包括：

14、当所述图像采集数据中存在疑似吸烟区域时，对所述疑似吸烟区域采用图像分割与增强方法进行局部区域无损扩大，得到吸烟扩大区域；

15、基于所述吸烟扩大区域，利用bytetrack目标跟踪算法，生成吸烟动作轨迹。

16、可选的，所述基于所述吸烟扩大区域，利用bytetrack目标跟踪算法，生成吸烟动作轨迹，包括：

17、对所述吸烟扩大区域中对应的每一帧图像数据进行特征提取，得到图像特征数据；

18、利用交并比作为相似性度量，计算相邻帧的图像特征数据之间的相似度；

19、根据所述相邻帧的图像特征数据之间的相似度，利用bytetrack目标跟踪算法，生成吸烟动作轨迹；

20、其中，所述图像特征数据包括：外观特征和运动特征；

21、所述外观特征包括：颜色特征、纹理特征和轮廓特征；

22、所述运动特征包括：坐标变化特征和速度变化特征。

23、可选的，所述根据所述相邻帧的图像特征数据之间的相似度，利用bytetrack目标跟踪算法，生成吸烟动作轨迹，包括：

24、根据所述相邻帧的图像特征数据之间的相似度，选取相似度大于设定阈值的图像特征数据；

25、利用bytetrack算法，将所述相似度大于设定阈值的图像特征数据进行坐标点匹配；

26、将匹配成功的图像特征数据的中心点或关键点进行连接，形成连续的轨迹线；

27、将所述连续的轨迹线进行叠加显示，生成吸烟动作轨迹。

28、可选的，所述根据所述吸烟动作轨迹，确定所述待识别的禁烟区域是否存在吸烟行为，包括：

29、根据所述吸烟动作轨迹，生成动作序列和时间序列；

30、判断所述禁烟区域中对应的图像采集数据在所述时间序列下是否出现烟雾，得到判断结果；

31、根据所述动作时间序列、时间序列和所述判断结果，确定所述待识别的禁烟区域是否存在吸烟行为；

32、其中，所述动作序列包括下述的一种或多种：手部举起至嘴边、手指尖的物体移动和嘴部动作。

33、可选的，所述获取待识别的禁烟区域的图像采集数据之后，所述基于所述图像采集数据，利用预先构建的吸烟区域检测模型，得到所述图像采集数据中是否存在疑似吸烟区域之前，还包括：

34、对所述待识别的禁烟区域的图像采集数据进行数据预处理，得到预处理后的图像采集数据；

35、其中，所述数据预处理包括下述的一种或多种：图像增强、噪声去除和图像标准化。

36、可选的，所述根据所述吸烟动作轨迹，确定所述待识别的禁烟区域是否存在吸烟行为之后，还包括：

37、当所述待识别的禁烟区域确定存在吸烟行为，自动触发警报，同时通过http网络将警报信息推送至后台系统。

38、基于同一发明构思，本发明还提供了一种基于深度学习的吸烟检测系统，包括：

39、数据采集模块：用于获取待识别的禁烟区域的图像采集数据；

40、行为判断模块：用于基于所述图像采集数据，利用预先构建的吸烟区域检测模型，得到所述图像采集数据中是否存在疑似吸烟区域；

41、轨迹生成模块：用于当所述图像采集数据中存在疑似吸烟区域时，利用bytetrack目标跟踪算法，生成吸烟动作轨迹；

42、行为确定模块：用于根据所述吸烟动作轨迹，确定所述待识别的禁烟区域是否存在吸烟行为；

43、其中，所述行为判断模块中的吸烟区域检测模型以历史的图像采集数据作为训练数据的输入，以所述历史的图像采集数据是否存在吸烟区域的实际标注数据作为训练数据的输出，对yolov9神经网络进行训练得到的。

44、可选的，所述行为判断模块中的吸烟区域检测模型包括如下的构建过程：

45、初始化所述脑电信号识别模型的网络参数；

46、以历史的图像采集数据作为训练数据的输入；

47、以所述历史的图像采集数据中是否存在吸烟区域的实际标注数据作为训练数据的输出；

48、基于所述训练数据的输入和输出，对yolov9神经网络进行训练，并通过自适应学习率动量因子的梯度优化方法对所述yolov9神经网络中的网络参数进行更新；

49、基于更新后的网络参数，对所yolov9神经网络进行更新，并通过计算更新后的yolov9神经网络的交叉熵损失函数，采用反向传播算法对所述更新后的yolov9神经网络中的网络参数进行调整，得到吸烟区域检测模型。

50、获取待识别的禁烟区域的图像采集数据；

51、基于所述图像采集数据，利用预先构建的吸烟区域检测模型，得到所述图像采集数据中是否存在疑似吸烟区域；

52、当所述图像采集数据中存在疑似吸烟区域时，利用bytetrack目标跟踪算法，生成吸烟动作轨迹；

53、根据所述吸烟动作轨迹，确定所述待识别的禁烟区域是否存在吸烟行为；

54、其中，所述吸烟区域检测模型以历史的图像采集数据作为训练数据的输入，以所述历史的图像采集数据是否存在吸烟区域的实际标注数据作为训练数据的输出，对yolov9神经网络进行训练得到的。

55、可选的，所述轨迹生成模块，具体用于：

56、当所述图像采集数据中存在疑似吸烟区域时，对所述疑似吸烟区域采用图像分割与增强方法进行局部区域无损扩大，得到吸烟扩大区域；

57、基于所述吸烟扩大区域，利用bytetrack目标跟踪算法，生成吸烟动作轨迹。

58、可选的，所述轨迹生成模块，具体用于：

59、对所述吸烟扩大区域中对应的每一帧图像数据进行特征提取，得到图像特征数据；

60、利用交并比作为相似性度量，计算相邻帧的图像特征数据之间的相似度；

61、根据所述相邻帧的图像特征数据之间的相似度，利用bytetrack目标跟踪算法，生成吸烟动作轨迹；

62、其中，所述图像特征数据包括：外观特征和运动特征；

63、所述外观特征包括：颜色特征、纹理特征和轮廓特征；

64、所述运动特征包括：坐标变化特征和速度变化特征。

65、可选的，所述轨迹生成模块中根据所述相邻帧的图像特征数据之间的相似度，利用bytetrack目标跟踪算法，生成吸烟动作轨迹，包括：

66、根据所述相邻帧的图像特征数据之间的相似度，选取相似度大于设定阈值的图像特征数据；

67、利用bytetrack算法，将所述相似度大于设定阈值的图像特征数据进行坐标点匹配；

68、将匹配成功的图像特征数据的中心点或关键点进行连接，形成连续的轨迹线；

69、将所述连续的轨迹线进行叠加显示，生成吸烟动作轨迹。

70、可选的，所述行为确定模块，具体用于：

71、根据所述吸烟动作轨迹，生成动作序列和时间序列；

72、判断所述禁烟区域中对应的图像采集数据在所述时间序列下是否出现烟雾，得到判断结果；

73、根据所述动作时间序列、时间序列和所述判断结果，确定所述待识别的禁烟区域是否存在吸烟行为；

74、其中，所述动作序列包括下述的一种或多种：手部举起至嘴边、手指尖的物体移动和嘴部动作。

75、可选的，所述数据采集模块中获取待识别的禁烟区域的图像采集数据之后，还包括：

76、对所述待识别的禁烟区域的图像采集数据进行数据预处理，得到预处理后的图像采集数据；

77、其中，所述数据预处理包括下述的一种或多种：图像增强、噪声去除和图像标准化。

78、可选的，所述行为确定模块中根据所述吸烟动作轨迹，确定所述待识别的禁烟区域是否存在吸烟行为之后，还包括：

79、当所述待识别的禁烟区域确定存在吸烟行为，自动触发警报，同时通过http网络将警报信息推送至后台系统。

80、与最接近的现有技术相比，本发明具有的有益效果如下：

81、本发明提供了一种基于深度学习的吸烟检测方法和系统，包括：获取待识别的禁烟区域的图像采集数据；基于所述图像采集数据，利用预先构建的吸烟区域检测模型，得到所述图像采集数据中是否存在疑似吸烟区域；当所述图像采集数据中存在疑似吸烟区域时，利用bytetrack目标跟踪算法，生成吸烟动作轨迹；根据所述吸烟动作轨迹，确定所述待识别的禁烟区域是否存在吸烟行为；其中，所述吸烟区域检测模型以历史的图像采集数据作为训练数据的输入，以所述历史的图像采集数据是否存在吸烟区域的实际标注数据作为训练数据的输出，对yolov9神经网络进行训练得到的；本发明通过基于yolov9神经网络构建的吸烟区域检测模型，能够快速且准确地从当前图像采集数据中筛选出可能存在吸烟行为的区域，通过bytetrack目标跟踪算法，专门针对疑似吸烟行为进行连续跟踪，能够在复杂动态场景中稳定追踪吸烟动作，即使目标在画面中移动或暂时

82、本发明的其它特征将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

83、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。