高识别准确率的黑色烟雾识别及展示方法与流程

本申请涉及黑色烟雾识别及展示，具体为一种高识别准确率的黑色烟雾识别及展示方法。

背景技术：

1、在早期，我国对黑烟车的监管主要是通过人工方式来实行，监管人员通过肉眼对道路监控中的黑烟车进行人工排查，该方法耗费大量人力物力且效率低下，而且长期观看监控视频也会导致视觉疲劳，造成误报、漏报等一系列问题。后来随着电子技术的发展以及道路设施的不断完善，使用感光元器件设计的电子设备被用来黑烟识别，其利用了黑烟尾气的不透光特性并根据是否需要近距离接触车辆可分为消光式烟度计和遥测式烟度计两大类。前者需要靠近排气源，将机动车尾气送入检测设备，在尾气的作用下设备发射的光源会有不同程度的衰减，再根据光度的变化情况估算尾气中的各项参数。后者与前者的设计原理类似，区别在于遥测式烟度计可部署于道路两侧，可以不影响车辆的正常行驶，实现开放式尾气检测。但该类设备操作复杂，需要聘请专业人员操作，维护成本过高、感光器件对光照条件要求苛刻。

2、近年来，随着计算机硬件和人工智能技术的发展，基于图像处理与模式识别技术构建的智能黑烟车辆识别系统开始被广泛研究与应用。车辆的黑烟检测，可以看做是目标检测任务中的一类特定问题，而目标检测属于计算机视觉研究的核心领域。目前，基于深度学习的目标检测算法已经超越传统检测方法，成为当前目标检测算法的主流。深度学习模型无需人工进行特征设计，具有良好的特征表达能力及优良的检测精度。

3、目标检测算法依据是否需要产生候选框区域，可分为两类，即基于候选区域的目标检测算法和基于端到端学习的目标检测算法。基于候选区域的代表方法主要包括：r-cnn，fast r-cnn，faster r-cnn等。其主要过程分为两个步骤，第一步先输入图像，通过深度卷积网络区域特征，再通过这些特征得到一系列候选框区域，这些区域中被认为是包含了感兴趣的目标，第二步，在候选区域中筛选得到最终的目标分类与位置信息。该类方法的计算复杂度较高，需要的硬件条件较多，适合于对准确率要求较高，但不要求实时性的目标检测场景。基于端对端学习的目标检测，该类方法无需预先提取候选区域，其代表性方法为yolo和ssd。该方法将目标框定位问题转化为回归问题，在不需要产生候选框的情况下，直接从卷积神经网络中提取特征并预测物体的分类与位置。该类方法实现过程简单，计算复杂度也较低，适合对实时性要求较高的目标检测场景。

技术实现思路

1、本申请提供一种高识别准确率的黑色烟雾识别及展示方法，可以提高黑色烟雾识别准确性。

2、本申请解决其技术问题所采用的技术方案是：一种高识别准确率的黑色烟雾识别及展示方法，包括以下步骤：

3、步骤s1，对目标视频按设定方式进行图片抽取，然后将抽取图片送入快速识别模型；

4、步骤s2，快速识别模型通过二维图像识别方式进行快速识别，将图片分类结果中黑色烟雾识别为确定性分类的图片直接输出，将黑色烟雾识别为非确定性的图片送入下一步；

5、步骤s3，在非确定性的图片中选出其中的代表性图片，根据代表性图片在目标视频中的位置，抽取出代表性视频时间段，将代表性视频时间段转换为带有时间轴的图像集合；

6、步骤s4，带有时间轴的图像集合送入三维卷积网络模型，由三维卷积网络模型针对带有时间轴的图像集合中的变化部分加以识别判断，输出识别判断结果为黑色烟雾的照片；

7、步骤s5，将识别结果为带有黑色烟雾的照片进行处理后在前端界面展示。

8、本申请从目标视频中抽取图片进行二维识别，先进行一次黑色烟雾的识别，但是二维模型只能对运动目标的空间特征进行识别的，因此精度较低，容易出现误判，使得一些比较难判别的带有黑色烟雾的视频不能被识别出，因此在二维识别后，本申请根据二维识别的判断情况，将可能存在判断失误的照片选取，找出对应的视频段继续进行三维识别，三维从时间和空间特征进行识别，进一步判断是否存在黑色烟雾，经过双重筛选和识别，最终得到的识别结果更加精准。

9、作为优选，步骤s1中图片抽取的设定方式包括均分定量抽取图片或基于正态分布抽取高概率范围的图片，具体的选择方式基于图片的特点来决定，哪种更加合适。

10、作为优选，快速识别模型通过二维卷积核对抽取图片进行特征学习，得到抽取图片的带有黑色烟雾可能性得分，以得分大于等于90以及小于等于5的图片作为确定性分类的图片直接输出，其中，得分大于等于90为确定带有黑色烟雾，得分小于等于5为确定不带有黑色烟雾，得分5-90分之间的图片为非确定性的图片，该步骤中，当抽取图片的可能性得分为大于等于90以及小于等于5，则直接输出，说明二维已经能够实现识别，但如果可能性得分为5-90分之间，则说明二维判断不出来识别真正带有黑色烟雾，属于存疑情况，此时存疑则需要进一步判断。

11、作为优选，二维图像识别采用faster r-cnn算法以滑动窗口上与黑色烟雾类目标在原始图片上候选区的关联区域为锚点，锚点所对应的区域根据图像尺度和长宽比确定为9种规模大小，每个滑动窗口经过多若干次卷积转变为一个向量，基于该向量进行前景、背景分类任务和边框回归任务，得到该锚点属于前景的区域得分以及该锚点属于前景区域的位置坐标，基于区域得分判断确定性分类和非确定性的图片。

12、作为优选，步骤s3中，将非确定性的图片中得分在80-90分之间的图片作为代表性图片，根据代表性图片在目标视频中涵盖的位置区间，抽取出整个位置区间的视频并提取代表性视频时间段，将代表性视频时间段转换为带有时间轴的图像集合。

13、作为优选，三维卷积网络模型的前端由卷积层、relu层、池化层和非局部注意力模块组成，其后端由三个全连接层和softmax分类器构成，选择将非局部注意力模块插入第二层卷积层和池化层之间，以此来增强黑烟分类网络的表征能力。

14、作为优选，三维卷积网络模型在时间维度上的通道数与设置的连续处理的图像数相关，每层卷积得到的特征图均与上一层中多个邻近的连续图像相关，实现捕捉到连续图像间的时间信息，从而提取带有时间轴的图像集合中图像的空间和时间特征信息，将带有时间轴的图像集合中变化部分加以识别判断，输出识别判断结果为黑色烟雾的照片。

15、本申请的实质性效果是：

16、（1）本申请从目标视频中抽取图片进行二维识别，先进行一次黑色烟雾的识别，但是二维模型只能对运动目标的空间特征进行识别的，因此精度较低，容易出现误判，使得一些比较难判别的带有黑色烟雾的视频不能被识别出，因此在二维识别后，本申请根据二维识别的判断情况，将可能存在判断失误的照片选取，找出对应的视频段继续进行三维识别，三维从时间和空间特征进行识别，进一步判断是否存在黑色烟雾，经过双重筛选和识别，最终得到的识别结果更加精准；

17、（2）本高识别准确率的黑色烟雾识别及展示方法在三维识别过程中，选择将非局部注意力模块插入第二层卷积层和池化层之间，以此来增强黑烟分类网络的表征能力。

技术特征：

1.一种高识别准确率的黑色烟雾识别及展示方法，其特征在于，包括：其特征在于，包括以下步骤：

2.根据权利要求1所述的高识别准确率的黑色烟雾识别及展示方法，其特征在于，步骤s1中图片抽取的设定方式包括均分定量抽取图片或基于正态分布抽取高概率范围的图片。

3.根据权利要求1所述的高识别准确率的黑色烟雾识别及展示方法，其特征在于，快速识别模型通过二维卷积核对抽取图片进行特征学习，得到抽取图片的带有黑色烟雾可能性得分，以得分大于等于90以及小于等于5的图片作为确定性分类的图片直接输出，其中，得分大于等于90为确定带有黑色烟雾，得分小于等于5为确定不带有黑色烟雾，得分5-90分之间的图片为非确定性的图片。

4.根据权利要求1所述的高识别准确率的黑色烟雾识别及展示方法，其特征在于，二维图像识别采用faster r-cnn算法以滑动窗口上与黑色烟雾类目标在原始图片上候选区的关联区域为锚点，锚点所对应的区域根据图像尺度和长宽比确定为9种规模大小，每个滑动窗口经过多若干次卷积转变为一个向量，基于该向量进行前景、背景分类任务和边框回归任务，得到该锚点属于前景的区域得分以及该锚点属于前景区域的位置坐标，基于区域得分判断确定性分类和非确定性的图片。

5.根据权利要求3所述的高识别准确率的黑色烟雾识别及展示方法，其特征在于，步骤s3中，将非确定性的图片中得分在80-90分之间的图片作为代表性图片，根据代表性图片在目标视频中涵盖的位置区间，抽取出整个位置区间的视频并提取代表性视频时间段，将代表性视频时间段转换为带有时间轴的图像集合。

6.根据权利要求1所述的高识别准确率的黑色烟雾识别及展示方法，其特征在于，三维卷积网络模型的前端由卷积层、relu层、池化层和非局部注意力模块组成，其后端由三个全连接层和softmax分类器构成，选择将非局部注意力模块插入第二层卷积层和池化层之间，以此来增强黑烟分类网络的表征能力。

7.根据权利要求6所述的高识别准确率的黑色烟雾识别及展示方法，其特征在于，三维卷积网络模型在时间维度上的通道数与设置的连续处理的图像数相关，每层卷积得到的特征图均与上一层中多个邻近的连续图像相关，实现捕捉到连续图像间的时间信息。

技术总结本申请公开了一种高识别准确率的黑色烟雾识别及展示方法，包括,对目标视频按设定方式进行图片抽取，然后将抽取图片送入快速识别模型；快速识别模型通过二维图像识别方式进行快速识别，将图片分类结果中黑色烟雾识别为确定性分类的图片直接输出，将黑色烟雾识别为非确定性的图片送入下一步；在非确定性的图片中选出其中的代表性图片，根据代表性图片在目标视频中的位置，抽取出代表性视频时间段，将代表性视频时间段转换为带有时间轴的图像集合；带有时间轴的图像集合送入三维卷积网络模型，由三维卷积网络模型输出识别判断结果为黑色烟雾的照片；将识别结果为带有黑色烟雾的照片进行处理后在前端界面展示。技术研发人员：李杭受保护的技术使用者：杭州普鹤科技有限公司技术研发日：技术公布日：2024/8/20