一种基于视频语义的道路视频监控设备异常检测方法与流程

本发明涉及图像识别，更具体地，涉及一种基于视频语义的道路视频监控设备异常检测方法。

背景技术：

1、道路视频监控设备常见故障包括断电、断网、设备损坏、网络丢包等硬件问题，也包括焦距、云台、白平衡等设置问题和镜头遮挡、照明问题等维护问题。前者在后端视频上，直接表现为黑屏、白屏、蓝屏等无画面故障和画面卡顿、时有时无、马赛克等，而后者表现为画面模糊、角度问题（面向天空、面向路面或面向路外）、偏色、遮挡、镜头污损(霜、雾、水滴、灰尘)、画面过暗、细节丢失、低对比度等。

2、传统的视频图像异常检测技术，基于图像和画质分析，比较适合无画面、马赛克、偏色、画面过暗、低对比度的检测。但对于焦距问题、角度问题、遮挡、镜头污损(霜、雾、水滴、灰尘)等问题的检测效果不理想，误检率比较高，严重影响运维效率。

3、为此，不少研究者尝试利用基于深度学习的分类技术识别视频图像异常状态，取得了一定的成效。但是该方法还是存在一些问题：

4、一是异常状态分类的边界不可知不可控。以角度问题中面向天空这种异常状态为例，到底天空在图像中占多少比例意味着异常，是因时、因地、因需要而变化的，但采用基于深度学习训练的分类算法，这分类的边界已经内化在算法里成为一个黑盒，既不为使用者所知，也不是使用者能改变的，这大大限制了视频监控设备异常状态检测算法应用的灵活性。

5、二是难以融合基于经验的个性化快速判断技巧。以部桥梁、高架上的视频监控设备为例，部分设备正常工作的画面下，也是大部分区域都是天空或者类似天空的水面，采用各种场景通用的检测算法就极容易被识别为面向天空。当然，可以采集标注大量桥梁上的图像样本训练桥梁上专门的识别算法，但该方法成本过于高昂。但是，同样的图片，人工识别是非常快的，原因在于人类有很多基于经验的快速判断技巧，如何将这些技巧灵活应用于监控设备异常状态发现成为一个课题。

技术实现思路

1、为了解决现有技术中存在的不足，本发明提供了一种基于视频语义的道路视频监控设备异常检测方法，能够在道路视频监控设备运维管理中自动发现道路视频监控设备的异常状态，提高道路视频监控设备维护的及时性。

2、作为本发明的第一个方面，提供一种基于视频语义的道路视频监控设备异常检测方法，包括以下步骤：

3、步骤s1：获取道路视频监控设备拍摄到的当前道路监控图像；

4、步骤s2：采用视频语义识别算法从所述当前道路监控图像中分别识别出所有特定目标和所有特定区域；

5、步骤s3：计算出当前道路监控图像中各个特定区域的比例，并判断各个特定区域的比例是否在合理比例范围内；若不在所述合理比例范围内，则确定出该道路视频监控设备存在监控角度异常；若在所述合理比例范围内，则从所述当前道路监控图像中识别出遮挡物，并确定出遮挡物的位置、形状和面积，然后执行步骤s4；

6、步骤s4：判断所述遮挡物的位置是否接近所述当前道路监控图像的中心且所述遮挡物的面积是否大于预设值；若是，则确定出该道路视频监控设备存在遮挡情况；反之，则对所述当前道路监控图像中的未知污迹进行识别，当无法识别出所述当前道路监控图像中的未知污迹时，执行步骤s5；

7、步骤s5：获取该道路视频监控设备在不同时间点拍摄到的道路监控图像，当该未知污迹在所述不同时间点的道路监控图像中的位置固定不变时，则确定出该道路视频监控设备存在镜头污损。

8、进一步地，所述特定目标包括道路交通基本元素、道路设施和路外目标，所述特定区域包括道路区域、建筑物区域、天空区域和农田区域，其中，所述道路交通基本元素包括交通标志、标线、行人和车辆，所述道路设施包括跨线桥、龙门架、立杆、标志牌和护栏，所述路外目标包括房屋、树木、人、动物和物品。

9、进一步地，在所述获取道路视频监控设备拍摄到的当前道路监控图像之后，还包括：

10、使用图像标定工具对每个道路视频监控设备拍摄到的正常道路监控图像进行标定，以确定出各个特定区域的合理比例范围。

11、进一步地，所述获取道路视频监控设备拍摄到的当前道路监控图像中，还包括：

12、设置定时任务或采用循环轮询机制，轮流获取所述道路视频监控设备拍摄到的道路监控图像。

13、进一步地，所述计算出当前道路监控图像中各个特定区域的比例中，还包括：

14、使用当前道路监控图像中各个特定区域的面积与当前道路监控图像总面积的比值来确定所述各个特定区域的比例。

15、进一步地，所述从所述当前道路监控图像中识别出遮挡物中，还包括：

16、利用目标检测算法从所述当前道路监控图像中识别出遮挡物，其中，所述遮挡物包括杆件、树木、电线或过线桥。

17、进一步地，所述对所述当前道路监控图像中的未知污迹进行识别中，还包括：

18、使用图像处理算法和深度学习模型识别出所述当前道路监控图像中的未知污迹，其中，所述未知污迹包括水滴、雾气或灰尘。

19、进一步地，所述步骤s5中，还包括：

20、当该未知污迹在所述不同时间点的道路监控图像中的位置固定不变时，则判定出该未知污迹为镜头上的污损或玻璃罩上的污损，从而确定出该道路视频监控设备存在镜头污损或者玻璃罩污损；然后通过污损检测算法确认，并生成维护报警信息；

21、当该未知污迹在所述不同时间点的道路监控图像中消失或位置明显变化时，则通过图像变化检测算法判定出该未知污迹是背景中的移动物体。

22、本发明提供的一种基于视频语义的道路视频监控设备异常检测方法具有以下优点：能够在道路视频监控设备运维管理中自动发现道路视频监控设备的异常状态，从而解决道路视频监控设备自动化运维管理的问题，减少人工运维工作量，提高维护的及时性，提高道路视频监控设备的妥善率，有效监控与记录道路交通状况。

技术特征：

1.一种基于视频语义的道路视频监控设备异常检测方法，其特征在于，所述基于视频语义的道路视频监控设备异常检测方法包括以下步骤：

2.根据权利要求1所述的基于视频语义的道路视频监控设备异常检测方法，其特征在于，所述特定目标包括道路交通基本元素、道路设施和路外目标，所述特定区域包括道路区域、建筑物区域、天空区域和农田区域，其中，所述道路交通基本元素包括交通标志、标线、行人和车辆，所述道路设施包括跨线桥、龙门架、立杆、标志牌和护栏，所述路外目标包括房屋、树木、人、动物和物品。

3.根据权利要求1所述的基于视频语义的道路视频监控设备异常检测方法，其特征在于，在所述获取道路视频监控设备拍摄到的当前道路监控图像之后，还包括：

4.根据权利要求1所述的基于视频语义的道路视频监控设备异常检测方法，其特征在于，所述获取道路视频监控设备拍摄到的当前道路监控图像中，还包括：

5.根据权利要求1所述的基于视频语义的道路视频监控设备异常检测方法，其特征在于，所述计算出当前道路监控图像中各个特定区域的比例中，还包括：

6.根据权利要求1所述的基于视频语义的道路视频监控设备异常检测方法，其特征在于，所述从所述当前道路监控图像中识别出遮挡物中，还包括：

7.根据权利要求1所述的基于视频语义的道路视频监控设备异常检测方法，其特征在于，所述对所述当前道路监控图像中的未知污迹进行识别中，还包括：

8.根据权利要求1所述的基于视频语义的道路视频监控设备异常检测方法，其特征在于，所述步骤s5中，还包括：

技术总结本发明涉及图像识别技术领域，具体公开了一种基于视频语义的道路视频监控设备异常检测方法，包括：步骤S1：获取道路视频监控设备拍摄到的当前道路监控图像；步骤S2：从当前道路监控图像中分别识别出所有特定目标和所有特定区域；步骤S3：判断各个特定区域的比例是否在合理比例范围内；若否，则确定出该道路视频监控设备存在监控角度异常；若是，则从当前道路监控图像中识别出遮挡物，并确定出遮挡物的位置、形状和面积，然后执行步骤S4；步骤S4：判断遮挡物的位置是否接近当前道路监控图像的中心且遮挡物的面积是否大于预设值；若是，则确定出该道路视频监控设备存在遮挡情况；反之，则对当前道路监控图像中的未知污迹进行识别，当无法识别出当前道路监控图像中的未知污迹时，执行步骤S5；步骤S5：获取该道路视频监控设备在不同时间点拍摄到的道路监控图像，当该未知污迹在不同时间点的道路监控图像中的位置固定不变时，则确定出该道路视频监控设备存在镜头污损。本发明能够自动发现道路视频监控设备的异常状态，提高道路视频监控设备维护的及时性。技术研发人员：黄淑兵,杨卓敏,赵磊,赵北辰,马文峰,葛广照,朱骏飞,黎厚冰受保护的技术使用者：公安部交通管理科学研究所技术研发日：技术公布日：2024/11/14