一种智能全景移动式安全监察视频球机及其方法与流程

本发明涉及一种智能全景移动式安全监察视频球机及其方法，属于电力作业现场智能化安全监控应用技术。

背景技术：

1、现有技术中，电力作业现场的环境十分复杂，影响电力作业现场的安全因素又十分多，因而督查人员无法全过程、无死角地实现远程监察，因而电力作业现场存在高风险作业场景下的监测盲区。目前，电力作业现场较为典型的、难以实现监控的违章场景包括未佩戴安全帽、未着工装、行程异常、非认证设备进场、跨越围栏、爬梯无人扶持、吊臂下方站人、使用吊栏高出作业、画面中无人、抽烟行为、打电话行为等，部分行为由于摄像头识别精度不够无法准确识别，部分行为由于视觉盲区无法监控。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，本发明提供一种智能全景移动式安全监察视频球机及其方法，通过全景摄像头、光学变倍摄像头和广角摄像头实现对全局视野和局部放大视野的监控，基于全局视野识别移动目标并进行目标跟踪，基于局部放大视野实现移动目标的精细化识别；同时，结合目标位置的合理性、警戒信息标识等信息转换被监控的特定移动目标，对电力作业现场进行更为全面和智能化的监控，提高电力作业现场的安全性。

2、技术方案：为实现上述目的，本发明采用的技术方案为：

3、一种智能全景移动式安全监察视频球机，包括支架、摄像头和电力作业现场安全监控模块；

4、所述支架包括底座、旋转电机、旋转柱、俯仰电机和俯仰块，旋转电机的壳体设置在底座内，旋转柱安装在旋转电机的输出轴上，俯仰电机的壳体设置在旋转柱内，俯仰块安装在俯仰电机的输出轴上；

5、所述摄像头包括全景摄像头、光学变倍摄像头和广角摄像头，全景摄像头设置在底座上，光学变倍摄像头和广角摄像头设置在俯仰块上；通过全景摄像头采集电力作业现场的全局视野视频流，通过光学变倍摄像头采集电力作业现场中指定目标的局部视野视频流，局部视野视频流的像素高于全局视野视频流，可将局部视野视频流视为全局视野视频流中某区域的放大，通过广角摄像头实现局部视野视频流在全局视野视频流中的定位交互，即实现画中画的效果；将全局视野视频流和局部视野视频流发送给电力作业现场安全监控模块；

6、所述电力作业现场安全监控模块接收全局视野视频流和局部视野视频流；对全局视野视频流，通过移动目标识别单元识别固定目标和移动目标，通过人体目标识别单元区分人体移动目标和非人体移动目标，通过多目标跟踪单元跟踪移动目标并记录移动目标的移动轨迹；对局部视野视频流，通过人脸识别单元对人体移动目标进行身份识别，通过标识物识别单元对人体移动目标进行着装识别，通过多目标分类单元对非人体移动目标进行分类识别，还可以将非人体移动目标分为特定移动目标和非特定移动目标，将危险目标等独立存在的（比如动火等）非人体移动目标定义为非特定移动目标，将需要特定配套物的非人体移动目标定义为特定移动目标；将识别出的具有警戒信息的移动目标作为新的指定目标，驱动旋转电机和俯仰电机工作，使光学变倍摄像头跟随指定目标；若所有移动目标均不具有警戒信息，则将最新进入电力作业现场的移动目标作为指定目标，驱动旋转电机和俯仰电机工作，使光学变倍摄像头跟随指定目标。

7、本案采用了双层算法设计方案，对像素较低的全局视野视频流，主要用于是否人体移动目标的确定已经移动目标移动轨迹的跟踪；对于像素较高的局部视野视频流，进行了更为精细的目标识别，包括人脸识别、目标分类等。本案中，由于电力作业现场稳定，可以通过权限确认获取全局视野背景图像，以简化对移动目标的识别过程。需要说明的是，本案中的移动目标可以理解成是全局视野背景图像以外的所有新增目标，有可能会发生位移，比如人体、车辆等，也可能不会发生移动，比如着火点的火焰等，将其出现视为一种移动。

8、具体的，通过移动目标识别单元识别固定目标和移动目标，首先，基于权限确认获取全局视野背景图像；然后，删除全局视野视频流的当前帧图像与前一帧图像中的全局视野背景图像，对比两帧图像，获得新增目标或消失目标；

9、若获得新增目标，首先判断该新增目标是否为丢失目标，若是丢失目标，则继续跟踪；否则，判断该新增目标的出现位置是否合理，若合理，则将该新增目标判断为新进入电力作业现场的移动目标；否则，将该新增目标判断为新进入电力作业现场的移动目标，同时对该新增目标标记警戒信息；

10、对于消失目标，首先该消失目标的消失位置是否合理，若合理，则结束对该消失目标的继续跟踪；否则，将该消失目标标记为丢失目标，同时对该消失目标标记警戒信息。

11、理论上来说，新增目标进入和离开电力工作现场时，有明确的位置，若突然从画面中出现或者突然从画面中消失都是值得警惕的事件；本案针对这种情况对移动目标进行了区分，能够对丢失的目标进行持续的跟踪，有效防止了画面中无人物的情况发生。

12、具体的，通过人体目标识别单元区分人体移动目标和非人体移动目标，首先通过对移动对象轮廓的识别判断是否人体移动目标；对于人体移动目标，采用矩形框i进行标记，提取矩形框i的中心点坐标，同时提取人体移动目标的头部中心点坐标；对于非人体移动坐标，采用矩形框ii进行标记，提取矩形框ii的中心点坐标。是否为人体目标的区分是较为成熟的现有技术，较为简单的是采用热感应图像的方式或者形体的方式，复杂的是基于神经网络的多目标识别等；本案没有采用热感应的方式，一方面是以为电力工作现场涉及到的热设备较多，有可能影响识别准确度，另一方面是不想增加整个监察设备的复杂程度。

13、具体的，通过多目标跟踪单元跟踪移动目标并记录移动目标的移动轨迹，以标记移动目标的矩形框的中心点的移动表征移动目标的移动，简化跟踪过程的复杂程度；在全局视野背景图像中标记不同移动目标的路径权限，对照移动目标的移动轨迹及对应的路径权限，判断移动目标是否越界移动，若发生越界移动则对移动目标标记警戒信息。本案在全局视野背景图像中会标记出不同移动目标的路径权限，比如栅栏两侧是通过指定的路径实现连通的，若发现移动目标直接从一侧移动到另外一侧，可能发生了翻越栅栏的危险情况；比如吊臂下方为人体移动目标的非权限路径，当发现人体移动目标与该位置发生重合时，可能发生了危险情况。

14、具体的，通过标识物识别单元对人体移动目标进行着装识别，包括对安全头盔的识别和对工装的识别；标识物识别模块为根据安全头盔和工装上的标识物对安全头盔和工装进行识别，或者对视频帧图像中的安全头盔和工作进行特征提取，调取多目标分类模块进行安全头盔和工装的分类识别；同时，提取安全头盔中心点坐标，计算人体移动目标的头部中心点坐标和安全头盔中心点坐标的距离，根据阈值判断人体移动目标是否佩戴安全头盔，对未佩戴安全头盔或未着工作的人体移动目标标记警戒信息。本案推荐采用标识物的方式对安全头盔和工装进行识别，比如二维编码或特定图案、编号等，主要是这种识别方式较为成熟和简单；同时，针对电力工作现场，有工作人员手持安全头盔但并不佩戴的情况，我们对安全头盔和头部位置进行了距离检测，避免该种情况的发生。

15、具体的，通过人脸识别单元对人体移动目标进行身份识别，对未知身份的人体移动目标标记警戒信息；通过多目标分类单元对非人体移动目标进行分类识别，对未知分类的非人体移动目标标记警戒信息。该识别是为了避免非相关人员或设备进入电力工作现场的情况发生，提高安全性。

16、一种智能全景移动式安全监察方法，括如下步骤：

17、step1、在电力作业现场安装全景摄像头、光学变倍摄像头和广角摄像头；初始时，将最新进入电力作业现场的移动目标作为指定目标，驱动光学变倍摄像头的旋转电机和俯仰电机工作，使光学变倍摄像头跟随指定目标；进入step2；

18、step2、通过全景摄像头和广角摄像头采集电力作业现场的全局视野视频流，通过光学变倍摄像头采集电力作业现场中指定目标的局部视野视频流；进入step3；

19、step3、通过移动目标识别算法识别全局视野视频流中的固定目标和移动目标，固定目标为全局视野背景图像的构成元素；进入step3；

20、step4、通过多目标跟踪算法跟踪移动目标并记录移动目标的移动轨迹；通过人体目标识别算法区分移动目标是否为人体移动目标：若为人体移动目标，则进入step5；若为非人体移动目标，则进入step6；

21、step5、通过人脸识别算法对局部视野视频流中的人体移动目标进行人脸识别，对未知身份的人体移动目标标记警戒信息；根据人体移动目标的路径权限和人体移动目标的移动轨迹，判断人体移动目标是否越界移动，若发生越界移动则对人体移动目标标记警戒信息；通过标识物识别算法对人体移动目标进行着装识别，判断人体移动目标是否佩戴安全头盔和着工装，对未佩戴安全头盔或未着工作的人体移动目标标记警戒信息；进入step7；

22、step6、通过多目标分类算法对局部视野视频流中的非人体移动目标进行分类识别，对未知分类的非人体移动目标标记警戒信息；根据不同非人体移动目标的路径权限和非人体移动目标的移动轨迹，判断非人体移动目标是否越界移动，若发生越界移动则对非人体移动目标标记警戒信息；进入step7；

23、step7、将识别出的具有警戒信息的移动目标作为新的指定目标，驱动旋转电机和俯仰电机工作，使光学变倍摄像头跟随指定目标，返回step2。

24、具体的，所述step3中，通过移动目标识别算法识别全局视野视频流中的固定目标和移动目标，首先，基于权限确认获取全局视野背景图像；然后，删除全局视野视频流的当前帧图像与前一帧图像中的全局视野背景图像，对比两帧图像，获得新增目标或消失目标；

25、若获得新增目标，首先判断该新增目标是否为丢失目标，若是丢失目标，则继续跟踪；否则，判断该新增目标的出现位置是否合理，若合理，则将该新增目标判断为新进入电力作业现场的移动目标；否则，将该新增目标判断为新进入电力作业现场的移动目标，同时对该新增目标标记警戒信息；

26、对于消失目标，首先该消失目标的消失位置是否合理，若合理，则结束对该消失目标的继续跟踪；否则，将该消失目标标记为丢失目标，同时对该消失目标标记警戒信息。

27、具体的，所述step5中，通过标识物识别算法对人体移动目标进行着装识别，包括对安全头盔的识别和对工装的识别；标识物识别算法为根据安全头盔和工装上的标识物对安全头盔和工装进行识别，或者对视频帧图像中的安全头盔和工作进行特征提取，调取多目标分类算法进行安全头盔和工装的分类识别；同时，提取安全头盔中心点坐标，计算人体移动目标的头部中心点坐标和安全头盔中心点坐标的距离，根据阈值判断人体移动目标是否佩戴安全头盔，对未佩戴安全头盔或未着工作的人体移动目标标记警戒信息。

28、具体的，所述step4中，通过多目标跟踪算法跟踪移动目标并记录移动目标的移动轨迹，以标记移动目标的矩形框的中心点的移动表征移动目标的移动。

29、有益效果：本发明提供的智能全景移动式安全监察视频球机及其方法，作为电力作业现场安全管控一体化平台系统前端设备，通过全景摄像头、光学变倍摄像头和广角摄像头实现对全局视野和局部放大视野的监控，基于全局视野识别移动目标并进行目标跟踪，基于局部放大视野实现移动目标的精细化识别；同时，结合目标位置的合理性、警戒信息标识等信息转换被监控的特定移动目标，并能够通过5g/4g远传现场视频和ai警戒信息，实现电力作业现场智能、全景、高清远程安全监察；另外，本发明通过对施工设备、抽烟行为、打电话行为、未着工装行为、安全帽佩戴行为进行样本收集和标注，能够实现对相关行为的学习和判断，对电力作业现场的智能化监管具有重要意义。