一种配网工程作业人员违规行为识别方法、系统及介质与流程

本发明涉及图像识别领域，具体涉及一种配网工程作业人员违规行为识别方法、系统及介质。

背景技术：

1、当前，配网工程建设的安全管控制度与手段逐渐完善，为保障作业人员的人身安全，建立了完善的违规行为管控制度体系。配网工程建设环节上，从建设作业任务下达、现场勘察、作业开工、作业结束整体流程均对安全风险的管控有规范标准的手段策略，规定了不同作业任务下的安全管控等级，制定了配套的安全防控手段。在勘察阶段对作业环境整体情况进行了分析处理，有利于作业人员提前了解作业环境条件；在作业任务实施环节，通常启用监控摄像头、执法仪等视频图像采集手段，监控作业人员行为，目前监控手段分为端侧推理告警以及端侧监控记录两种；在作业任务完成后进行安全管控总结归档。

2、为实现作业过程中违规行为的识别与提醒，通常采取违规行为识别算法模型搭载至具有推理功能的布控球中实现就地化的违规行为识别与提醒，未具备推理功能的摄像头、执法仪等视频图像采集设备将信息传输至后台配网工程全过程管控平台、安监平台，实现违规行为的捕捉与备案记录。

3、但目前的技术手段对于多环节的违规行为识别存在一定的局限性，一是配网工程建设过程全环节的数据信息利用不足；二是不同视频图像数据采集质量对识别结果的制约性明显；三是视频图像中多人员、多目标尺度不同，多目标对象识别分类准确性有待提升；四是多目标检测算法模型部署应用的方式不同，需对其采取差异化处理加工，提升其在边端、云端应用适应性。

技术实现思路

1、为了解决现有技术对于多环节的违规行为识别存在一定的局限性，不能准确及时的检测出违规行为的问题，本发明提出了一种配网工程作业人员违规行为识别方法，包括：

2、对待识别的视频图像进行去噪处理，得到去噪图像；

3、根据作业场景和实体对象为去噪图像设置目标对象标签；

4、根据目标对象标签选择对应的识别方法，并基于选择的识别方法和所述去噪图像得到检测结果；

5、其中，所述识别方法包括：预先训练好的一阶目标检测模型和二阶目标检测模型。

6、可选的，所述对待识别的视频图像进行去噪处理，得到去噪图像，包括：

7、通过尺度编码器从待识别的视频图像中提取浅层特征，并去除其中的冗余信息；

8、通过分流模型利用多个并行的简单分支网络从浅层特征中提取深层特征；

9、通过尺度解码器利用像素空间变换将噪声图预测转化为多个子噪声图的预测；

10、利用特征融合将每个分支提取的特征信息与其他所有支路共享，并将子噪声图重构成完整噪声图；

11、利用残差学习将所述完整噪声图在待识别的视频图像中去除，得到去噪图像。

12、可选的，所述根据目标对象标签选择对应的识别方法，并基于选择的识别方法和所述去噪图像得到检测结果，包括：

13、当作业场景为带电、倒闸、登高和吊车，业务实体为与行为无关的业务实体时，从所述去噪图像中提取特征量，并将特征量带入预先构建的一阶目标监测模型，得到与行为无关的检测结果；

14、当作业场景为带电、倒闸、登高和吊车，业务实体为与行为有关的业务实体时，从所述去噪图像中提取特征量，并将特征量带入预先构建的二阶目标监测模型，得到与行为无关的检测结果；

15、其中，所述与行为无关的业务实体包括：带电设备与作业人员相对位置、绝缘手套、绝缘鞋、安全衣、安全帽、安全围栏、警示牌、电气设备、爬扶梯人员相对位置关系、安全绳高挂低用、起吊重物、吊车吊臂、起重设备支撑或枕木和起吊重物、吊车吊臂与作业人员位置关系；

16、所述与行为有关的业务实体包括：作业人员行为。

17、可选的，所述根据目标对象标签选择对应的识别方法，并基于选择的识别方法和所述去噪图像得到检测结果，还包括：

18、当作业场景为带电，业务实体为带电设备与作业人员相对位置，或作业场景为吊车，业务实体为起吊重物、吊车吊臂与作业人员位置关系时，选择由动态距离计算法，并基于所述输入的特征量采用动态距离计算法计算带电设备与作业人员相对距离或水平及垂直相对距离值，若所述带电设备与作业人员相对距离或水平及垂直相对距离值小于设定带电作业安全阈值，则违规，否则不违规；

19、当作业场景为登高，业务实体为登高作业人员时，选择阈值法量化评估法，并基于所述输入的特征量采用阈值法量化评估法计算距离地面相对高度值，若所述距离地面相对高度值大于预先设定的高度阈值，则违规，否则不违规；

20、其中，识别方法还包括：动态距离计算法和阈值法量化评估法。

21、可选的，所述一阶目标检测模型的训练包括：

22、基于与行为无关的违规历史视频图像构建第一数据集；

23、将所述第一数据集按照设定的比例划分为第一训练集和第一测试集；

24、将所述第一训练集中的违规历史视频图像带入yolov5目标检测算法构建的一阶目标检测模型，得到初始一阶目标检测模型；

25、将所述第一测试集中的违规历史视频图像带入yolo-pose姿态检测构建的一阶目标检测模型中进行检测，将通过检测的初始一阶目标检测模型作为训练好的一阶目标检测模型；

26、可选的，所述二阶目标检测模型的训练包括：

27、基于与行为有关的违规历史视频图像构建第二数据集；

28、将所述第二数据集按照设定的比例划分为第二训练集和第二测试集；

29、将所述第二训练集中的违规历史视频图像带入yolov5目标检测算法构建的二阶目标检测模型，得到初始二阶目标检测模型；

30、将所述第二测试集中的违规历史视频图像带入yolo-pose姿态检测构建的二阶目标检测模型中进行检测，将通过检测的初始二阶目标检测模型作为训练好的二阶目标检测模型。

31、可选的，在根据目标对象标签选择对应的识别方法，基于选择的识别方法和所述去噪图像得到检测结果之后还包括：

32、根据作业类型、作业内容、所述检测结果，结合风险量化评估计算准则确定是否发出告警信息。

33、可选的，所述根据作业类型、作业内容、所述检测结果，结合风险量化评估计算准则确定是否发出告警信息，包括：

34、基于根据作业类型和作业内容确定作业风险等级m；

35、基于所述作业风险等级m和所述检测结果，结合风险量化评估计算准则，得到风险量化评估值；

36、由所述风险量化评估值确定是否发出告警信息。

37、可选的，所述风险量化评估计算准则如下式所示：

38、

39、式中，n的取值为0或1，m的取值4,3,2；p的取值为0或1，r为风险量化评估值。

40、可选的，还包括，将所述一阶目标检测模型和二阶目标检测模型部署于边缘侧时，采用通道剪枝与蒸馏相结合的方式对一阶目标检测模型和二阶目标检测模型进行轻量化处理。

41、可选的，所述采用通道剪枝与蒸馏相结合的方式对一阶目标检测模型和二阶目标检测模型进行轻量化处理，包括：

42、将一阶目标检测模型和二阶目标检测模型作为教师模型；

43、对教师模型中的完整模块采取结构化剪枝；

44、基于去噪图像对教师模型的特征层信息进行选择，采用知识蒸馏技术将无用信息进行过滤，基于教师模型的有效信息对学生模型进行知识蒸馏，将教师模型的有效信息传递给学生模型，分别完成对一阶目标检测模型和二阶目标检测模型的轻量化处理；

45、其中，所述完整模块包括：卷积核、通道和层。

46、再一方面本发明还提供了一种配网工程作业人员违规行为识别系统，包括：

47、图像处理模块，用于对待识别的视频图像进行去噪处理，得到去噪图像；

48、标签设置模块，用于根据作业场景和实体对象为去噪图像设置目标对象标签；

49、识别模块，用于根据目标对象标签选择对应的识别方法，并基于选择的识别方法和所述去噪图像得到检测结果；

50、其中，所述识别方法包括：预先训练好的一阶目标检测模型和二阶目标检测模型。

51、可选的，图像处理模块具体用于：

52、通过尺度编码器从待识别的视频图像中提取浅层特征，并去除其中的冗余信息；

53、通过分流模型利用多个并行的简单分支网络从浅层特征中提取深层特征；

54、通过尺度解码器利用像素空间变换将噪声图预测转化为多个子噪声图的预测；

55、利用特征融合将每个分支提取的特征信息与其他所有支路共享，并将子噪声图重构成完整噪声图；

56、利用残差学习将所述完整噪声图在待识别的视频图像中去除，得到去噪图像。

57、可选的，识别模块包括：

58、与行为无关检测子模块，用于当作业场景为带电、倒闸、登高和吊车，业务实体为与行为无关的业务实体时，从所述去噪图像中提取特征量，并将特征量带入预先构建的一阶目标监测模型，得到与行为无关的检测结果；

59、与行为有关检测子模块，用于当作业场景为带电、倒闸、登高和吊车，业务实体为与行为有关的业务实体时，从所述去噪图像中提取特征量，并将特征量带入预先构建的二阶目标监测模型，得到与行为无关的检测结果；

60、其中，所述与行为无关的业务实体包括：带电设备与作业人员相对位置、绝缘手套、绝缘鞋、安全衣、安全帽、安全围栏、警示牌、电气设备、爬扶梯人员相对位置关系、安全绳高挂低用、起吊重物、吊车吊臂、起重设备支撑或枕木和起吊重物、吊车吊臂与作业人员位置关系；

61、所述与行为有关的业务实体包括：作业人员行为。

62、可选的，所述识别模块还包括：

63、动态距离计算子模块，用于当作业场景为带电，业务实体为带电设备与作业人员相对位置，或作业场景为吊车，业务实体为起吊重物、吊车吊臂与作业人员位置关系时，选择由动态距离计算法，并基于所述输入的特征量采用动态距离计算法计算带电设备与作业人员相对距离或水平及垂直相对距离值，若所述带电设备与作业人员相对距离或水平及垂直相对距离值小于设定带电作业安全阈值，则违规，否则不违规；

64、阈值量化子模块，用于当作业场景为登高，业务实体为登高作业人员时，选择阈值法量化评估法，并基于所述输入的特征量采用阈值法量化评估法计算距离地面相对高度值，若所述距离地面相对高度值大于预先设定的高度阈值，则违规，否则不违规；

65、其中，识别方法还包括：动态距离计算法和阈值法量化评估法。

66、可选的，还包括：训练模块，用于训练一阶目标检测模型和二阶目标检测模型。

67、可选的，训练模块包括：一阶训练子模块，用于基于与行为无关的违规历史视频图像构建第一数据集；

68、将所述第一数据集按照设定的比例划分为第一训练集和第一测试集；

69、将所述第一训练集中的违规历史视频图像带入yolov5目标检测算法构建的一阶目标检测模型，得到初始一阶目标检测模型；

70、将所述第一测试集中的违规历史视频图像带入yolo-pose姿态检测构建的一阶目标检测模型中进行检测，将通过检测的初始一阶目标检测模型作为训练好的一阶目标检测模型；

71、二阶训练子模块，用于基于与行为有关的违规历史视频图像构建第二数据集；

72、将所述第二数据集按照设定的比例划分为第二训练集和第二测试集；

73、将所述第二训练集中的违规历史视频图像带入yolov5目标检测算法构建的二阶目标检测模型，得到初始二阶目标检测模型；

74、将所述第二测试集中的违规历史视频图像带入yolo-pose姿态检测构建的二阶目标检测模型中进行检测，将通过检测的初始二阶目标检测模型作为训练好的二阶目标检测模型。

75、可选的，还包括：告警模块，用于在根据目标对象标签选择对应的识别方法，基于选择的识别方法和所述去噪图像得到检测结果之后，根据作业类型、作业内容、所述检测结果，结合风险量化评估计算准则确定是否发出告警信息。

76、可选的，所述告警模块具体用于：基于根据作业类型和作业内容确定作业风险等级m；

77、基于所述作业风险等级m和所述检测结果，结合风险量化评估计算准则，得到风险量化评估值；

78、由所述风险量化评估值确定是否发出告警信息。

79、可选的，所述风险量化评估计算准则如下式所示：

80、

81、式中，n的取值为0或1，m的取值4,3,2；p的取值为0或1，r为风险量化评估值。

82、可选的，还包括：轻量化处理模块，用于将所述一阶目标检测模型和二阶目标检测模型部署于边缘侧时，采用通道剪枝与蒸馏相结合的方式对一阶目标检测模型和二阶目标检测模型进行轻量化处理。

83、可选的，轻量化处理模块中的采用通道剪枝与蒸馏相结合的方式对一阶目标检测模型和二阶目标检测模型进行轻量化处理具体实现步骤如下：

84、将一阶目标检测模型和二阶目标检测模型作为教师模型；

85、对教师模型中的完整模块采取结构化剪枝；

86、基于去噪图像对教师模型的特征层信息进行选择，采用知识蒸馏技术将无用信息进行过滤，基于教师模型的有效信息对学生模型进行知识蒸馏，将教师模型的有效信息传递给学生模型，分别完成对一阶目标检测模型和二阶目标检测模型的轻量化处理；

87、其中，所述完整模块包括：卷积核、通道和层。

88、再一方面，本技术还提供了一种计算设备，包括：至少一个处理器和存储器；

89、所述存储器，用于存储一个或多个程序；

90、当所述一个或多个程序被所述至少一个处理器执行时，实现如上述所述的一种配网工程作业人员违规行为识别方法。

91、再一方面，本技术还提供了一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现如上述所述的一种配网工程作业人员违规行为识别方法。

92、与现有技术相比，本发明的有益效果为：

93、本发明提供了一种配网工程作业人员违规行为识别方法、系统及介质，包括：对待识别的视频图像进行去噪处理，得到去噪图像；根据作业场景和实体对象为去噪图像设置目标对象标签；根据目标对象标签选择对应的识别方法，并基于选择的识别方法和所述去噪图像得到检测结果；其中，所述识别方法包括：预先训练好的一阶目标检测模型和二阶目标检测模型。本发明避免了图像质量对识别准确率的影响，且采用多种识别方法实现了多目标对象的识别与定位。