一种电力作业场景三维信息感知预警方法及系统与流程

本技术涉及电力作业安全管控领域，更具体地，涉及一种电力作业场景三维信息感知预警方法及系统。

背景技术：

1、为了确保电力作业的人员安全及设备安全，必须在作业过程中进行严格的安全管控。当前，电力作业安全管控的主要措施为人工监控。人工监控容易受到外界干扰、注意力降低等因素影响，仍存在一定的安全隐患。随着计算能力的不断提升，电力作业智能管控方法也在持续发展，成为提升电力作业安全性的重要辅助手段。

2、基于二维图像信息，可以实现未规范佩戴安全帽、不规范使用安全带、误入危险带电区域等异常行为的检测。电力作业需要使用不同的作业工器具，需要实时监控作业人员及作业工器具与作业区域附近带电体等危险设备的精确距离。由于通过二维图像信息无法准确判断空间位置，需要引入三维信息感知方法，对电力作业场景实现三维重建，为电力作业的智能安全管控提供数据基础。

3、激光雷达可通过测量发射和接收激光束的时间差或者频率差，来确定目标信息，激光雷达在短时间内可以获取大量的位置点信息，由于激光频率高，波长短，所以激光雷达具备极高的测距精度。但是，激光雷达有效性受限于物体反射率，难以应对复杂的电力作业场景。

4、现有技术如专利号为“cn114993244a”的中国专利公开了一种变电作业区域目标测距装置及方法。该装置包括目标主机及两个摄像头；两个摄像头以预定间距部署于指定高压设备的同一水平线上且镜头朝向指定高压设备同一侧，并进行双目标定以形成测距区域；每一摄像头均对进入测距区域中的移动物体进行实时图像采集；目标主机构建三维立体坐标系并预存有两个摄像头的内外参数，且在接收到实时采集的移动物体图像时，找出每一张图像中感兴趣的目标物体并进行轨迹跟踪，进一步结合两个摄像头的内外参数，定位出所有找到的目标物体在三维立体坐标系上的三维坐标值，以计算出所有找到的目标物体分别与移动物体间的距离。实施本发明，实现变电作业区域中移动物体的准确测距，提高变电站中移动物体作业安全性能。

5、上述现有技术存在的问题有：需要将两个摄像头布置在同一水平线上，布置条件比较苛刻，且摄像头布置不准确容易对测距结果产生误差；并且两个摄像头朝向高压设备的同一侧容易出现遮挡的情况，形成监控盲区。

技术实现思路

1、为解决上述技术问题，本发明提出了一种电力作业场景三维信息感知预警方法及系统。

2、本发明技术方案如下：

3、本发明提出方法一种电力作业场景三维信息感知预警方法，其特征在于，包括以下步骤：

4、步骤s1，根据电力作业场景部署若干组双目视觉装置；所述双目视觉装置的基线为可变基线，根据测量的任务需求及电力作业场景环境确定双目视觉装置的基线；

5、步骤s2，双目视觉装置的基线确定后，对双目视觉装置开展标定；采用张氏标定法对双目视觉装置进行标定，获得双目视觉装置的内外参数；

6、步骤s3，通过双目视觉装置采集电力作业场景的左右图像，根据标定的数据对左右图像进行校正；

7、步骤s4，将校正后的若干组双目左右图像输入立体匹配网络，生成电力作业场景视差图；立体匹配网络包括特征提取、代价空间构建、代价聚合和视差生成四部分；

8、步骤s5，根据生成视差图，将视差图转化为三维点云，对带电设备进行标注并计算带电设备的三维坐标；

9、步骤s6，使用yolo算法对进入作业场景的作业人员进行目标识别，计算人员与带电设备的近电距离；根据带电设备的带电情况和近电距离设置不同等级的预警，当作业人员靠近带电设备，发出对应等级的近电预警信息。

10、作为优选实施方式，所述立体匹配网络特征提取包括以下步骤：

11、卷积特征提取，采用全卷积unet神经网络提取电力作业场景双目图像的卷积特征；每个卷积层对输入图像进行卷积操作，计算公式为：

12、

13、式中，outputij为输出图像在位置(i,j)的值；inputi+m,j+n为输入图像在位置(i,j)的值；kernelmn为卷积核在位置(m,n)的值，bias为偏置项；

14、结构特征提取，采用预设大小的窗口对图像进行特征提取；计算方法如下：

15、

16、c(x,y)为提取后的特征图；i(x+a,y+b)为输入图像i(x,y)在位置(a,b)的值；为逐位比特位的连续运算；ξ(x,y)为动态阈值，取0或1；

17、ξ(x,y)计算方法如下：

18、

19、thr为设定的阈值。

20、作为优选实施方式，所述立体匹配网络代价空间构建包含以下步骤：

21、构建卷积特征的组相关代价空间，具体计算方法如下：

22、

23、式中，d为视差；g代表分组；nc和ng分别为特征图通道数和通道数；和分别为左特征图和右特征图；

24、结构特征的代价空间构建：采用词嵌入技术，将结构特征值映射至连续的向量空间；采用余弦相似度进行左右特征图匹配点的特征相似度度量，形成结构特征的代价空间；

25、采用末端融合的方式实现结构特征与卷积特征的融合，形成代价空间。

26、作为优选实施方式，所述立体匹配网络代价聚合包含以下步骤：

27、代价空间预处理：将已经构建好的代价空间作为输入，对代价空间进行卷积处理，提取更高级别的特征信息，增强代价空间中不同位置之间的关联性；

28、编码处理：在卷积之后，进行编码处理；编码过程采用下采样操作，逐步降低特征图的尺寸，同时提取更抽象的特征表示；

29、解码处理：经过编码处理后，得到小尺寸的特征图；采用上采样操作逐步恢复特征图的尺寸；

30、残差连接：残差连接将原始的代价空间信息直接传递到解码后的特征图中，解决立体网络中出现梯度消失问题。

31、作为优选实施方式，所述立体匹配网络视差生成包含以下步骤：

32、采用soft argmin算法计算视差，公示如下：

33、

34、式中，dpre为预测视差，dmax为最大视差，xi、xj为像素点，z为向量维度，z∈z＝1,2,3,…,z；

35、损失函数定义为：

36、

37、式中，n为像素总数，do为真实视差，dpre为预测视差；smoothl1为基于l1损失函数平滑处理得到的损失函数；

38、smoothl1计算方法如下：

39、

40、式中，thrs为设定的阈值；x代表像素点。

41、作为优选实施方式，所述使用yolo算法对进入作业场景的作业人员进行目标识别，计算人员与带电设备的近电距离，其中，近电距离计算包含以下步骤：

42、使用yolo算法对进入作业场景人员进行目标识别，识别出作业人员头部顶点、四肢末端点及正在使用的作业器具末端点；

43、计算作业人员头部顶点、四肢末端点及正在使用的作业器具末端点的三维坐标；

44、计算作业人员头部顶点、四肢末端点及正在使用的作业器具末端点的三维坐标点与电力作业三维场景中的的带电设备的最小距离，为近电距离，具体计算公式如下：

45、

46、式中，(p2,q2,r2)为作业人员头部顶点、四肢末端点及正在使用的作业器具末端点中最靠近带电设备的三维坐标点；(p1,q1,r1)为带电设备中最靠近作业人员的三维坐标点。

47、另一方面，本发明还提供一种电力作业场景三维信息感知预警系统，包括：

48、基线确定模块，根据电力作业场景部署若干组双目视觉装置；所述双目视觉装置的基线为可变基线，根据测量的任务需求及电力作业场景环境确定双目视觉装置的基线；

49、装置标定模块，双目视觉装置的基线确定后，对双目视觉装置开展标定；采用张氏标定法对双目视觉装置进行标定，获得双目视觉装置的内外参数；

50、图像采集校正模块，通过双目视觉装置采集电力作业场景的左右图像，根据标定的数据对左右图像进行校正；

51、视差图生成模块，将校正后的若干组双目左右图像输入立体匹配网络，生成电力作业场景视差图；立体匹配网络包括特征提取、代价空间构建、代价聚合和视差生成四部分；

52、三维场景构建模块，根据生成视差图，将视差图转化为三维点云，对带电设备进行标注并计算带电设备的三维坐标；

53、近电预警模块，使用yolo算法对进入作业场景的作业人员进行目标识别，计算人员与带电设备的近电距离；根据带电设备的带电情况和近电距离设置不同等级的预警，当作业人员靠近带电设备，发出对应等级的近电预警信息。

54、再一方面，本发明还提供一种电子设备，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明任一实施例所述的一种电力作业场景三维信息感知预警方法。

55、再一方面，本发明还提供一种计算机可读介质，用于存储一个或者多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如本发明任一实施例所述的一种电力作业场景三维信息感知预警方法。

56、本发明具有如下有益效果：

57、1.精准性高，通过部署双目视觉装置并确定基线后进行标定，能够确保采集到的图像数据准确可靠，为后续的处理提供精确的基础。采用多组双目视觉装置，若设置得当，双目视觉装置可进行互相校正，构建的三维场景更加精准。

58、2.智能化程度高，使用yolo算法对作业人员进行目标识别，能够快速准确地定位作业人员的位置，提高了系统的响应速度和预警的及时性。

59、3.安全性强，当作业人员靠近带电设备时，系统能够及时发出对应等级的近电预警信息，提醒作业人员注意安全，有效降低了触电事故的发生概率。

60、4.适用性广，本方案适用于各种电力作业场景，能够满足不同作业环境的需求。系统的部署和操作相对简单，不需要复杂的设备和专业的技术人员，具有较高的实用性和可推广性。