基于二维图像与三维数据的变电站设备识别方法及系统与流程

本发明涉及设备识别手段，属于视觉目标检测与识别交叉领域，尤其涉及基于二维图像与三维数据的变电站设备识别方法及系统。

背景技术：

1、随着人工智能领域的不断发展与成熟，人工智能成为了科技创新的关键领域和数字经济时代的重要支柱，深度学习也在各领域中扮演着愈加重要的角色，人工智能机器人、语言识别、图像识别等多领域范围内的深度学习应用也日渐呈现出主流趋势，语义分割与目标检测作为计算机视觉的主要研究方向也随着深度学习的不断进步取得了持续性发展，并表现出了巨大发展潜力，基于深度学习的目标检测算法可以分为基于二维图像的语义分割和目标检测与基于三维数据的目标检测与识别。

2、现有的目标识别与检测任务，基本上为单一目标维度的图像输入，且基于2d视觉的目标识别任务要多于3d目标检测，虽然基于2d视觉的目标识别与检测技术已经趋于成熟，然而由于缺乏深度信息，仅使用二维信息来表征三维物体，会不可避免地造成信息损失，而在3d视觉领域中，点云是一种典型的3d数据表示方法，具有丰富几何信息的优势，但是通过扫描方法得到的原始点云往往并不完整，需要后续的处理，而且对于点云数据的特征提取，由于扫描设备扫描角度和距离存在差异，同时受到离群噪声点的影响，同一区域的点云也有不同，这会大幅提升特征提取与匹配的难度，从而对最终检测与识别结果产生一定影响，识别准确性与可靠性较差。因此，亟需一种准确可靠的手段以解决变电站设备的识别问题。

技术实现思路

1、本发明的目的是克服现有技术中存在的上述缺陷与问题，提供一种准确可靠的基于二维图像与三维数据的变电站设备识别方法及系统。

2、为实现以上目的，本发明的技术解决方案是：一种基于二维图像与三维数据的变电站设备识别方法，包括：

3、s1、基于实际场景，获取变电站设备的二维图像；

4、s2、将变电站设备的二维图像输入改进后的unet语义分割模型进行语义分割，获得多种变电站设备的roi区域；

5、s3、将roi区域进行裁剪并记录坐标，然后将其输入yolo目标检测模型中进行设备分类识别，输出二维可信标签列表；

6、s4、获取变电站设备的三维点云数据信息，并进行预处理；所述三维点云数据信息包括变电站设备的空间结构坐标值；

7、s5、将预处理后的三维点云数据信息输入pointnet++模型进行采样、分层与特征提取，获得三维设备分类结果；

8、s6、将二维可信标签列表与三维设备分类结果进行融合，输出置信度最高的变电站设备识别结果，完成变电站设备的识别。

9、所述步骤s1，具体包括：

10、s11、选择现实场景或模型场景为实际场景；

11、若选择现实场景为实际场景，则进行步骤s12；若选择模型场景为实际场景，则将设备模型图作为二维图像；

12、s12、根据现实场景的光照条件，选择二维图像的输入类型；

13、若光照条件为弱光照条件，则选择变电站设备的二维红外图像作为二维图像；若光照条件为中强光照条件，则选择变电站设备的真实二维图像作为二维图像。

14、所述步骤s2中，改进后的unet语义分割模型是指：减少unet语义分割模型的每一层卷积层的卷积核的数量，并且在unet语义分割模型的编码器过程中，逐渐增加卷积核数量，同时逐渐减小图像尺寸，并在unet语义分割模型的解码器过程中，逐渐减少卷积核数量，同时逐渐扩大图像尺寸。

15、所述unet编码器包括四个下采样模块，其中每个下采样模块均由两个3×3的卷积层与一个2×2的最大池化层组成；

16、所述卷积层的卷积结构为3×3的卷积核，填充为0，步幅为1。

17、所述步骤s3，具体包括：

18、对roi区域标记轮廓的最大外接矩形，并依据最大外接矩形的四点坐标对二维图像进行裁剪，作为yol0目标检测模型的输入图像，并输出置信度与标签列表，即二维可信标签列表。

19、所述步骤s4中的预处理，具体包括：

20、s41、利用八叉树编码算法对三维点云数据进行去噪，在构建过程中划分涵盖所有点云数据的极大空间范围为空间栅格，作为划分步骤的最大操作空间；

21、s42、将空间栅格划分为八个大小一致的小立方体为体素，随后将每个体素再次进行子体素生成，进行若干次迭代，直至体素内的点云密度低于停止阈值，结束当前体素的划分任务；

22、s43、遍历所有体素，当某个体素内点云数量低于噪声点云判定阈值时，则删除该体素内的点云数据。

23、所述步骤s5，具体包括：

24、s51、首先从三维点云数据信息中抽取出中心点，然后在中心点范围内寻找最近k个近邻点组成局部区域，最后将k个近邻点通过卷积与池化操作，获得中心点特征；

25、s52、将提取的中心点特征进行分层任务链迭代，获得高维特征；

26、s53、将高维特征经过特征学习，获得全局特征向量，并通过变换获得m个类别的预测得分，即三维设备分类结果。

27、所述步骤s6，具体包括：

28、基于majority voting集成学习方法，结合二维可信标签列表与三维设备分类结果，进行初始经验权重矫正，完成二维信息与三维信息的融合，并输出置信度最高的变电站设备识别结果。

29、一种基于二维图像与三维数据的变电站设备识别系统，该系统应用于上述的方法，所述系统包括：

30、二维图像获取模块，用于基于实际场景，获取变电站设备的二维图像；

31、语义分割模块，用于将变电站设备的二维图像输入改进后的unet语义分割模型进行语义分割，获得多种变电站设备的roi区域；

32、可信标签获取模块，用于将roi区域进行裁剪并记录坐标，然后将其输入yolo目标检测模型中进行设备分类识别，输出二维可信标签列表；

33、三维点云数据处理模块，用于获取变电站设备的三维点云数据信息，并进行预处理；所述三维点云数据信息包括变电站设备的空间结构坐标值；

34、三维设备分类模块，用于将预处理后的三维点云数据信息输入pointnet++模型进行采样、分层与特征提取，获得三维设备分类结果；

35、融合设备识别模块，用于将二维可信标签列表与三维设备分类结果进行融合，输出置信度最高的变电站设备识别结果，完成变电站设备的识别。

36、一种基于二维图像与三维数据的变电站设备识别设备，所述设备包括处理器以及存储器；

37、所述存储器用于存储计算机程序代码，并将所述计算机程序代码传输给所述处理器；

38、所述处理器用于根据所述计算机程序代码中的指令执行上述的基于二维图像与三维数据的变电站设备识别方法。

39、与现有技术相比，本发明的有益效果为：

40、本发明一种基于二维图像与三维数据的变电站设备识别方法及系统中，方法首先获取变电站设备的二维图像，将其输入改进后的unet语义分割模型进行语义分割，获得roi区域，然后将roi区域进行裁剪并记录坐标后，输入yolo目标检测模型中进行设备分类识别，输出二维可信标签列表，接着获取变电站设备的三维点云数据信息并预处理，将其输入pointnet++模型进行特征提取，获得三维设备分类结果，最后将二维可信标签列表与三维设备分类结果进行融合，输出置信度最高的变电站设备识别结果，完成变电站设备的识别；本设计在应用中，利用相对更加成熟的二维图像目标检测技术，获取可信标签列表作为先验知识，并结合数据维度信息更加丰富、几何特征更加明显的三维点云目标检测技术，实现了二维与三维目标检测结果的融合，提高了变电站设备识别结果的可靠性与可信度。