一种基于云边协同技术的电力设备图像识别方法和系统与流程

1.本发明涉及电气工程技术领域，具体是涉及一种基于云边协同技术的电力设备图像识别方法和系统。


背景技术：

2.随着图像处理和计算机视觉技术的发展，使用计算机视觉识别电力设备，并且分析电力设备的日常运行状态在电力系统检测中发挥着越来越重要的作用，实时监测电力设备的运行状态尤为重要。但是通过图像处理会产生大量的图像数据，并以指数级的速度不断增加，如果将这些数据全部汇聚到云端进行智能分析，会给通信的带宽要求和实时性要求等带来无限压力，这就要求我们在靠近数据源的设备节点侧或网络边缘侧，就近提供边缘智能服务，即通过云边协同技术来减轻云端的压力，虽然云边协同技术能够保证电力设备图像得到顺利识别，找出异常设备，但是，电力设备基本都不是独立运行的，现有的手段无法确定异常设备对于相关联的电力设备所造成的影响。因此，需要提供一种基于云边协同技术的电力设备图像识别方法和系统，旨在解决上述问题。


技术实现要素：

3.针对现有技术存在的不足，本发明的目的在于提供一种基于云边协同技术的电力设备图像识别方法和系统，以解决上述背景技术中存在的问题。
4.本发明是这样实现的，一种基于云边协同技术的电力设备图像识别方法，所述方法包括以下步骤：通过图像采集设备获取样本图像数据，对样本图像数据进行预处理得到处理图像数据；使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息，所述样本特征信息包括图像形状特征、区域特征、边界特征和电力设备数据特征；通过图像采集设备采集电力设备图像；通过边缘处理模块对电力设备图像进行处理分析，所述边缘处理模块中存储有样本特征信息，当电力设备图像中的特征信息与样本特征信息不符合，将不符合的特征信息进行标注，将所述电力设备图像发送至云平台；通过云平台对电力设备图像进行深度处理，具体为：确定不符合的电力设备与不符合的特征信息，生成异常信息；通过电力设备相关库确定可能存在异常的电力设备，调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据。
5.作为本发明进一步的方案：所述对样本图像数据进行预处理得到处理图像数据的步骤，具体包括：去除样本图像数据噪声；增强样本图像数据的细节；提高样本图像数据的信噪比后得到处理图像数据。
6.作为本发明进一步的方案：所述使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息的步骤，具体包括：建立由卷积层和全连接层构成的的卷积神经网络，其中最后一层全连接层与输入的处理图像数据的维度相同，该网络所有权重均随机初始化；对上一个步骤提取的多个维度特征进行归一化处理，所述多个维度特征包括图像形状特征、区域特征、边界特征和电力设备数据特征；对全连接层的输出建立电力设备图像的特征向量，得到样本特征信息；接收电力设备数据正常范围值，对样本特征信息进行补全。
7.作为本发明进一步的方案：所述通过电力设备相关库确定可能存在异常的电力设备，调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据的步骤，具体包括：建立电力设备相关库，所述电力设备相关库中记录有相互关联的设备，一个电力设备发生故障，与所述电力设备相互关联的电力设备很有可能发生故障；将异常信息输入至电力设备相关库中，输出可能存在异常的电力设备；向对应的图像采集设备发送图像调取指令，得到可能存在异常电力设备的电力设备图像；对所述电力设备图像的电力设备数据特征进行识别，得到可能存在异常电力设备的电力设备数据。
8.作为本发明进一步的方案：所述方法还包括输出异常综合信息，输出异常综合信息包括不符合的电力设备图像、不符合的特征信息以及可能存在异常电力设备的电力设备数据。
9.作为本发明进一步的方案：每一个图像采集设备均对应一个边缘处理模块，所有的边缘处理模块均与云平台通信连接，一个图像采集设备用于采集一个或者多个特定的电力设备图像。
10.本发明的另一目的在于提供一种基于云边协同技术的电力设备图像识别系统，所述系统包括：图像采集设备，用于获取样本图像数据，对样本图像数据进行预处理得到处理图像数据，用于采集电力设备图像；样本特征信息确定模块；使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息，所述样本特征信息包括图像形状特征、区域特征、边界特征和电力设备数据特征；边缘处理模块，用于对电力设备图像进行处理分析，所述边缘处理模块中存储有样本特征信息，当电力设备图像中的特征信息与样本特征信息不符合，将不符合的特征信息进行标注，将所述电力设备图像发送至云平台；以及云平台，用于对电力设备图像进行深度处理，具体为：确定不符合的电力设备与不符合的特征信息，生成异常信息；通过电力设备相关库确定可能存在异常的电力设备，调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据。
11.作为本发明进一步的方案：所述图像采集设备包括：噪声去除单元，用于去除样本图像数据噪声；
细节增强单元，用于增强样本图像数据的细节；信噪比提升单元，用于提高样本图像数据的信噪比后得到处理图像数据。
12.作为本发明进一步的方案：所述样本特征信息确定模块包括：卷积神经网络建立单元，用于建立由卷积层和全连接层构成的的卷积神经网络，其中最后一层全连接层与输入的处理图像数据的维度相同，该网络所有权重均随机初始化；归一化处理单元，用于对上一个步骤提取的多个维度特征进行归一化处理，所述多个维度特征包括图像形状特征、区域特征、边界特征和电力设备数据特征；样本特征信息确定单元，用于对全连接层的输出建立电力设备图像的特征向量，得到样本特征信息；样本特征信息补全单元，用于接收电力设备数据正常范围值，对样本特征信息进行补全。
13.与现有技术相比，本发明的有益效果是：本发明能够根据不符合的电力设备和不符合的特征信息生成异常信息；通过电力设备相关库确定可能存在异常的电力设备，并调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据。这样工作人员通过对所述电力设备数据进行分析，就能够得知故障电力设备对相关联的电力设备所造成的影响，进而方便确定具体故障原因，尽快的制定出检修方案。
附图说明
14.图1为一种基于云边协同技术的电力设备图像识别方法的流程图。
15.图2为一种基于云边协同技术的电力设备图像识别方法中对样本图像数据进行预处理得到处理图像数据的流程图。
16.图3为一种基于云边协同技术的电力设备图像识别方法中使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息的流程图。
17.图4为一种基于云边协同技术的电力设备图像识别方法中通过电力设备相关库确定可能存在异常的电力设备的流程图。
18.图5为一种基于云边协同技术的电力设备图像识别系统的结构示意图。
19.图6为一种基于云边协同技术的电力设备图像识别系统中图像采集设备的结构示意图。
20.图7为一种基于云边协同技术的电力设备图像识别系统中样本特征信息确定模块的结构示意图。
具体实施方式
21.为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
22.以下结合具体实施例对本发明的具体实现进行详细描述。
23.如图1所示，本发明实施例提供了一种基于云边协同技术的电力设备图像识别方法，所述方法包括以下步骤：
s100，通过图像采集设备获取样本图像数据，对样本图像数据进行预处理得到处理图像数据；s200，使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息，所述样本特征信息包括图像形状特征、区域特征、边界特征和电力设备数据特征；s300，通过图像采集设备采集电力设备图像；s400，通过边缘处理模块对电力设备图像进行处理分析，所述边缘处理模块中存储有样本特征信息，当电力设备图像中的特征信息与样本特征信息不符合，将不符合的特征信息进行标注，将所述电力设备图像发送至云平台；s500，通过云平台对电力设备图像进行深度处理，具体为：确定不符合的电力设备与不符合的特征信息，生成异常信息；通过电力设备相关库确定可能存在异常的电力设备，调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据。
24.需要说明的是，随着图像处理和计算机视觉技术的发展，使用计算机视觉识别电力设备，并且分析电力设备的日常运行状态在电力系统检测中发挥着越来越重要的作用，实时监测电力设备的运行状态尤为重要。但是通过图像处理会产生大量的图像数据，并以指数级的速度不断增加，如果将这些数据全部汇聚到云端进行智能分析，会给通信的带宽要求和实时性要求等带来无限压力，这就要求我们在靠近数据源的设备节点侧或网络边缘侧，就近提供边缘智能服务，即通过云边协同技术来减轻云端的压力，虽然云边协同技术能够保证电力设备图像得到顺利识别，找出异常设备，但是，电力设备基本都不是独立运行的，现有的手段无法确定异常设备对于相关联的电力设备所造成的影响。
25.本发明实施例中，通过图像采集设备获取样本图像数据，对样本图像数据进行预处理得到处理图像数据，所述样本图像数据所展现的是电力设备在正常运行情况下的图片，进行预处理是为了让样本图像数据的特征信息更加显著，方便后续的特征提取工作，接着使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息，通过卷积神经网络对图片数据进行训练学习然后得到特征信息是图像识别技术的常规手段，这里不再赘述，所述样本特征信息包括图像形状特征、区域特征、边界特征和电力设备数据特征；接着通过图像采集设备采集电力设备图像，并通过边缘处理模块对电力设备图像进行处理分析，所述边缘处理模块中存储有样本特征信息，将电力设备图像中的特征信息与样本特征信息中的图像形状特征、区域特征、边界特征和电力设备数据特征进行对比，当特征信息不一致时，说明电力设备图像不符合要求，电力设备很可能存在异常，例如与图像形状特征、区域特征以及边界特征不一致，说明电力设备受到损坏；与电力设备数据特征不一致，说明电力设备中的电压、电流、功率等存在异常，当电力设备图像中的特征信息与样本特征信息不符合，将不符合的特征信息进行标注，将所述电力设备图像发送至云平台，云平台根据不符合的电力设备和不符合的特征信息生成异常信息；通过电力设备相关库确定可能存在异常的电力设备，所述电力设备相关库中记录有相互关联的设备，一个电力设备发生故障，与所述电力设备相互关联的电力设备很有可能发生故障，并调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据，这样工作人员通过对所述电力设备数据进行分析，就能够得知故障电力设备对相关联的电力设备所造成的影响，进而方便确定具体故障原因，尽快的制定出检修方案。
26.如图2所示，作为本发明一个优选的实施例，所述对样本图像数据进行预处理得到处理图像数据的步骤，具体包括：s101，去除样本图像数据噪声；s102，增强样本图像数据的细节；s103，提高样本图像数据的信噪比后得到处理图像数据。
27.本发明实施例中，预处理包括图像降噪、细节增强和信噪比提升，目的是对电力设备样本图像数据去除干扰、噪声及差异，将样本图像变成适于计算机进行后续特征提取的形式。
28.如图3所示，作为本发明一个优选的实施例，所述使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息的步骤，具体包括：s201，建立由卷积层和全连接层构成的的卷积神经网络，其中最后一层全连接层与输入的处理图像数据的维度相同，该网络所有权重均随机初始化；s202，对上一个步骤提取的多个维度特征进行归一化处理，所述多个维度特征包括图像形状特征、区域特征、边界特征和电力设备数据特征；s203，对全连接层的输出建立电力设备图像的特征向量，得到样本特征信息；s204，接收电力设备数据正常范围值，对样本特征信息进行补全。
29.本发明实施例中，由于现有的电力设备图像识别方法需要人工标注大量的样本数据，耗时费力，经济成本高，且对图像的特征提取过于单一，不能更好地描述图像的全局特征，导致最终图像的识别准确率不高的问题，本发明为了更好地利用卷积神经网络算法自动学习描述图像的全局多维特征，使用卷积神经网络提取综合反映电力设备的图像特征信息的特征，通过建立带有4个卷积层和2个全连接层的卷积神经网络，其中最后一层全连接层与输入的处理图像数据的维度相同，该网络所有权重均随机初始化，并对提取的4维特征进行归一化处理，4维特征包括图像形状特征、区域特征、边界特征和电力设备数据特征，对2个全连接层中的前1个全连接层的输出建立电力设备图像的特征向量待后续使用，另外，容易理解，每个电力设备的图像形状特征、区域特征以及边界特征是唯一的、通过识别足够多的图片识别能够确定正确的特征信息，但是，电力设备数据特征的正确特征信息可能在一个范围之内，数据范围相关工作人员可以推定的，因此直接上传正确的数据范围对电力设备数据特征进行补充即可。
30.如图4所示，作为本发明一个优选的实施例，所述通过电力设备相关库确定可能存在异常的电力设备，调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据的步骤，具体包括：s501，建立电力设备相关库，所述电力设备相关库中记录有相互关联的设备，一个电力设备发生故障，与所述电力设备相互关联的电力设备很有可能发生故障；s502，将异常信息输入至电力设备相关库中，输出可能存在异常的电力设备；s503，向对应的图像采集设备发送图像调取指令，得到可能存在异常电力设备的电力设备图像；s504，对所述电力设备图像的电力设备数据特征进行识别，得到可能存在异常电力设备的电力设备数据。
31.本发明实施例中，每一个图像采集设备均对应一个边缘处理模块，所有的边缘处
理模块均与云平台通信连接，一个图像采集设备用于采集一个或者多个特定的电力设备图像，也就是说得到某一个图像采集设备获取的电力设备图像，就知道电力设备图像中的具体电力设备信息，本发明需要事先建立电力设备相关库，相互关联的设备信息需要工作人员进行上传得到，然后将异常信息输入至电力设备相关库中，自动输出可能存在异常的电力设备，向对应的图像采集设备发送图像调取指令，得到可能存在异常电力设备的电力设备图像，接着对所述电力设备图像的电力设备数据特征进行识别，得到可能存在异常电力设备的电力设备数据。
32.作为本发明一个优选的实施例，所述方法还包括输出异常综合信息，输出异常综合信息包括不符合的电力设备图像、不符合的特征信息以及可能存在异常电力设备的电力设备数据，这样工作人员首先可以确定故障电力设备，通过对所述电力设备数据进行分析，就能够得知故障电力设备对相关联的电力设备所造成的影响，进而方便确定具体故障原因，尽快的制定出检修方案。
33.如图5所示，本发明实施例还提供了一种基于云边协同技术的电力设备图像识别系统，所述系统包括：图像采集设备100，用于获取样本图像数据，对样本图像数据进行预处理得到处理图像数据，用于采集电力设备图像；样本特征信息确定模块200；使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息，所述样本特征信息包括图像形状特征、区域特征、边界特征和电力设备数据特征；边缘处理模块300，用于对电力设备图像进行处理分析，所述边缘处理模块300中存储有样本特征信息，当电力设备图像中的特征信息与样本特征信息不符合，将不符合的特征信息进行标注，将所述电力设备图像发送至云平台400；云平台400，用于对电力设备图像进行深度处理，具体为：确定不符合的电力设备与不符合的特征信息，生成异常信息；通过电力设备相关库确定可能存在异常的电力设备，调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据。
34.本发明实施例中，通过图像采集设备100获取样本图像数据，对样本图像数据进行预处理得到处理图像数据，所述样本图像数据所展现的是电力设备在正常运行情况下的图片，进行预处理是为了让样本图像数据的特征信息更加显著，方便后续的特征提取工作，接着使用卷积神经网络对处理图像数据进行特征提取得到样本特征信息，通过卷积神经网络对图片数据进行训练学习然后得到特征信息是图像识别技术的常规手段，这里不再赘述，所述样本特征信息包括图像形状特征、区域特征、边界特征和电力设备数据特征；接着通过图像采集设备100采集电力设备图像，并通过边缘处理模块300对电力设备图像进行处理分析，所述边缘处理模块300中存储有样本特征信息，将电力设备图像中的特征信息与样本特征信息中的图像形状特征、区域特征、边界特征和电力设备数据特征进行对比，当特征信息不一致时，说明电力设备图像不符合要求，电力设备很可能存在异常，例如与图像形状特征、区域特征以及边界特征不一致，说明电力设备受到损坏；与电力设备数据特征不一致，说明电力设备中的电压、电流、功率等存在异常，当电力设备图像中的特征信息与样本特征信息不符合，将不符合的特征信息进行标注，将所述电力设备图像发送至云平台400，云平
台400根据不符合的电力设备和不符合的特征信息生成异常信息；通过电力设备相关库确定可能存在异常的电力设备，所述电力设备相关库中记录有相互关联的设备，一个电力设备发生故障，与所述电力设备相互关联的电力设备很有可能发生故障，并调取可能存在异常电力设备的电力设备图像，得到可能存在异常电力设备的电力设备数据，这样工作人员通过对所述电力设备数据进行分析，就能够得知故障电力设备对相关联的电力设备所造成的影响，进而方便确定具体故障原因，尽快的制定出检修方案。
35.如图6所示，作为本发明一个优选的实施例，所述图像采集设备100包括：噪声去除单元101，用于去除样本图像数据噪声；细节增强单元102，用于增强样本图像数据的细节；信噪比提升单元103，用于提高样本图像数据的信噪比后得到处理图像数据。
36.如图7所示，作为本发明一个优选的实施例，所述样本特征信息确定模块200包括：卷积神经网络建立单元201，用于建立由卷积层和全连接层构成的的卷积神经网络，其中最后一层全连接层与输入的处理图像数据的维度相同，该网络所有权重均随机初始化；归一化处理单元202，用于对上一个步骤提取的多个维度特征进行归一化处理，所述多个维度特征包括图像形状特征、区域特征、边界特征和电力设备数据特征；样本特征信息确定单元203，用于对全连接层的输出建立电力设备图像的特征向量，得到样本特征信息；以及样本特征信息补全单元203，用于接收电力设备数据正常范围值，对样本特征信息进行补全。
37.以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
38.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
39.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直
接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
40.本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。