一种基于计算机视觉的风机叶片缺陷检测方法及设备与流程

1.本发明涉及深度学习技术领域，尤其涉及一种基于计算机视觉的风机叶片缺陷检测方法、装置、计算机设备及存储介质。


背景技术：

2.随着风电产量和容量都在逐年递增，国内外已经建成了许多大中型风力发电厂。风机叶片是风电机组获取风能的最关键的部件之一，随着制造技术的发展，风电叶片的尺寸不断增加，长度超过50米，重量达到十几吨。国内外就发生过多起因风电叶片掉落造成的事故。一旦因为损伤严重造成叶片在运行中掉落，容易引发非常严重的事故，可能对其他机组造成撞击，甚至对周围的居民造成人身、财产损失。因此通过一定的无损检测技术对运行中的风电叶片状态进行定期的检测和评估，在其遭受严重损害之前及时进行维护，具有十分重大的意义。
3.造成风电叶片损伤的原因主要是恶劣气候对风电叶片表面的侵蚀及空气中的媒介对叶片造成的腐蚀伤害。风电叶片大多采用玻璃钢复合材料，结构复杂。风电叶片在运行过程中，受到台风、雷电、冰雪、盐雾等恶劣天气的影响，加上长期使用过程中受到的交变载荷的作用，容易出现裂纹、砂眼、分层、脱粘等损伤。
4.常用的风电叶片无损检测方案有目视法、声发射监测、光纤传感器监测、应变片监测、红外热成像等。
5.目视法用高倍望远镜或者高倍摄像机直接拍摄运行中的风电叶片，观察其表面的缺陷。对检测人员的相关经验要求较高，工作量大。裂纹，砂眼等细小缺陷难以检测。
6.声发射监测利用物体内部状态发生改变时会自动发出瞬态弹性声波的原理实时监测物体缺陷。由于声波在传输过程中会发生衰减，尤其是在缺陷区域，声波频率更高，衰减也更大，且不同类型缺陷产生的声波差异很小，信号分析难度极大。
7.光纤传感器监测法是利用光纤形状随应力的变化而发生形变，从而引起其内部光传播特性的变换而实现对风电叶片内部应变的实时测量。光纤传感器需要预先安装在风电叶片内部，造价较高，叶片成型后无法进行修复和更换。
8.应变片监测法是采用在风电叶片表面粘贴应变片的方法实现对风电叶片运行过程中应力变化实时检测，然后分析采集到的应变值对叶片运行状态进行判断的。但应变片粘贴在风电叶片表面，因此容易受到破坏而脱落，且应变片之间通常需要用铜导线相连接，因此也容易受到电磁干扰。
9.红外热成像法是利用物体缺陷部分与其他部分的温度差异实现对风电叶片缺陷检测。该方法能反映风电叶片内部缺陷的模糊区域，无法识别外部缺陷极其类型。


技术实现要素：

10.本发明提供一种基于计算机视觉的风机叶片缺陷检测方法、装置、计算机设备及存储介质，旨在识别裂纹、砂眼、分层、脱粘等各种各样、形式各异的风机叶片缺陷。
11.为此，本发明的第一个目的在于提出一种基于计算机视觉的风机叶片缺陷检测方法，包括：
12.构建风机叶片缺陷检测模型，所述风机叶片缺陷检测模型包括基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块；
13.获取具有缺陷的风机叶片表面图像并进行预处理，形成风机叶片表面缺陷图像数据集，并将预处理后的风机叶片表面缺陷图像数据集输入所述风机叶片缺陷检测模型，进行模型训练；
14.将实时采集的风机叶片表面图像输入训练完成的风机叶片缺陷检测模型，通过模型输出结果，对风机叶片表面缺陷进行检测。
15.其中，风机叶片缺陷检测模型中，
16.基础特征提取模块为特征提取器，采用深度卷积网络对风机叶片表面图像进行基础特征提取，得到不同尺寸和深度的特征层；
17.多尺度池化融合模块用于对不同尺寸和深度的有效特征层进行池化融合，以提高小缺陷目标的检测率；
18.多尺度特征层融合模块用于对不同尺寸和深度的有效特征层进行特征层融合；
19.特征解耦模块用于对多尺度池化融合后得到的不同尺寸的有效特征层进行解耦，以为不同的预测项提供充分的特征数据；
20.预测模块用于输出预测结果。
21.其中，特征提取器的深度卷积网络为hnnet网络、resnet-101网络或resnet-152网络。
22.其中，hnnet网络结构的最小组件包括卷积层、bn、mish激活函数；其中，
23.bn层用于实现正则化效果，能提升模型收敛速度，防止模型过拟合；mish激活函数用于提高训练稳定性和平均准确率。
24.其中，多尺度池化融合模块由多层池化层并联形成，基础特征提取模块提取得到的特征层输入后，经过每一池化层进行多尺度池化处理。
25.其中，多尺度特征层融合模块使用fpn和pan网络结构对不同尺寸特征层进行融合，提高小目标、多目标检测率。
26.其中，特征解耦模块通过设置多层基础卷积单元，用于对风机叶片表面图像进行缺陷类别、缺陷位置及缺陷置信度的预测；其中，所述特征解耦模块包括输入端，输入端连接第一多层基础卷积单元和第二多层基础卷积单元的一端，第二多层基础卷积单元的另一端连接第三多层基础卷积单元和第四多层基础卷积单元。
27.本发明的第二个目的在于提出一种基于计算机视觉的风机叶片缺陷检测装置，包括：
28.模型构建模块，用于构建风机叶片缺陷检测模型，所述风机叶片缺陷检测模型包括基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块；
29.模型训练模块，用于获取具有缺陷的风机叶片表面图像并进行预处理，形成风机叶片表面缺陷图像数据集，并将预处理后的风机叶片表面缺陷图像数据集输入所述风机叶片缺陷检测模型，进行模型训练；
30.缺陷检测模块，用于将实时采集的风机叶片表面图像输入训练完成的风机叶片缺陷检测模型，通过模型输出结果，对风机叶片表面缺陷进行检测。
31.本发明的第三个目的在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案的方法。
32.本发明的第四个目的在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述技术方案的方法。
33.区别于现有技术，本发明提供的基于计算机视觉的风机叶片缺陷检测方法，通过构建包括基于hnnet网络的基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块的风机叶片缺陷检测模型，进行风机叶片缺陷检测；使用单ccd摄像头纵向移位扫描周期拍摄或使用ccd阵列周期拍摄形式，获取风机叶片局部图像，相邻局部图像有重叠区域，保障不丢失图像数据；通过设置特征层解耦方式，为不同预测项提供充足特征量，提高预测准确率；通过本发明，能够识别裂纹、砂眼、分层、脱粘等各种各样、形式各异的风机叶片缺陷。
附图说明
34.本发明的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
35.图1是本发明提供的一种基于计算机视觉的风机叶片缺陷检测方法的流程示意图。
36.图2是本发明提供的一种基于计算机视觉的风机叶片缺陷检测方法中基础特征提取网络结构示意图。
37.图3是本发明提供的一种基于计算机视觉的风机叶片缺陷检测方法中多尺度池化融合模块的结构示意图。
38.图4是本发明提供的一种基于计算机视觉的风机叶片缺陷检测方法中基于fpn和pan网络结构的多尺寸特征层融合模块的结构示意图。
39.图5是本发明提供的一种基于计算机视觉的风机叶片缺陷检测方法中解耦模块的结构示意图。
40.图6是本发明提供的一种基于计算机视觉的风机叶片缺陷检测装置的结构示意图。
41.图7是本发明提供的一种非临时性计算机可读存储介质的结构示意图。
具体实施方式
42.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
43.图1为本发明实施例所提供的一种基于计算机视觉的风机叶片缺陷检测方法。该方法包括以下步骤：
44.步骤101，构建风机叶片缺陷检测模型，所述风机叶片缺陷检测模型包括基础特征
提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块。
45.针对裂纹、砂眼、分层、脱粘等各种风机叶片表面缺陷，本发明构建了基于计算机视觉的缺陷检测模型。首先进行数据采集101，使用单/多台ccs摄像头周期性对风机叶片进行拍摄，得到风机叶片表面图像；接着进行数据增强102，增加缺陷样本多样性，提高识别鲁棒性；再接着使用深度全卷积网络对图像进行基础特征提取103，得到不同尺寸不同深度的特征层；其次对有效特征层进行多尺度池化融合104，改善小缺陷目标的检测率；接着进行不同尺寸有效特征层融合105，进一步提高小缺陷目标的检测率；然后进行特征解耦106，为不同的预测项提供充分的特征数据；最后对缺陷位置类别进行预测107。
46.风机叶片缺陷检测模型中，
47.基础特征提取模块为特征提取器，采用深度卷积网络对风机叶片表面图像进行基础特征提取，得到不同尺寸和深度的特征层；
48.特征提取器的深度卷积网络为hnnet网络、resnet-101网络或resnet-152网络。
49.如图2所示，本发明中深度卷积网络选取hnnet网络，在对hnnet网络、resnet-101网络及resnet-152网络进行测试对比中发现，hnnet比resnet-101的性能更好，速度是其1.5倍，与resnet-152性能相似但速度几乎是其2倍。并且hnnet每秒浮点计算量最高，能够更好的利用gpu的加速性能，保证了较短的算法执行时间。
50.hnnet网络结构的最小组件包括卷积层、bn、mish激活函数；其中，
51.bn层用于实现正则化效果，能提升模型收敛速度，防止模型过拟合；与leaky_relu等其他激活函数相比，mish激活函数在训练稳定性和平均准确率等方面效果更佳。
52.多尺度池化融合模块用于对不同尺寸和深度的有效特征层进行池化融合，以提高小缺陷目标的检测率；如图3所示，多尺度池化融合模块由多层池化层并联形成，基础特征提取模块提取得到的特征层输入后，经过每一池化层进行多尺度池化处理。
53.多尺度特征层融合模块用于对不同尺寸和深度的有效特征层进行特征层融合；如图4所示，多尺度特征层融合模块使用fpn和pan网络结构对不同尺寸特征层进行融合，提高小目标、多目标检测率。
54.多尺度特征层融合模块首先对图像进行上采样，采样完成后将上采样结果输入fpn网络进行下采样，下采样结果同时输入pan网络进行上采样操作，输出结果完成对有效特征层的特征融合。
55.特征解耦模块用于对多尺度池化融合后得到的不同尺寸的有效特征层进行解耦，以为不同的预测项提供充分的特征数据；如图5所示，特征解耦模块通过设置多层基础卷积单元，用于对风机叶片表面图像进行缺陷类别、缺陷位置及缺陷置信度的预测；其中，特征解耦模块包括输入端，输入端连接第一多层基础卷积单元和第二多层基础卷积单元的一端，第二多层基础卷积单元的另一端连接第三多层基础卷积单元和第四多层基础卷积单元。第一多层基础卷积单元用于缺陷类别预测，第三多层基础卷积单元用于缺陷位置预测，第四多层基础卷积单元用于缺陷置信度的预测。
56.预测模块用于输出预测结果。
57.步骤102，获取具有缺陷的风机叶片表面图像并进行预处理，形成风机叶片表面缺陷图像数据集，并将预处理后的风机叶片表面缺陷图像数据集输入所述风机叶片缺陷检测模型，进行模型训练。
58.风机叶片较长，并且周期旋转，本发明使用单ccd摄像头纵向移位扫描周期拍摄或使用ccd阵列周期拍摄形式，获取风机叶片局部图像，相邻局部图像有重叠区域，保障不丢失图像数据。采集完成后标记裂纹、砂眼、分层、脱粘等各种风机叶片表面缺陷类型与位置。
59.图像采集完成后，使用随机缩放、随机裁剪、随机排布方式，或使用gan网络对拍摄样本进行图像增强，增加样本多样性，提高模型鲁棒性。
60.图像预处理后，将达到的全部图像作为训练集，输入构建的风机叶片缺陷检测模型中进行模型训练，基于损失函数调整模型的函数与参数，使网络模型的检测效率达到最佳。本发明中，对位置损失函数使用ciou，对类别损失函数使用交叉熵损失函数。
61.步骤103，将实时采集的风机叶片表面图像输入训练完成的风机叶片缺陷检测模型，通过模型输出结果，对风机叶片表面缺陷进行检测。
62.为了实现实施例，本发明还提出一种基于计算机视觉的风机叶片缺陷检测装置，如图6所示，包括：
63.模型构建模块310，用于构建风机叶片缺陷检测模型，所述风机叶片缺陷检测模型包括基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块；
64.模型训练模块320，用于获取具有缺陷的风机叶片表面图像并进行预处理，形成风机叶片表面缺陷图像数据集，并将预处理后的风机叶片表面缺陷图像数据集输入所述风机叶片缺陷检测模型，进行模型训练；
65.缺陷检测模块330，用于将实时采集的风机叶片表面图像输入训练完成的风机叶片缺陷检测模型，通过模型输出结果，对风机叶片表面缺陷进行检测。
66.为了实现实施例，本发明还提出另一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如本发明实施例的风力发电机组一次调频控制。
67.如图7所示，非临时性计算机可读存储介质包括指令的存储器810，接口830，指令可由根据风力发电机组一次调频控制装置处理器820执行以完成方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
68.为了实现所述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的风力发电机组一次调频控制。
69.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
70.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
71.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
72.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
73.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在所述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
74.本技术领域的普通技术人员可以理解实现所述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
75.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。所述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
76.所述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，所述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对所述实施例进行变化、修改、替换和变型。