一种基于计算机视觉的水轮发电机组大轴蠕动检测方法与流程

本发明涉及水轮发电机组大轴蠕动检测，特别是一种基于计算机视觉的水轮发电机组大轴蠕动检测方法。

背景技术：

1、水轮发电机组的大轴蠕动现象是指水轮发电机组在停机状态下，导叶应处于全关位置，由于导叶闭合不严，从而导致漏水。当漏水量大到一定程度时，便会推动转轮缓慢转动，即机组蠕动。水轮发电机组出现大轴蠕动时，若不能及时发现，将会发生潜在的重大设备设施损坏风险，长时间的大轴蠕动会导致干摩擦烧轴瓦。目前水轮发电机组大轴蠕动检测主要采用非接触式电气脉冲方式检测及机械摩擦方式检测两种方法。

2、非接触式水轮发电机组蠕动探测方式：依托于水轮发电机组调速器及转速装置，通过探头与齿盘的配合来实现蠕动探测功能。该测量方式需要在测速齿带外围固定位置加装多个光电探头，探头至齿带距离为1.5mm左右，调整精度要求高。此外，由于水车室空间狭小，对后期机组的检修维护造成一定的不便。

3、接触式水轮发电机组蠕动探测方式：机组停机后，摩擦轮从探测装置内伸出并与机组大轴表面相接触，当大轴发生蠕动时，通过摩擦力带动摩擦盘发生偏转，转角达到一定角度后，蠕动装置发出蠕动报警信号。由于是接触式测量，当多次投退大轴蠕动监测装置后会发生装置位置偏移，出现与大轴接触不良的现象，从而导致测量不准，甚至无法检测到大轴蠕动发生，而且这种大轴蠕动监测装置结构复杂，安装和运行维护困难。

技术实现思路

1、本发明的目的在于克服上述不足，提供一种基于计算机视觉的水轮发电机组大轴蠕动检测方法，以解决背景技术中提出的问题。

2、为解决上述技术问题，本发明所采用的技术方案是：一种基于计算机视觉的水轮发电机组大轴蠕动检测方法，它包括如下步骤：

3、s1、采集三种状态下包含水轮发电机组大轴的水车室监控视频数据；其中三种状态分别为：水轮发电机正常运转状态；水轮发电机停机，机组大轴不蠕动状态；水轮发电机停机，机组大轴蠕动状态；

4、s2、基于采集的视频数据进行样本集制作并对样本进行类别标注和感兴趣区域标注；

5、s3、构建基于改进yolov5s-rnn的水轮发电机组大轴蠕动检测神经网络；其中，改进yolov5s用来学习样本中视频帧特征并实现目标检测，rnn用于学习样本的视频特征；

6、s4、构建训练集、验证集和测试集；其中训练集用于训练神经网络，验证集用于调整模型超参数，测试集用于测试模型性能；

7、s5、将训练集输入到构建好的神经网络中对模型进行训练，再利用验证集调整模型的超参数后，将测试集输入到训练好的深度学习网络中进行性能评估；

8、s6、保存模型并进行模型部署，使用训练好的改进yolov5s-rnn模型进行水轮机组大轴蠕动检测，当机组大轴出现蠕动时，发出报警信号。

9、优选地，所述步骤s2具体包括如下步骤：

10、s21、将采集到的水轮发电机组三种状态下水车室监控视频数据划分或截取为视频帧为n帧的短视频序列，并将长度为n帧的短视频序列看作一个样本；最后，共收集到k1个运行样本、k2个退出样本、k3个蠕动样本；

11、s22、对每个样本进行手动标注，用数字0、1、2表示样本类别，其中0表示运行、1表示退出、2表示蠕动；利用图像标定工具lableimg对样本的每一帧图像进行目标区域标注，将机组主轴框在候选框中。

12、优选地，步骤s3中，所构建的改进yolo v5s-rnn模型具体为：

13、s31、改进yolov5s-rnn模型由输入(长度为n帧的视频序列)、图像初始化特征提取层、backbone骨干网络特征提取模块、neck颈部结构特征融合模块、head头部结构目标检测模块、循环神经网络(rnn)模块构成；

14、其中图像初始化特征提取层用于对图像进行预处理，将图像缩放到一定大小；backbone骨干网络的结构有conv模块(由一个conv2d、一个batchnorm2d和silu激活函数构成)、c3模块(由三个conv模块和一个使用残差连接的bottleneck模块组成)、sppf模块(空间金字塔池化)，用于提取图像的浅层图形特征与深层语义特征，并获取不同尺度的特征图；neck颈部结构的构成有conv模块、c3模块、concat操作、upsample操作，具有一条上采样支路和一条下采样支路，实现浅层的图形特征与深层的语义特征的更好融合，并获取不同尺度的特征图；head头部结构由三个1*1卷积构成，对应三个不同尺度的检测层，每个检测层都负责预测物体的类别和位置信息，通过多尺度检测，可以更好地适应不同大小的物体；rnn由一个输入层、一个隐含层、一个输出层组成，其隐藏层的计算不仅取决于当前视频帧的输入，还受到之前视频帧的隐藏状态的影响，用于捕捉视频序列中的依赖关系，理解视频序列的上下文信息；

15、s32、使用所构建的基于改进yolov5s-rnn的水轮机组大轴蠕动检测神经网络进行水轮机组大轴蠕动检测，采用如下步骤：

16、s321、使用图像初始化特征提取层对样本视频帧进行初步特征提取；

17、s322、使用改进yolov5s中的backbone骨干特征提取网络，包含骨干网络特征提取模块第一层的conv模块、骨干网络特征提取模块第二层的conv模块、骨干网络特征提取模块第三层的c3模块、骨干网络特征提取模块第四层的conv模块、骨干网络特征提取模块第五层的c3模块、骨干网络特征提取模块第六层的conv模块、骨干网络特征提取模块第七层的c3模块、骨干网络特征提取模块第八层的conv模块、骨干网络特征提取模块第九层的c3模块、骨干网络特征提取模块第十层的sppf模块，对样本视频帧进行由浅至深的图像特征提取，以获得多个尺度的图像特征；

18、s323、使用改进yolov5s中的neck颈部结构，包含颈部网络特征融合模块上采样支路第一层的conv模块、颈部网络特征融合模块上采样支路第二层的upsample模块、颈部网络特征融合模块上采样支路第三层的concat模块、颈部网络特征融合模块上采样支路第四层的c3模块、颈部网络特征融合模块上采样支路第五层的conv模块、颈部网络特征融合模块上采样支路第六层的upsample模块、颈部网络特征融合模块上采样支路第七层的concat模块、颈部网络特征融合模块下采样支路第一层的c3模块、颈部网络特征融合模块下采样支路第二层的conv模块、颈部网络特征融合模块下采样支路第三层的concat模块、颈部网络特征融合模块下采样支路第四层的c3模块、颈部网络特征融合模块下采样支路第五层的conv模块、颈部网络特征融合模块下采样支路第六层的concat模块、颈部网络特征融合模块下采样支路第七层的c3模块，实现不同尺度特征的更好融合；

19、其中，在颈部网络特征融合模块上采样支路第三层的concat模块实现与骨干网络特征提取模块第七层的c3模块提取特征的拼接融合操作；在颈部网络特征融合模块上采样支路第七层的concat模块实现与骨干网络特征提取模块第五层的c3模块提取特征的拼接融合操作；在颈部网络特征融合模块下采样支路第三层的concat模块实现与颈部网络特征融合模块上采样支路第五层的conv模块提取特征的拼接融合操作；在颈部网络特征融合模块下采样支路第六层的concat模块实现与颈部网络特征融合模块上采样支路第一层的conv模块提取特征的拼接融合操作；

20、s324、将颈部网络特征融合模块下采样支路第一层的c3模块、颈部网络特征融合模块下采样支路第四层的c3模块、颈部网络特征融合模块下采样支路第七层的c3模块获得的特征作为改进yolov5s中的head头部结构目标检测模块三个不同尺度的输入，并使用三个与之对应的解码层(1*1的卷积模块)进行解码，获得候选框位置信息、目标类别和置信度；

21、s325、将颈部网络特征融合模块下采样支路第七层的c3模块获得的特征经过一个全连接层后作为rnn某一时刻的输入，并经由隐含层和输出层后，获得每个样本的视频特征编码。

22、优选地，所述步骤s3中，按照如下方法实现yolov5s的改进：

23、利用注意力机制conv模块替换原网络中所有的conv模块，所述注意力机制conv模块同时关注通道注意力和空间注意力，分别从特征和空间两个维度来关注重要信息，其函数如下：

24、

25、

26、其中，f表示注意力机制conv模块的输入，表示对应元素相乘操作，mc(f)表示通道注意力输出，ms(f′)表示空间注意力输出，f'表示通道注意力映射，f"表示空间注意力映射；

27、

28、其中，σ表示sigmoid激活函数，mlp(·)表示多层感知机网络，avgpool(·)表示平均池化操作，maxpool(·)表示最大池化操作，w0和w1表示多层感知机的权重，表示平均池化的输出，表示最大池化的输出；

29、

30、其中，f7×7(·)表示卷积核大小为7×7的卷积操作，表示平均池化的输出，表示最大池化的输出。表示将平均池化和最大池化的输出进行维度拼接得到的特征图作为卷积的输入。

31、优选地，所述步骤s4按照如下方式划分训练集、验证集和测试集：

32、对于标注完成的k1个运行样本、k2个退出样本、k3个蠕动样本；以随机划分的方式按7:2:1的比例将三分类样本集样本划分为训练集、验证集和测试集；

33、则训练集样本数量为：0.7×k1+0.7×k2+0.7×k3；

34、验证集样本数量为：0.2×k1+0.2×k2+0.2×k3；

35、测试集样本数量为：0.1×k1+0.1×k2+0.1×k3。

36、优选地，所述步骤s5具体包括如下步骤：

37、s51、设置训练所需超参数，包括epoch、batch_size、学习率、训练优化器、损失函数；其中所构建改进yolov5s-rnn模型的损失函数为：

38、loss＝α×bbox_loss+β×cls_loss+l×obj_loss+η×seq_loss

39、式中，α、β、λ、η表示损失权重，bbox_loss表示使用iou损失计算出的边界框损失，cls_loss表示使用二元交叉熵计算出的置信度损失，obj_loss表示使用二元交叉熵计算出的目标检测损失，seq_loss表示使用交叉熵损失计算出的水轮机组大轴状态预测损失；

40、s52、设置模型评价指标：

41、评价指标选用两个广泛使用于分类任务的评价指标，即准确率(accuarcy)和f1-score；用于水轮机组大轴蠕动检测的数据集的类别数为{k＝1,2,3}，当将第k类看成是正样本(positive)，除第k类其它所有类则属于负样本(negative)；则对于第k类，

42、

43、

44、

45、

46、其中，tp表示把正样本成功预测为正样本，tn表示把负样本成功预测为负样本，fp表示把负样本错误地预测为正样本，fn表示把正样本错误地预测为负样本，precisionk表示将第k类看成是正样本时的精确率，recallk表示将第k类看成是正样本时的召回率；

47、将每个类别的未加权平均值作为最终的评价指标，

48、

49、

50、s53、初始化网络参数，并将训练集输入到构建好的改进yolov5s-rnn模型中，开始训练过程，依据计算出的损失，通过梯度下降算法更新模型参数，直至训练结束；之后冻结模型参数，将验证集输入到模型训练好的改进yolov5s-rnn模型中，通过评价指标对模型进行优化和调整，最后，将测试集输入到优化后的改进yolov5s-rnn模型中，以评估模型的性能。

51、优选地，在步骤s6中，使用训练好的改进yolov5s-rnn模型进行水轮机组大轴蠕动检测时，采用如下步骤：

52、s61、保存模型在验证过程中评价指标最优时的模型(包括模型架构和参数)；

53、s62、编写实时视频数据读取脚本实现视频数据的不间断读取，并利用图像初始化层对样本视频帧进行预处理；

54、s63、调用保存的改进yolov5s-rnn模型进行水轮机组大轴蠕动实时检测，并返回水轮机组大轴检测结果和预测状态。

55、本发明有益效果：

56、1、本发明解决了传统的蠕动探测装置探头与齿带间距无法精准调节，安装位置危险、不便检查等问题，本发明方法无需安装额外硬件设备，且稳定、准确、实时，减少了维护成本。

57、2、本发明仅通过安装在水车室的监控摄像头获取到包含机组大轴的视频，基于计算机视觉技术实现对水轮发电机组大轴蠕动情况的实时检测与报警，降低了因机组大轴蠕动带来的潜在隐患和设备损伤。

58、3、本发明针对机组大轴在视频序列中出现的多视角、多尺度问题，设计基于注意力机制的改进yolov5s模型实现机组大轴的实时检测与识别；本发明实现基于rnn模型的视频特征的学习，进而实现机组大轴蠕动情况的实时检测。

59、4、本发明基于注意力机制的改进yolov5s算法来实现机组大轴的自适应检测，其次借助rnn网络实现视频序列的视频特征的学习，进而实现机组大轴的运行状态的检测；本发明所提方法拥有较高的检测精度，能起到智能化实时检测并跟踪机组大轴运行状态，实现机组大轴蠕动的及早发现并报警。