一种新型无人值守式风电机组外部监测机器人系统的制作方法

本发明属于电力监测领域，尤其涉及一种新型无人值守式风电机组外部监测机器人系统。

背景技术：

1、由于风力发电规模巨大，运行管理难度增加，会发生机组运行安全事故，特别是叶片折损情况时有发生，而传统的人工检测与维护难以满足要求，急需要一套高效实时可靠的解决方案。

2、常规的人工吊篮、无人机、地面人工等观察检查手段在不同方向都有较大局限，难以实时高频率自动化监测。如今，主流的无人机巡检方案，对监测距离、作业环境、风速、风机工作状态、人员操控技术等都有较高适应性要求，并且无人机系统运行的安全性要求高、单次作业成果的稳定可靠性不足、检查作业频次受限，对机组安全运行保障能力有限，通常容易漏检、误检或检查周期过长，难以及时发现叶片外表面缺陷，导致缺陷发展过快而发生叶片折损事故。

3、此外，由于机组容量的增大，叶片长度从之前的30-40米发展成70-100米甚至以上，高风速运行条件下，叶片受风变形幅度增加，增加了叶片扫碰塔柱风险甚至产生由此带来的倒塔风险。目前行业内采用不同的净空监测手段以适应新的需求，例如以检测叶片形变异常为目标来提前预警运行风险，但现有的机组叶片外表面缺陷检测、叶片净空监测、叶片形变异常监测等监测方案大多都只有单一功能模式，且监测设备灵活性较差，适用范围较小，难以满足当下机组安全运行的监测需求。

技术实现思路

1、针对以上问题，本发明技术旨在提供一种全天候无人值守、高频次、智能化、可远程控制的外部监测方案，以实时在线监测机组的安全运行。以无人监测机器人为平台，搭载智能云平台、激光雷达、长焦和广角镜头相机，采集叶片激光点云数据和图像数据，采用坐标转换、图像拼接和目标检测等算法，可同时实现叶片外表面缺陷检测、叶片净空监测、叶片形变异常监测功能。

2、本发明搭建的无人值守式风电机组外部监测机器人适用于不同大小的风力发电塔筒，同时实现全天候、无人高频率监测叶片净空距离和形变，以及检测叶片外表面缺陷。

3、本发明解决其技术问题所采用的技术方案是：

4、一种新型无人值守式风电机组外部监测机器人系统，包括云台、激光雷达监测模块和相机检测模块，相机检测模块包含广角镜头相机和长焦镜头相机，其特征在于，机器人系统可围绕塔筒进行旋转，相机检测模块和激光雷达监测模块对叶片进行拍摄和扫描；在高风速下，激光雷达对叶片进行点云扫描进行，通过点云扫描数据监测净空距离；广角镜头相机拍摄整根叶片图像，通过提取拍摄图像中的整根叶片轮廓，进行叶片的形变监测；在低风速下，相机监测模块中的广角镜头相机逐一对叶片进行跟踪拍摄，并通过图像算法控制长焦镜头相机对跟踪中的叶片进行连续高精度拍摄，采用缺陷分析模型处理长焦镜头相机拍摄的叶片图像，识别出缺陷位置，同时对长焦镜头相机连续拍摄后的照片进行相对位置和姿态计算，生成完整风机叶片的空间排布图像，根据识别出的缺陷在完整拼接叶片图像的位置信息，确定该缺陷在叶片表面的位置和尺寸大小。

5、进一步的，本发明的一种新型无人值守式风电机组外部监测机器人系统，包括以下工作过程：

6、步骤1、无人监测机器人设计：根据智能云台、激光雷达、长焦和广角镜头相机、数据传输等载荷重量及尺寸，设计合适的动力系统和运动模块，完成硬件搭建。

7、步骤2、叶片净空距离监测：建立塔筒表面坐标系，并确定塔筒表面坐标系与激光雷达原点坐标系之间的转换关系，采用激光雷达以固定视角扫描叶片，获得叶片与塔筒表面之间的最小距离，即净空距离，并且建立净空距离时序图，以发现异常并预警。

8、步骤3、在高风速下监测叶片的几何形变：，采用广角镜头相机固定拍摄角度高速拍摄叶片及旋转动态，根据拍摄图像范围和叶片成像时间计算叶片旋转速度，对叶片进行编号标记；然后固定叶片构图区域，对该区域的叶片进行边缘轮廓提取，以叶轮为基准对任意时刻的叶片轮廓与初期模型进行重叠配准；最后计算不同叶片每个时刻的形变量，并确定变形区域与位置，并进行时序分析，实现叶片形变监测与预警。

9、步骤4、在低风速下进行完整叶片图像采集：首先以塔筒表面为基准建立塔筒表面坐标系，采用广角镜头相机对叶片中轴线进行图像识别，从而确定叶片运动轨迹与位置，然后将叶片运动轨迹坐标信息传递给智能云台，使长焦相机对运动的叶片进行跟踪拍摄，获取完整的叶片图像集。

10、步骤5、对低风速下采集的叶片图像集进行叶片空间排布：根据叶片运动轨迹坐标信息，计算叶片图像集中每一张跟踪拍摄图像的相对空间位置和姿态，将叶片图像集按照叶片形态走向，按叶根到叶尖或叶尖到叶根的顺序排布到一张完整图面中。

11、步骤6、对低风速下采集的叶片图像集进行叶片表面缺陷检测：采用yolov8模型识别叶片外表面缺陷类型，并构建叶片坐标系，计算获得缺陷的尺寸大小和实际位置。

12、进一步的，激光雷达对风机叶片进行净空距离监测的具体步骤为：

13、步骤2.1：机器人根据风向信息及机组轮毂朝向信息，围绕塔筒自动旋转，使检测模块正对叶片，并始终保持同轮毂朝向一致。

14、步骤2.2：将激光雷达固定安装在机器人的智能平台处，激光雷达固定正前方视角扫描叶片，采集点云数据。

15、步骤2.3：建立塔筒表面坐标系，以激光雷达原点坐标系yc轴沿线交于塔筒表面为原点o，与塔筒平行垂直向上为z轴，原点与激光雷达原点连线朝向叶片方向为y轴，x轴与y轴和z轴构成右手坐标系o-xyz。

16、步骤2.4：根据激光雷达内参数标定，以及激光雷达与塔面的关系，获取激光雷达原点坐标系与塔筒表面坐标系之间坐标转换六参数，即欧拉角和平移参数。

17、步骤2.5：将激光雷达原点坐标系下三维坐标(xc,yc,zc)转换至塔筒表面坐标系下三维坐标(x,y,z)，y的最小值为净空距离；

18、

19、

20、

21、

22、其中，表示激光雷达原点坐标系与塔筒表面坐标系之间的坐标轴平移量；r(dω)和r(dε)分别表示激光雷达原点坐标系的xc轴、yc轴和zc轴相对于塔筒表面坐标系的x轴、y轴和z轴旋转矩阵；表示扫描叶片的点云数据在塔筒表面坐标系下的三维坐标。

23、步骤2.6：当叶片扫过激光雷达时，系统逐次获取y的最小值作为净空距离，该数值大于正常参考值时表示叶片运作净空为正常，反之则记录并预警。

24、进一步的，风机叶片在高风速下工作时，采用广角镜头相机进行形变监测的具体步骤为：

25、步骤3.1：固定广角镜头相机，保证拍摄范围内能够完整地拍摄整个叶片。

26、步骤3.2：以叶轮区域作为基准匹配区域，并将三个叶片的叶轮基准匹配区域进行标记区分。

27、步骤3.3：广角镜头高速拍摄叶片，记录第一次出现叶轮时刻以及消失在拍摄范围内时刻根据相机拍摄范围像素累计值α求解叶片转速υ，如下式所示：

28、

29、其中，γ表示α转换为拍摄范围的空间弧度值对应的转换系数，t1、t2和t3分别表示叶片1,2,3的时刻，将开始拍摄第一次出现的叶片记为叶片1，随后记为叶片2和叶片3。

30、步骤3.4：根据开机拍摄υ，求解任意时刻t所对应的叶片编号，如下式所示：

31、

32、其中，当时，表示拍摄范围内的叶片属于叶片3；当时，表示拍摄范围内的叶片属于叶片2；当时，表示拍摄范围内的叶片属于叶片1。

33、步骤3.5：固定叶片构图区域，选择拍摄图像中检测叶片的叶轮与初期模型中的叶轮重合时刻的叶片；然后采用canny边缘提取算法，提取图像中叶片边缘；最后对提取结果中存在间断不连续的边缘数据构建多项式进行平滑处理，所述多项式的公式如下：

34、

35、步骤3.6：将间断不连续的边缘数据集合m带入上式进行最小二乘求解参数(a0,a1,…,an)，然后将参数与边缘集合m中的x坐标，逐一带入多项式求解y'坐标，形成新的边缘集合m'，最后将各点平滑连接，构成新的叶片边缘曲线。

36、步骤3.7：将实时拍摄叶片获得的叶片边缘曲线与初期叶片模型的叶轮部分进行重叠匹配。

37、步骤3.8：计算每个像素初期叶片模型的叶片边缘曲线与实时拍摄的叶片边缘曲线之间的差值di。

38、di＝yi-yj

39、其中，yi表示初期叶片模型值，yj表示该时刻叶片值，di>0表示叶片形变朝净空方向内变形，di>0表示叶片形变朝净空方向外变形。

40、步骤3.9：设定变形阈值t，当|di|>t时记为该处叶片变形，并记录对应的x值。

41、步骤3.10：重复步骤3.8和步骤3.9，从而确定整个叶片变形区域x值范围与形变量

42、步骤3.11：将实时记录每个叶片对应每次检测的形变位置、范围、形变量和时间，自动生成时序分析图，从而获取叶片形变过程，为后续预测监测提供依据。

43、进一步的，在低风速下采集完整叶片图像的具体步骤为：

44、步骤4.1：以塔筒表面坐标系为基准，分别构建以智能云台、长焦镜头相机和广角镜头相机为原点的三维坐标参数(xh,yh,zh)、(xl,yl,zl)和(xw,yw,zw)；

45、步骤4.2、广角镜头相机调整角度使其可拍摄到一根完整的叶片，并对该叶片进行跟踪拍摄，同时标记出叶片中轴线；根据长焦镜头相机的拍摄范围，对广角镜头相机拍摄的叶片范围进行划分，将广角镜头相机拍摄的叶片范围沿叶片中轴线划分为多个部分重叠的长焦镜头相机拍摄范围，通过划分的长焦镜头相机拍摄范围内的各图像中心坐标，设定长焦镜头相机的拍摄轨迹；

46、步骤4.3、长焦镜头相机根据设定的拍摄轨迹从叶尖开始对被跟踪的叶片进行拍摄，获得叶片的完整图像集。

47、进一步的，步骤4.2中，先确定划分的长焦镜头相机拍摄范围内的各图像中心坐标在广角镜头相机坐标系下的坐标参数，然后再将各图像中心坐标转换为塔筒表面坐标系下的坐标参数，以转换后的塔筒表面坐标系下的图像中心坐标作为长焦镜头相机拍摄范围的中心参考点，对长焦镜头相机的拍摄轨迹进行指引。

48、进一步的，步骤4.2中，将划分的各图像中心坐标转换为塔筒表面坐标系下的拍摄范围中心坐标的转换关系为：

49、

50、

51、

52、

53、

54、

55、

56、其中，表示广角镜头相机坐标系与塔筒表面坐标系之间的坐标轴平移量；r(δω)和r(δε)分别表示x轴、y轴和z轴的广角镜头相机坐标系相对于塔筒表面坐标系旋转矩阵；表示长焦镜头相机坐标系与广角镜头相机坐标系之间的坐标轴平移量；r(δω')和r(δε')分别表示x轴、y轴和z轴的长焦镜头相机坐标系相对于塔筒表面坐标系旋转矩阵；表示塔筒表面坐标系下长焦镜头相机拍摄范围的图像中心三维坐标。

57、进一步的，获取长焦镜头相机拍摄的完整叶片图像集后，通过图像处理，得到完整叶片平面图的步骤为：

58、步骤5.1：根据相机拍摄实际bd和图像bd'对安装的相机进行参数标定，求解图像畸变系数λ，并逐一对每张叶片图像进行修正，图像畸变系数λ的表达式为：

59、

60、其中，bd为相机实际拍摄物体长度，bd'为相机图像长度，a点为相机所处位置，o点为相机至bd的垂点，c点为a点与bd'垂直延长线与bd的交点。

61、步骤5.2：采用中值滤波器对叶片图像进行降噪处理，获取清晰的风机叶片图像，所述降噪处理公式如下：

62、g(x,y)＝med{f(x-m,y-n),(m,n∈g)}

63、其中，f(x,y)表示像素坐标(x,y)处的像素值，取m,n＝3；g表示滤波滑动窗口，滑动窗口g的长宽均为3，对窗口的所有像素进行排序，求得区域g中像素的中值。

64、步骤5.3：对图像进行锐化处理，凸显边缘特征像素和缺陷像素。

65、步骤5.4：采用canny边缘提取算法提取新的完整叶片边缘曲线。

66、步骤5.5：根据叶片运动轨迹坐标信息，计算叶片图像集中每一张跟踪拍摄图像的相对空间位置和姿态，生成完整的风机叶片的空间排布图像。

67、进一步的，步骤5.5中，利用叶片运动轨迹坐标信息，计算轨迹坐标的最大值和最小值，设定叶片空间排布图像的分辨率，确定叶片空间排布图像的尺寸；计算每一张跟踪拍摄图像在排布图像空间中的相对空间位置和姿态，采用图像纠正算法将叶片图像集重投影到排布图像空间中。将同属一组风机叶片的采样图片逐一进行空间排布，从而生成完整的风机叶片图像。

68、进一步的，采用yolov8算法对预处理后的叶片图像进行缺陷检测和定位的具体步骤为：

69、步骤6.1：收集大量叶片外表面缺陷图像，对yolov8模型进行训练。

70、步骤6.2：将训练好的模型对经过降噪和锐化处理的叶片图像进行检测，确定叶片外表面缺陷，并获得缺陷所在的图像像素坐标。

71、步骤6.3：若发现存在缺陷叶片图像，对具有缺陷的叶片图像进行拼接，再通过叶片编号确定缺陷叶片，并提取该叶片尖和叶片根中心像素。

72、步骤6.4：将叶片根中心像素作为坐标原点，以叶片根中心与叶尖连线作为x轴，y轴垂直于x轴向上。

73、步骤6.5：假设叶片拼接的第i张图像的左下角坐标为(xi,yi)，缺陷的图像位于第n张图像，其中缺陷检测的目标框中心坐标在该缺陷图像中的像素坐标为(dx,dy)，则缺陷位置相对于叶根位置(x,y):

74、

75、

76、步骤6.6：根据叶片实际长度l和新拼接完成的叶片图像坐标对应的像素长度l，求解长度比例系数k＝l/l，再根据缺陷距离叶片根中心的水平距离dis求解缺陷实际位置，其中dis表达式为：

77、

78、并通过比例系数k和缺陷的长宽像素尺寸，获得缺陷实际长宽尺寸。

79、与现有技术相比，本发明的有益效果是：(1)在智能云台上同时搭载激光雷达和相机，可根据任务需要，测量和检测叶片的不同参数，达到一个平台完成叶片不同监测内容的目的。(2)本发明采用激光雷达通过扫描叶片的方式，通过本发明设定的净空距离监测方式，可防止叶片与塔台发生碰撞，避免重大安全事故的发生。采用相机对叶片进行拍摄后，通过本发明设定的叶片形变监测步骤，可完成每根叶片的形变过程监测，防止叶片自身形变过大导致自身被折断的事故发生。通过对风机叶片的图像缺陷检测，可检测风机叶片在使用过程中产生的微观缺陷，依据本发明设定的缺陷定位方法，可快速定位风机叶片的缺陷位置，方便后续人工维修和养护，防止缺陷进一步扩大，进而提升叶片的使用寿命。(3)相机检测模块始终保持正对叶片，保持同轮毂朝向一致，该角度拍摄得到的图片，通过设计的图像拼接方法可更好的完成图像拼接，方便更精准的进行叶片形变监测和缺陷定位。(4)由于风机轮毂会随风调整，叶片的朝向也会随之发生转变，将机器人安装在风机塔筒上或沿塔筒进行布置，通过机器人围绕塔筒旋转及云台相机拍摄角度的调整，可使相机进行多方位拍摄，进而可使相机在叶片朝向改变后，通过调整机器人在塔筒的位置和相机的角度，实现风机叶片不同角度的拍摄及跟踪拍摄，从而达到监测风机叶片全貌的目的，解决了现有技术中受环境或拍摄角度制约，无法拍摄叶片全貌的困扰。(5)相机首先拍摄叶尖或叶根，然后顺着叶片中轴线方向进行连续跟踪拍摄，通过本技术设定的图像拼接算法，可实现一次连续跟踪拍摄即可完成一根叶片的完整全貌拍摄；以叶片中轴线为跟踪拍摄参照物，也有利于后续图像进行空间排布。(6)本技术通过激光雷达在固定角度对叶片进行扫描，结合激光雷达与塔面的标定关系，将扫描得到的叶片点云数据转换为叶片相对塔面的坐标数据，从而根据叶片相对塔面的坐标数据获得叶片工作时的净空距离，实现叶片净空距离监测，该方法简单方便，仅需一次标定即可。(7)通过本技术的图像畸变调整、滤波降噪处理、去噪锐化、边缘特征提取和图像重新排布方法，可获得整根叶片的边缘曲线及完整的叶片轮廓，方便后续叶片的形变计算和缺陷定位。(8)通过对叶片轮廓的监测，并与初期叶片轮廓进行比较，通过本技术的叶片形变计算方法，可获得风机叶片的形变累积过程，为后续的监测提供依据。(9)广角镜头相机的拍摄范围大，但图像精度低，长焦镜头相机的拍摄范围小，但图像精度高。在风机叶片处于低速或停止状态时，本技术采用广角镜头相机对叶片的完整轮廓进行跟踪拍摄、识别和定位，为长焦镜头相机的跟踪拍摄提供指引，可保证长焦镜头相机能始终对一根叶片进行连续跟踪拍摄，这样既保证了叶片外表面图像的微观高精度采集，又可以实现后续图像空间排布时的完整性和连续性，进而实现整支叶片的宏观高精度检测。(10)通过对高精度采集图像中的缺陷进行检测识别，配合叶片的实际尺寸参数、图像处理时的叶尖和叶根的特征提取，依据缺陷在图像中的像素坐标，可实现风机叶片故障的准确定位和类别分析，方便指导后续人工维修和养护。