一种风电塔筒螺栓机器人零样本视觉定位方法与流程

本发明属于机器人视觉定位，尤其涉及一种风电塔筒螺栓机器人零样本视觉定位方法。

背景技术：

1、风电塔筒是风力发电机的重要组成部分，各级塔筒之间通过法兰连接，并用高强度螺栓紧固。螺栓在风力发电机组十分重要，在各种风机倒塌的严重事故中，有相当一部分事故的原因是由于紧固螺栓失效、断裂造成的。目前，塔筒的螺栓检测紧固主要是由具备专业资质的巡检人员在高空且狭小空间内作业完成，重复性高，费时费力，因此，出现了一些机器人应用于该领域，旨在通过自动化和智能化的方式，减轻人力负担。这些机器人具备视觉和感知系统，能够在复杂的工业环境中执行定位、检测、紧固等任务。

2、视觉定位是一种通过处理图像信息来确定设备、机器人或相机相对于其环境目标位置的技术；零样本视觉定位则是一种在没有直接样本的情况下实现视觉定位任务的方法；视觉基础大模型是指在大规模数据上预训练的深度学习模型，具有更强的特征表示、更好的泛化能力。随着sam、fastsam等视觉基础大模型的涌现，零样本视觉定位任务的性能有了显著提升的可能。

3、公开号为cn116292141a、cn115615592a、cn116372555a的专利均提到使用视觉定位技术获取螺栓位置，但没有如何实现视觉定位的说明。

4、公开号为cn115239669a的专利描述了一种用于检测风电塔筒螺栓松动的机器视觉感知方法，该方法首先运用canny算子对整个图进行边缘检测，然后利用特定参数进行后处理计算，以获取螺栓中心点(x,y)。该方法的性能在很大程度上取决于参数的选择，因此在面对大量噪声(如螺栓表面的油污和光照变化)或变化较大(如螺栓的直径和高度)的情况下受到限制。另外，该方法未计算螺栓中心点的z坐标。

5、因此，现有专利的技术方案未涉及风电塔筒螺栓机器人视觉定位方法。

6、公开号为cn115401247a的专利详细介绍了一种机器人自动钻孔视觉定位方法，通过在指定的制孔位置设置定位标记，利用3d视觉相机、2d视觉相机和距离传感器实现对钻孔平面和位置的高精度定位，以与机器人及自动导航agv协同工作，达到视觉定位引导钻孔的目的。该方法在实施过程中需要较多并且较昂贵的激光位移传感器，尤其是高成本的3d视觉相机，并且还依赖于定位标记的辅助。

7、公开号为cn113232015a的专利描述了一种基于模板匹配的机器人空间定位抓取控制方法，公开号为cn111951302a的专利描述了一种基于特征匹配的机器人视觉定位方法，这两种方法依赖于有限数量的样本数据，通过预先定义的模板或特征进行匹配，因此在面对新的、复杂的环境时可能表现不佳。深度学习技术的引入为克服这些缺点提供了有效途径，能够提高机器人视觉定位的鲁棒性和泛化能力。公开号为cn115375759a的专利描述了基于目标检测的机器人视觉定位方法和装置，首先，利用ir图像目标检测模型检测工业托盘的支撑脚，从而使叉车机器人找到托盘的位置，再通过深度图像与托盘位置的配合，评估托盘与叉车机器人之间的距离。该方法的性能和鲁棒性主要取决于托盘样本数据的规模和质量。

8、在选择激光位移传感器时，仅使用2d视觉相机，通过立体匹配或单目深度估计等算法获取z坐标信息的精度会受到多种因素的影响，包括摄像机参数、场景特性、距离范围，通常会在中等到近距离的范围内获得合理的精度。如风电塔筒螺栓机器人对螺栓顶部中心点的z坐标定位精度要求达到亚毫米级，仅使用2d视觉相机的方法不具备可行性。

9、为了获取环境目标的高精度三维空间相对位置，往往使用多种激光位移传感器，尤其是高成本的3d视觉相机。然而，这一选择不仅带来了成本的增加，还增加了机器人结构设计的难度。如风电塔筒螺栓机器人需要在空间狭小的法兰壁面上越障爬行，这对机器人的小型化体积提出了较高要求，因此对激光位移传感器的选择带来了更大的约束。

10、在视觉定位方法上，人工设置的定位标记能辅助机器人快速准确地定位目标位置，这不仅增加了部署和维护的成本，还对标记的可见性和完整性有较高的依赖。如在风电塔筒螺栓顶部中心点做标记，会被灰尘油污遮挡、损坏或者由于其它变化而模糊、不可见，从而影响机器人的定位准确性。

11、基于模板匹配或特征匹配的视觉定位方法依赖有限数量样本数据，在适应性方面存在一定局限性；基于深度学习技术的视觉定位方法依赖大规模高质量样本数据，数据收集难度大，且成本高。

技术实现思路

1、本发明的目的在于解决现有技术的缺点与不足，并提出一种风电塔筒螺栓机器人零样本视觉定位方法。

2、为了达到上述目的，本发明提供的技术方案为：

3、一种风电塔筒螺栓机器人零样本视觉定位方法，包括：

4、风电塔筒螺栓机器人沿x方向的正方向行走，激光位移传感器实时获取距离值，调整激光位移传感器在y方向上与螺栓的距离，根据距离值得到激光位移传感器到法兰面的距离z1和激光位移传感器到螺栓顶部的距离z2，所述x方向为顺时针方向或逆时针方向，y方向与x方向在水平面上垂直；

5、根据当前距离值z*和激光位移传感器到螺栓顶部的距离z2，判断激光位移传感器正下方是否存在螺栓，若不存在，则风电塔筒螺栓机器人继续行走并判断，若存在，则计算执行机构与螺栓在z方向上的相对物理距离△z，并在螺栓顶部形成一个光斑，所述z方向与x方向和y方向垂直；

6、风电塔筒螺栓机器人根据螺栓半径r1和激光位移传感器到执行机构的距离沿使执行机构趋向于螺栓顶部中心点的方向移动；

7、计算螺栓顶部中心点与执行机构在x方向和y方向的相对物理距离(△x,△y)，并根据相对物理距离(△x,△y)微调执行机构，直至相对物理距离(△x,△y)小于设定的第一阈值；

8、执行机构在z方向移动相对物理距离△z，完成执行动作。

9、进一步的，还包括对距离值进行均值滤波处理。

10、进一步的，所述调整激光位移传感器在y方向上与螺栓的距离，包括：

11、根据塔筒半径和已知的激光位移传感器到塔筒壁面的距离得到激光位移传感器到塔筒中心轴的距离rtd；

12、根据风电塔筒螺栓机器人的轮电机的编码器值计算得到激光位移传感器在螺栓顶面扫过的弧长s；

13、计算弧长s对应的弦长l，用公式表示如下：

14、l＝2*rtd*sin(s/(2*rtd))

15、通过勾股定理得到弦长到螺栓顶部中心点的距离yd，用公式表示如下：

16、

17、激光位移传感器在y方向上向靠近螺栓的方向移动距离yd。

18、进一步的，所述根据距离值得到激光位移传感器到法兰面的距离z1和激光位移传感器到螺栓顶部的距离z2，包括：

19、将激光位移传感器实时获取的距离值中的任意一个作为初始距离值记为h1，当当前距离值与h1的差值大于第二阈值，则将当前距离值记为h2，当当前距离值与h2的差值大于第二阈值，则将当前距离值记为h3，若h3<h1且h3<h2，则h1为激光位移传感器到法兰面的距离z1，h3为激光位移传感器到螺栓顶部的距离z2，若不满足h3<h1且h3<h2，则重新记录初始距离值h1，直到得到激光位移传感器到法兰面的距离z1和激光位移传感器到螺栓顶部的距离z2。

20、进一步的，所述根据当前距离值z*和激光位移传感器到螺栓顶部的距离z2，判断激光位移传感器正下方是否存在螺栓，包括：

21、当z*≤z2时，则判断激光位移传感器正下方存在螺栓，当z*＞z2时，则判断激光位移传感器正下方不存在螺栓。

22、进一步的，所述风电塔筒螺栓机器人根据螺栓半径r1和激光位移传感器到执行机构的距离沿使执行机构趋向于螺栓顶部中心点的方向移动，包括：

23、执行机构和激光位移传感器沿风电塔筒螺栓机器人的移动方向依次安装，风电塔筒螺栓机器人沿趋向于螺栓顶部中心点的方向移动螺栓半径r1的距离加激光位移传感器到执行机构的距离。

24、进一步的，所述计算螺栓顶部中心点与执行机构在x方向和y方向的相对物理距离(△x,△y)，包括：

25、利用2d视觉相机获取图像并对图像进行预处理，得到螺栓顶面图像；

26、利用特征点检测算法计算得到光斑在螺栓顶面图像的像素坐标(x0,y0)，作为视觉基础大模型的互动点提示；

27、将执行机构在螺栓顶面图像上标定为一个定位点；

28、利用视觉基础大模型获得螺栓顶面图像的分割结果，所述分割结果为螺栓顶面图像中螺栓顶面的像素数据；

29、基于分割结果利用后处理算法获得螺栓顶部中心点相对定位点的相对物理距离(△x,△y)。

30、进一步的，所述预处理包括根据螺栓半径r1和2d视觉相机到螺栓顶部的距离裁剪图像，使得裁剪后的螺栓顶面图像只包含一颗螺栓。

31、本发明与现有技术相比，其显著优点为：1、通过引入视觉基础大模型，成功克服了现有视觉定位方法在适应性上存在的局限和对样本数据和人工标记的依赖，并巧妙地使用激光位移传感器打在螺栓顶部形成光斑点坐标，作为视觉基础大模型的提示输入。这一方法使得能够在零样本情况下完成视觉定位任务，极大地避免了数据采集和标注的成本。2、使用高精度的激光位移传感器和便宜的2d视觉相机，以很低的硬件成本和较少的硬件数量完成高精度螺栓视觉定位任务，定位精度达到0.1mm。