基于岸-机协同的管状物水下运维机器人系统及控制方法

本发明具体涉及一种基于岸-机协同的管状物水下运维机器人系统及控制方法。

背景技术：

1、水下结构由于长期处于水环境中，受水流、波浪及水中微生物等外界环境因素的影响易出现各种结构病害，影响基础设施的健康与安全，严重时易导致重大事故的发生。

2、以导管架平台为例，国内外关于导管架水下结构的运维工作，潜水员和水下机器人是主要手段。潜水作业技术成熟度高、操作灵活，在近海浅水平台的运维中具有一定优势，但其工作效率低，作业风险高且受环境影响较大；水下机器人相较于人工而言，效率有所提升，可以触及部分工作盲区，但其操作灵活性、稳定性较差，容易发生因脐带缆缠绕而无法收回rov的情况。

3、目前，水下检测技术通常分为两种：一种是基于光学设备，利用水下相机等在水下采集相关图像后，通过图像处理等方法对采集的图像进行处理获得高质量清晰图像，再通过人眼或机器学习检测算法识别缺陷；另一种是基于声学检测设备，通过三维声纳、水下侧扫声纳等声学仪器采集水下结构物的相关数据，通过对数据的分析进而对水下结构的健康状态进行评估。一般而言，上述两种检测方法大多结合使用，利用声学设备开展“面积性普查”，进而利用光学设备开展“局部性详查”，二者相辅相成，缺一不可。然而，水下环境复杂多变，利用水下相机采集病害图像时，由于水中光线的衰减以及各种微小颗粒、微生物的影响，水下采集到的图像一般对比度低、模糊不清。而水下图像的这些特点直接导致了后续病害识别时特征提取十分困难，严重影响病害识别的精度和效率。

4、因此，亟需一款基于岸-机协同的管状物水下运维机器人系统及其控制方法，同时需建立水下结构物表观病害的智能检测与识别、精准定位与分析方法。

技术实现思路

1、本发明的目的是提供一种基于岸-机协同的管状物水下运维机器人系统及控制方法，实现机器人沿管状物水下结构的爬行、清洁和检测工作，既保障了人员安全，又极大地提高了水下机器人的控制性能和作业效率。同时，针对水下光学检测技术，建立了水下结构物表观病害的智能检测与识别、精准定位与分析方法。

2、本发明所采用的技术方案是：

3、一种基于岸-机协同的管状物水下运维机器人系统，包括岸端控制系统和水下机器人系统；岸端控制系统包括运载船舶，及设置于运载船舶上的能源供给模块、操纵控制模块和信号传输模块，水下机器人系统包括检测平台、清洁平台和纵向升降机构，检测平台和清洁平台均包括载体框架结构、横向旋转机构和水下作业模块，载体框架结构的两端均连接有机械夹持机构，横向旋转机构和水下作业模块分别设置于载体框架结构的外侧和内侧，检测平台的载体框架通过纵向升降机构与清洁平台的载体框架连接，检测平台的水下作业模块为水下检测模块，清洁平台的水下作业模块为水下清洁模块；

4、检测平台或清洁平台上的载体框架上还设有电子舱模块和导航定位模块，电子舱模块与横向旋转机构、纵向升降机构、机械夹持机构和导航定位模块连接；操纵控制模块通过信号传输模块与电子舱模块连接，电子舱模块通过脐带缆与岸端控制系统连接；水下机器人系统在岸端控制系统的操控下实现对管状物水下结构的全方位清洁与检测。

5、优选地，操纵控制模块包括操控手柄和控制箱系统，操控手柄与控制箱系统连接，用于发送操控指令；控制箱系统通过信号传输模块与电子舱模块连接，控制箱系统接收指令并将其转换为控制信号传递给水下机器人系统；

6、能源供给模块包括发电机组、电源管理系统和电力传输系统；发电机组采用燃油驱动，根据作业需求选配机组数量；电源管理系统一端联接发电机组，另一端联接控制箱系统，负责监控和管理能源的供给和使用情况。

7、优选地，机械夹持机构包括机械臂和电动推杆，机械臂通过一组平面四杆机构与载体框架结构的端部连接，电动推杆的两端分别与平面四杆机构和载体框架结构连接，机械臂的夹持面上设有压力传感器；

8、平面四杆机构包括主动件摇杆、从动件摇杆、连杆和机架，所述机架固定在载体框架结构的端部，载体框架结构的端部通过从动件摇杆与相应的机械臂铰接，主动件摇杆的一端与载体框架结构铰接，主动件摇杆的另一端与连杆的一端铰接，连杆的另一端与机械臂铰接，电动推杆的一端与主动件摇杆连接，电动推杆的另一端与载体框架结构连接。

9、优选地，横向旋转机构包括螺旋桨推进器、导向轮和角度传感器，螺旋桨推进器安装于载体框架结构的外侧，导向轮布置于载体框架结构的内侧，角度传感器设置于载体框架结构的正中央。

10、优选地，水下检测模块包括探照灯、检测摄像头、压力传感器和检测舱室，检测舱室设置于检测平台的载体框架结构内侧，探照灯、检测摄像头和压力传感器均设置于检测舱室上；检测舱室前端设有透明亚克力半球罩的耐压舱，检测摄像头位于耐压舱内；通过压力传感器与角度传感器可以获取检测摄像头的位置坐标，压力传感器通过感知水深得出检测摄像头的深度坐标h1，同时水下机器人在下水前以抱紧管状物桩腿的位置为角度零点，角度传感器通过感知相对于角度零点的旋转角，得出检测摄像头在水平圆周内的角度坐标θ1，进而获取检测摄像头的位置坐标（h1，θ1），通过检测摄像头的位置确定摄像头中心的位置坐标（h2，θ2），检测摄像头正视于管状物水下结构的视觉焦点（图像正中心）的坐标即检测摄像头中心的位置（h2，θ2），调用“水下高精度测量算法”，测量病害相对于视觉焦点的位置修正值（∆h，∆θ），最终得出水下病害的实际位置（h3，θ3），如图17所示。

11、优选地，水下清洁模块包括高压水射流装备、清洁刷、探照灯、清洁摄像头和清洁舱室，清洁舱室设置于清洁平台的载体框架结构内侧，高压水射流装备、探照灯、清洁摄像头设置于清洁舱室的正面，清洁刷通过固定机械臂设置于清洁舱室的侧面。

12、优选地，纵向升降机构包括升降机、电机减速机和距离报警器，所述升降机包括齿轮升降机、齿条升降杆和传动轴，每个齿条升降杆上依次设有两个齿轮升降机，齿轮升降机可沿齿条升降杆上下移动，两个齿轮升降机分别与检测平台和清洁平台的载体框架结构连接固定，每个齿条升降杆上的齿轮升降机对应有一个电机减速机，电机减速机通过传动轴与相应的齿轮升降机连接，齿条升降杆的一端与检测平台或清洁平台的载体框架结构固定连接；检测平台或清洁平台上设有距离报警器。

13、进一步地，齿轮升降杆的个数为两个，并排布置，两个齿轮升降杆的上方的齿轮升降机通过传动轴连接，两个齿轮升降杆的下方的齿轮升降机通过传动轴连接，上方的传动轴和下方的传动轴上均设置有电机减速机。

14、进一步地，电机减速机包括伺服电机和蜗轮蜗杆减速器，伺服电机通过蜗轮蜗杆减速器与传动轴连接。

15、一种采用以上所述的基于岸-机协同的管状物水下运维机器人系统的水下导管清洗方法，包括以下步骤：检测平台和清洁平台分别为上部平台和下部平台；

16、步骤s1，作业人员驾驶装备齐全的运载船舶航行至待检测管状物水下结构处；

17、步骤s2，作业人员将水下机器人的纵向升降机构收缩至最小行程，使检测平台和清洁平台处于相邻位置；然后将水下机器人从运载船舶上移动至管状物水下结构处并完成安装；

18、步骤s3，水下机器人的下部平台的机械夹持机构松开，纵向升降机构带动下部平台沿管状物桩腿竖直向下运动一定距离后，下部平台的机械夹持机构抱紧管状物桩腿；

19、步骤s4，打开水下清洁模块与水下检测模块，对管状物水下结构表面进行清洁与检测；同时，在横向旋转机构的推动下机器人绕管状物水下结构作水平面内的环周运动，实现360°全方位作业；

20、步骤s5，在机器人旋转过程中，作业人员通过安装于水下清洁模块上方的清洁摄像头观察管状物水下结构表面的清洁效果；若清洁效果较差则重复s4，同时启动水下清洁模块中的清洁刷对残留附着物进行二次清理；若清洁效果良好且不影响病害检测结果，则关闭水下清洁模块并进行步骤s6；

21、步骤s6，水下机器人的上部平台的机械夹持机构松开，纵向升降机构带动上部平台沿管状物桩腿竖直向下运动一定距离后，上部平台的机械夹持机构抱紧管状物桩腿；

22、步骤s7，重复步骤s3-s6，直至下部平台遇到管状物水下结构的复杂桁架节点或其他障碍物亦或管状物水下结构的底部，则跳出循环；

23、当下部平台遇到桁架节点或其他障碍物时跳出循环后包括以下步骤：

24、步骤s8，将水下机器人的纵向升降机构收缩至最小行程，使水下机器人的上部平台、下部平台处于相邻位置，同时下部平台紧靠桁架节点或障碍物；

25、步骤s9，水下机器人松开下部平台的机械夹持机构，纵向升降机构带动下部平台沿管状物桩腿竖直向下运动以避开桁架节点或障碍物一定距离，然后下部平台的机械夹持机构抱紧管状物桩腿；

26、步骤s10，同理，水下机器人的上部平台的机械夹持机构松开，纵向升降机构带动上部平台沿管状物桩腿竖直向下通过节点，然后上部平台的机械夹持机构抱紧管状物桩腿；

27、步骤s11，重复步骤s3-s7，直至运动至管状物水下结构的底部时跳出循环；

28、当遇到管状物水下结构的底部跳出循环后包括以下步骤：水下机器人松开上部平台、下部平台的机械夹持机构，从管状物桩腿上脱落下来，作业人员通过牵引绳索将水下机器人拖曳至海平面，完成水下机器人的回收工作并开展下一个桩腿的检测工作。

29、优选地，在所述的步骤s5中，在机器人横向旋转的过程中，水下检测模块进行实时录像并自动识别管状物水下结构表面的病害信息，将提取的含有病害的照片作出标记并建立档案，具体包含病害类型、级别、位置等，统一存放于指定文件夹中，用于后期管状物水下结构的健康状态评估工作。

30、如图16所示，“水下检测模块进行实时录像并自动识别管状物水下结构表面的病害信息，将提取的含有病害的照片作出标记并建立档案，统一存放于指定文件夹中”的具体过程为：

31、步骤s5.1，将水下检测模块实时获取的图像按照帧数进行截取；

32、步骤s5.2，采用数据增强、图像融合等技术对各帧图像进行清晰化处理；

33、步骤s5.3，调用经过训练的“基于yolo v5的水下结构物表面缺陷高精度检测识别网络”；

34、步骤s5.4，通过识别网络检测各帧图像是否含有缺陷，若该帧图像没有缺陷，跳过该帧图像，检测下一帧图像，若该帧图像有缺陷，将含有缺陷的图像进行提取；

35、步骤s5.5，通过图像中像素值的差异标定缺陷的大致轮廓；

36、步骤s5.6，调用“水下结构物表面缺陷标准数据集（库）”；

37、步骤s5.7，再次比对该缺陷的类别与级别；

38、步骤s5.8，调取该帧图像中病害的位置坐标；

39、步骤s5.9，将含有缺陷的图像重命名格式为“病害类型-级别-位置”；

40、步骤s5.10，将含有缺陷的图像统一存放于指定文件夹。

41、在所述的步骤5.3中“基于yolo v5的水下结构物表面缺陷高精度检测识别网络”的训练过程为：

42、步骤5.3.1，读取水下结构物表面病害数据集中的图像数据；

43、步骤5.3.2，将读取到的图像切分为多个patch文件；

44、步骤5.3.3，基于数据增强与图像融合技术对patch文件进行预处理；

45、步骤5.3.4，将经过预处理的图像按一定比例（此比例为4:1）随机分成训练集（train）和测试集（test）两部分（一部分作为训练集用于训练检测模型，另一部作为测试集用于验证训练效果），并分别保存在两个对应的文件夹train、test中，通过训练文件对目标检测模型yolov5进行反复训练；其中，可以修改训练文件中的不同参数进而控制模型的训练，当模型的检测精度（检测精确度为精确率和召回率）达到90%以上时保存该目标检测模型，得到基于yolov5的水下结构物表面缺陷高精度检测识别网络。

46、在所述的步骤5.3.3中，“基于数据增强与图像融合技术对patch文件进行预处理”，主要包括白平衡、金字塔融合、直方图均衡化，具体过程为：

47、步骤5.3.3.1，将水下图像进行白平衡处理，得到颜色修正后的图像input 1；

48、步骤5.3.3.2，对图像input1采取clahe算法处理和双边滤波处理，得到图像input2；

49、进一步地，在步骤5.3.3.2中对图像input1采取clahe算法处理和双边滤波处理，得到图像input 2的具体过程为：针对颜色修正后的图像input 1仍存在对比度低、噪声多等问题，首先对lab空间中的l分量采取clahe算法处理，增强图像的对比度；再对增强后的图像进行双边滤波处理，减少图像中的噪声，增强图像细节；两次处理之后得到图像input2；

50、步骤5.3.3.3，分别计算预处理后的图像input1、input2的四幅权重图：全局对比度权重图wc、局部对比度权重图wlc、色度权重图ws、显著度权重图we；

51、步骤5.3.3.4，对四幅权重图进行归一化处理，得到归一化权重图；

52、进一步地，在步骤5.3.3.4中，对四幅权重图进行归一化处理的具体过程为：

53、归一化处理的计算公式如下：

54、

55、

56、式中，——第a幅图像的归一化权重；

57、——第a幅图像的四项权重和；a取值范围是1~2，分别表示图像input1和input2；

58、步骤5.3.3.5，将两幅输入图像input 1、input 2进行拉普拉斯金字塔分解，得到拉普拉斯金字塔图像，对归一化权重图进行高斯金字塔分解，得到标准权重的高斯金字塔图像，金字塔图像的层数为5层；

59、步骤5.3.3.6，对输入图像的拉普拉斯金字塔图像和对应标准权重的高斯金字塔图像在每一层上进行融合处理，得到融合后的金字塔图像f；

60、图像f的第 l层图像计算公式为：

61、，其中为融合处理后的金字塔图像f，为高斯金字塔图像的第 l层图像的归一化权重，为拉普拉斯金字塔图像的第 l层图像的归一化权重；

62、步骤5.3.3.7，从顶层开始，对金字塔图像f进行上采样，即对第 l层图像fl进行插值膨胀操作使其大小与第 l-1图像的大小相等，然后将膨胀后的图像fl与fl-1相加作为 l-1层的新图像；自顶向下，依次操作，最终得到与输入大小相等的一张图像，即完成清晰化处理后的输出图像；（ l代表图像层数，本实施例中 l取值范围是1~5，即步骤5.3.3.5所述“金字塔图像的层数为5层”；一般而言，金字塔的层数与图像尺寸和图像需要保留的细节信息有关：1）图像尺寸：金字塔的层数通常受到原始图像尺寸大小的影响，对于大尺寸图像，为了可以更好地捕捉细节信息，可能需要更多层的金字塔来进行融合处理；2）图像需要保留的细节信息：如果图像融合需要保留更多的细节特征，那么金字塔的层数就会相应增加，以便于更好地处理和表达图像的细节特征；综合上述两种因素，通常根据具体的使用场景来决定金字塔的层数，以实现最佳效果。）

63、清晰化处理的计算公式为：

64、

65、式中，——输出图像；为自顶向下累加的过程中第k次生成的新图像；

66、——上采样。

67、例如：水下结构物表面病害数据集一共包含1000张大小为256像素×256像素的病害图像，其中600张为不同浑浊度条件下实验水池中采集的图像，400张为dcgan网络生成的图像。该数据集主要包括轻度、中度、重度模糊及稍具网格化现象的生成图像几大类；根据网络训练及模型验证的需求，将数据集以4:1的比例随机划分为了训练集（train）和测试集（test）两部分；

68、目标检测识别网络yolov5中，其训练参数如下：

69、1）学习率（learning rate）：学习率决定训练模型在每次迭代中的更新幅度，较大的学习率可能导致不稳定的训练过程，而较小的学习率可能导致训练速度过慢或陷入局部最优解；

70、2）批量大小（batch size）：批量大小决定模型每次更新时所使用的样本数量。较大的批量大小可以提高训练速度，但也会增加内存和计算资源的需求；

71、3）迭代次数（number of epochs）：迭代次数决定模型训练的轮数。过少的迭代次数可能导致模型欠拟合，而过多的迭代次数可能导致模型过拟合；

72、4）损失函数（loss function）：损失函数定义了模型预测与真实标签之间的差异，不同的损失函数可以影响模型对不同类别和位置的目标的学习效果；

73、以上这些训练参数的选择通常取决于具体的使用场景和数据集，例如，针对不同数量的目标类别，可以调整损失函数的设计；针对不同的硬件资源，可以调整批量大小和学习率等参数。因此，训练参数的选择通常需要结合实际情况进行调整，以获得最佳的性能；本实施例中训练参数的取值为：学习率为0.0002，批量大小为64，迭代次数为2000。

74、需要注意的是，在进行模型训练时所用的水下结构物表面病害数据集中包含各种类型的病害如裂缝、破损等，以及同一类病害的不同级别，因此调用“基于yolo v5的水下结构物表面缺陷高精度检测识别网络”可以判断某一帧图像中是否含有病害，并初步得出该病害的类型与级别，级别越高代表病害越严重。

75、本发明的有益效果是：

76、1.水下机器人系统在岸端控制系统的操控下实现对管状物水下结构的全方位清洁与检测，同时将水下机器人的作业信息通过信号传输模块实时回传至pc端上位机系统，完成水下机器人的定位定姿和水下结构物表观病害的智能检测与识别、精准定位与分析。

77、2.本发明实现了水下结构物表观病害的智能检测与识别，提升了缺陷检测的精度和效率，实现了对水下结构病害的综合分析，从而获取水下结构的健康状况，对于保障交通基础设施的水下结构的健康与安全具有重要意义；同时，本发明实现机器人沿管状物水下结构的爬行、清洁和检测工作，使其具备自主跨越管状物复杂桁架节点和障碍物的能力，极大地增加了机器人的运动灵活性，替代人工作业，避免人工作业的危险性，可以实现水下无人化操作，作业人员仅需在运载船舶上进行简单操控即可完成管状物水下结构的清洁与检测，既降低了作业人员的操作难度，又保障了人员安全；此外，本发明通过建立水下机器人系统与岸端控制系统的信息交互模型，从而形成信息闭环，极大地提高了水下机器人的控制精准度和作业效率；本发明尤其适用于导管架水下结构，也可适用于一切类似的管状物涉水结构。